Yahoo принимает шаблоны в Robots.txt

Yahoo объявил, что поддерживает шаблоны в robots.txt . Это позволяет роботу Yahoo понимать два новых символа: * и $. «Звездочка» соответствует последовательности символов. Это значит, что вы можете предотвратить индексирование URL с текстом, который вы зададите. Например: User-Agent: Yahoo! Slurp Disallow: /*?sessionid Предотвратит Yahoo от индексирования страницы со строкой ?sessionid . Знак «доллара» фиксирует текст в конце строки URL . Это означает, что вы можете предотвратить индексирование Yahoo страниц, с определенным текстом в конце. Например: User-Agent: Yahoo! Slurp Disallow: /*.gif$ Не даст Yahoo индексировать файлы, оканчивающиеся на .gif Больше информации и примеров можете найти на официальном блоге Yahoo.