Поисковые системы. Поисковая оптимизация. События в мире SEO

Magnet в комментарии к статье про файлы robots.txt на сайтах из каталога Dmoz спросил, были ли какие-нибудь эксперименты по поводу: индексирует ли Google этот файл, какие инструкции исполняет и какие нет, жрет ли что-нибудь кроме команд (например ключевые слова).

Так вот, Google индексирует robots.txt как полноправный файл (спасибо Сre8asiteforums)

“robots.txt” “Disallow:” filetype:txt

Как мы понимаем, никаких внешних ссылок на файл robots.txt никто не ставит, значит он заносится в индекс на всех сайтах во время обхода роботом.

Какие делаем выводы?

1. Если вам есть что скрывать на вашем сайте и вы не ставите на скрытые файлы/папки никаких ссылок, то не запрещайте их для индексации даже “на всякий случай”. Вот пример:

“robots.txt” “Disallow: /secret” filetype:txt

Robots.txt открыт для всех пользователей, поэтому ваша попытка спрятать секретную папку может обернуться против вас. Возможный вариант решения проблемы - давать доступ к файлу для роботов и запрещать чтение для остальных юзеров, то есть использовать клоакинг. Правда это уже похоже на стрельбу из пушки по воробьям, но мало ли что…

2. Если Google заносит robots.txt в свой индекс наравне с другими текстовыми файлами, то теоретически можно набить robots.txt ключевиками, ждать индексации и потом через .htaccess или другими способами делать редирект куда угодно. На практике правда я такого чуда не встречал. Наравне с веб документами в выдаче пока не применяя специальных операторов можно увидеть только PDF и DOC файлы.

Может быть вы что-нибудь подобное встречали?