Google индексирует Robots.txt?
16.10.2007Magnet в комментарии к статье про файлы robots.txt на сайтах из каталога Dmoz спросил, были ли какие-нибудь эксперименты по поводу: индексирует ли Google этот файл, какие инструкции исполняет и какие нет, жрет ли что-нибудь кроме команд (например ключевые слова).
Так вот, Google индексирует robots.txt как полноправный файл (спасибо Сre8asiteforums)
“robots.txt” “Disallow:” filetype:txt
Как мы понимаем, никаких внешних […]



