Почему Яндекс не работает с robots.txt

Всем привет! В уроке 33 «настройка файла robots.txt», я писал, как правильно настроить этот файл. Он создается специально для поисковых систем, где нужно прописать специальные директивы для правильной индексации сайта.