Від автора: Яндекс анонсував зміни в алгоритмі аналізу файлу robots.txt. Тепер пошукові краулеры не будуть розпізнавати директиву Allow з незаданным значенням як заборона. Про це повідомляється на блозі компанії для вебмайстрів.
Представники вітчизняного пошуковика повідомили про зміни аналізу вмісту robots.txt. Тепер роботи не будуть сприймати порожню Allow як заборонний фактор.
В опублікованому матеріалі наголошується, що часто пошукові краулеры не можуть проіндексувати вміст сайту з-за помилково встановленого заборони у файлі robots.txt. Іноді це пов’язано з неправильним написанням Allow.
Раніше порожня директива сприймалася роботами як заборонний фактор для аналізу ресурсу. З-за чого такі сайти не могли потрапити в пошукову видачу. При цьому для встановлення явного заборони на проходження ресурсу вебмастера частіше використовують забороняє команду.
Враховуючи ситуацію, що склалася, тепер порожня Allow не буде сприйматися пошуковими краулерами як заборонний фактор. Згідно з новими правилами, для явного заборони проходження роботами ресурсу в robots.txt слід використовувати директиву Disallow.
