Що таке robots-txtRobots.txt – інструкція для пошукових роботів, яка заноситься в кореневу папку сайту і контролює поведінку роботів, зокрема, не дозволяє індексувати певну частину сайту.

Звідки взявся robots.txt?

Середина 90-х років. озапам’яталась бурхливим розвитком пошукових сервісів в інтернеті, які своїми діями значно перешкоджали роботі по оптимізації сайтів. Справа в тому, що при індексації сайтів пошукові машини обробляли абсолютно всі веб-сторінки, внаслідок чого з’явилась необхідність розробити спеціальний засіб, який вказує пошуковикам на те, що слід індексувати, а що ні. Уже в червні 1994 був укладений договір, згідно з яким було створено особливий інструмент – стандарт написання робочих файлів robots.txt.

Пошукова система і robots.txt

При відвідуванні сайту пошуковик відразу ж звертається до robots.txt, який виглядає:

User-agent: *

Disallow: / tmp /

Disallow: / cgi-bin /

Позначка зірочка після User-agent повідомляє про загальному доступі до вмісту robots.txt для всіх пошукових роботів. Замість цього знака може бути ім’я якого-небудь робота. Disallow означає заборону дій пошукових систем. Сильно впливає на значення формули слеш (/) після Disallow:

User-agent: *

Disallow: /

Дана коса лінія означає заборону індексації всього сайту будь-якими роботами.

Атрибут nofollow і тег noindex також забороняють індексацію, але пошуковики несхвально до них відносяться.


Що ми пропонуємо: