Robots.txt

Материал из DZWIKI

(перенаправлено с «Robot.txt»)

Перейти к навигации Перейти к поиску

Это заготовка статьи.

Это примечание по возможности следует заменить более точным.

Ссылки

В русской википедии есть страница «Стандарт исключений для роботов».

Справочная документация по спецификациям robot.txt от Google

Источник — https://wiki.dzmuh.com/index.php?title=Robots.txt&oldid=1972

Категория:

Поисковые системы

Скрытые категории: