Google использует специальное программное обеспечение, именуемое поисковыми роботами, которые анализируют страницы и переходят по ссылкам на них, после чего они отправляют сведения о ресурсах на серверы Google. Файл robots.txt предоставляет роботам информацию о том, какие страницы и файлы на вашем сайте можно обрабатывать, а какие нельзя.

Дополнительную информацию о файле robots.txt можно найти в документации Центра Google Поиска.

В статье ниже вы узнаете, как можно получить доступ к файлу robots.txt сайта.

Доступ к файлу robots.txt

Мы автоматически генерируем файл robots.txt. Чтобы получить к нему доступ, просто добавьте /robots.txt к своему доменному имени. Например:

https://weblium.com/robots.txt

Если сайт открыт для индексации поисковыми роботами, файл будет выглядеть следующим образом, со ссылкой на sitemap:


Примечание: /.sw_/_host_/_replacer_ — это техническая запись, которую наша система добавляет по умолчанию.

Если сайт заблокирован от индексации в поисковых системах, то вот какой вид будет иметь файл:



Вы можете скрыть или открыть сайт для поисковых систем в любое время. Перейдите в Настройки сайта и откройте вкладку Общая информация , затем перейдите в раздел Видимость в поисковых системах :



Примечание: больше о том, как скрыть сайт или страницу от поисковиков, в наших статьях: Скрытие веб-сайта от поисковиков и Скрытие страницы от поисковиков.

Обновлено на: 30/06/2023