> ## Knowledge Base Index
> Fetch the complete knowledge base index at: https://help.weblium.com/sitemap.xml
> Use this file to discover available pages before exploring further.
> Pure-Markdown content can be obtained by appending a '.md' suffix to the content URLs listed in the sitemap (without the trailing slash).

# Доступ к файлу robots.txt

Google использует специальное программное обеспечение, именуемое поисковыми роботами, которые анализируют страницы и переходят по ссылкам на них, после чего они отправляют сведения о ресурсах на серверы Google. Файл robots.txt предоставляет роботам информацию о том, какие страницы и файлы на вашем сайте можно обрабатывать, а какие нельзя.

Дополнительную информацию о файле robots.txt можно найти в документации [Центра Google Поиска](https://developers.google.com/search/docs/advanced/robots/intro?hl=ru).

В статье ниже вы узнаете, как можно получить доступ к файлу robots.txt сайта.

# Доступ к файлу robots.txt

1. Мы автоматически генерируем файл robots.txt. Чтобы получить к нему доступ, просто добавьте /robots.txt к своему доменному имени. Например:

https://weblium.com/robots.txt

2. Если сайт открыт для индексации поисковыми роботами, файл будет выглядеть следующим образом, со ссылкой на sitemap:

![](https://storage.crisp.chat/users/helpdesk/website/fa84b4d83a50e800/group-51_11ymy7z.png)
|| ${color}[#ffa800](Примечание:) /.sw_/_host_/_replacer_ — это техническая запись, которую наша система добавляет по умолчанию.

3. Если сайт заблокирован от индексации в поисковых системах, то вот какой вид будет иметь файл:

![](https://storage.crisp.chat/users/helpdesk/website/fa84b4d83a50e800/robots-closed-new_1tlnun8.png)

4. Вы можете скрыть или открыть сайт для поисковых систем в любое время. Перейдите в ** Настройки ** сайта и откройте вкладку ** Общая информация **, затем перейдите в раздел ** Видимость в поисковых системах **:

![](https://storage.crisp.chat/users/helpdesk/website/fa84b4d83a50e800/image_1a7ff0l.png)

|| ${color}[#ffa800](Примечание:) больше о том, как скрыть сайт или страницу от поисковиков, в наших статьях: [Скрытие веб-сайта от поисковиков](https://help.weblium.com/ru/article/skrytie-veb-sajta-ot-poiskovikov-1rs7sp5/) и [Скрытие страницы от поисковиков](https://help.weblium.com/ru/article/skrytie-stranicy-ot-poiskovikov-1jfxl6d/).