Google використовує спеціальне програмне забезпечення, що називається пошуковими роботами, які аналізують сторінки і переходять за посиланнями на них, після чого надсилають відомості про ресурси на сервери Google. Файл robots.txt надає роботам інформацію про те, які сторінки і файли на вашому сайті можна обробляти, а які — ні.

Додаткову інформацію про файл robots.txt можна знайти в документації Центру Google Пошуку.

У статті нижче ви дізнаєтеся, як можна отримати доступ до файлу robots.txt.

Доступ до robots.txt

1. Ми автоматично генеруємо файл robots.txt. Щоб отримати до нього доступ, просто додайте /robots.txt до свого доменного імені. Наприклад:

https://weblium.com/robots.txt

2. Якщо сайт відкритий для індексації пошуковими роботами, файл матиме наступний вигляд, з посиланням на sitemap:

3. Якщо сайт заблокований від індексації в пошукових системах, він виглядатиме наступним чином:

4. Ви можете приховати або відкрити сайт для пошукових систем в будь-який момент. Перейдіть до ** Налаштувань ** свого сайту і відкрийте вкладку ** Загальна інформація **, потім перейдіть у розділ ** Видимість в пошукових системах **:

Оновлено: 26/04/2024