Google використовує спеціальне програмне забезпечення, що називається пошуковими роботами, які аналізують сторінки і переходять за посиланнями на них, після чого надсилають відомості про ресурси на сервери Google. Файл robots.txt надає роботам інформацію про те, які сторінки і файли на вашому сайті можна обробляти, а які — ні.

Додаткову інформацію про файл robots.txt можна знайти в документації Центру Google Пошуку.

У статті нижче ви дізнаєтеся, як можна отримати доступ до файлу robots.txt.

Доступ до robots.txt

Ми автоматично генеруємо файл robots.txt. Щоб отримати до нього доступ, просто додайте /robots.txt до свого доменного імені. Наприклад:

https://weblium.com/robots.txt

Якщо сайт відкритий для індексації пошуковими роботами, файл матиме наступний вигляд, з посиланням на sitemap:



Якщо сайт заблокований від індексації в пошукових системах, він виглядатиме наступним чином:



Ви можете приховати або відкрити сайт для пошукових систем в будь-який момент. Перейдіть до Налаштувань свого сайту і відкрийте вкладку Загальна інформація , потім перейдіть у розділ Видимість в пошукових системах :



Примітка: якщо ви хочете дізнатися більше про сховування сайту та сторінки, зверніться до статей Приховування вебсайту від пошукових систем і Приховування сторінки від пошукових систем.
Чи була ця стаття корисною?
Скасувати
Дякуємо!