Статті на: SEO
Ця стаття також доступна на:

Доступ до файлу robots.txt

Google використовує спеціальне програмне забезпечення, що називається пошуковими роботами, які аналізують сторінки і переходять за посиланнями на них, після чого надсилають відомості про ресурси на сервери Google. Файл robots.txt надає роботам інформацію про те, які сторінки і файли на вашому сайті можна обробляти, а які — ні.

Додаткову інформацію про файл robots.txt можна знайти в документації Центру Google Пошуку.

У статті нижче ви дізнаєтеся, як можна отримати доступ до файлу robots.txt.

Доступ до robots.txt



Ми автоматично генеруємо файл robots.txt. Щоб отримати до нього доступ, просто додайте /robots.txt до свого доменного імені. Наприклад:

https://weblium.com/robots.txt

Якщо сайт відкритий для індексації пошуковими роботами, файл матиме наступний вигляд, з посиланням на sitemap:



Примітка: /.sw_/_host_/_replacer_ — це технічний запис, який наша система додає за замовчуванням.

Якщо сайт заблокований від індексації в пошукових системах, він виглядатиме наступним чином:



Ви можете приховати або відкрити сайт для пошукових систем в будь-який момент. Перейдіть до Налаштувань свого сайту і відкрийте вкладку Загальна інформація , потім перейдіть у розділ Видимість в пошукових системах :



Примітка: якщо ви хочете дізнатися більше про сховування сайту та сторінки, зверніться до статей Приховування вебсайту від пошукових систем і Приховування сторінки від пошукових систем.

Оновлено: 30/06/2023

Чи була ця стаття корисною?

Поділіться своїм відгуком

Скасувати

Дякуємо!