Керування файлом "robots.txt" на вебсайті Odoo
Як налаштувати файл "robots.txt" на сайті на базі Odoo і дозволити або заборонити індексацію

За що відповідає файл "robots.txt" на сайті

Як пояснюється в документації Google для розробників Загальні відомості про файли: "Файл robots.txt надає пошуковим роботам інформацію про те, які сторінки і файли на вашому сайті можна обробляти, а які не можна. В першу чергу це інструмент, який дозволяє скоротити кількість запитів до сайту і тим самим знизити навантаження на нього. Файл robots.txt не призначений для того, щоб забороняти показ веб-сторінок в результатах пошуку Google. Якщо ви не хочете, щоб певні матеріали з вашого сайту були представлені в Google, використовуйте директиви noindex. Також ви можете створити на сайті розділи, захищені паролем".

Версії Odoo до 14.0 не мають вбудованих інструментів для редагування і управління файлом robots.txt, і якщо вам потрібно його змінити, це буде досить складно зробити без внесення змін до коду системи. Для полегшення цього завдання, нашою компанією був розроблений модуль , який дає можливість змінювати вміст файлу robots.txt через інтерфейс системи Odoo.

Як працює модуль

Подивіться відео і дізнайтеся як змінити файл "robots.txt" в Odoo.

Налаштування модуля

Для налаштування файлу перейдіть в меню Website - Configuration - Websites та оберіть необхідний сайт.

Note that you need to activate the developer mode to see this menu item.

В розділі robots.txt виберіть шаблон файлу.

Ви можете обрати один з визначених шаблонів для вмісту файлу "robots.txt":

  • Allow All дозволити пошуковим системам (ботам) сканувати всі ваші сторінки, медіа та файли ресурсів.

  • Custom для використання визначеного шаблону, який дає дозвіл сканувати зображення, файли стилів і скрипти, але при цьому блокує від сканування персональні сторінки користувачів порталу та внутрішній контент.

  • Block All щоб заблокувати доступ на сканування веб-сайту всіх пошукових роботів.

Вибираючи один з шаблонів, Ви завжди можете змінити його, відповідно до ваших цілей і рекомендаціями SEO-фахівця.

Додаткова інформація про те, як створити файл "robots.txt" в наступної документації від Google.

Опція Sitemap URL mode дозволяє автоматично додати URL-адресу карти сайту в кінець файлу (mode: Auto) або ви можете додати його вручну в будь-якому місці на ваш розсуд (mode: In Text).

Розділ статей SEO
Керування файлом "robots.txt" на вебсайті Odoo
Юрій Разумовський
SEO супровід сайту – розумна необхідність, або зайві витрати?