За що відповідає файл "robots.txt" на сайті
Як пояснюється в документації Google для розробників Загальні відомості про файли: "Файл robots.txt надає пошуковим роботам інформацію про те, які сторінки і файли на вашому сайті можна обробляти, а які не можна. В першу чергу це інструмент, який дозволяє скоротити кількість запитів до сайту і тим самим знизити навантаження на нього. Файл robots.txt не призначений для того, щоб забороняти показ веб-сторінок в результатах пошуку Google. Якщо ви не хочете, щоб певні матеріали з вашого сайту були представлені в Google, використовуйте директиви noindex. Також ви можете створити на сайті розділи, захищені паролем".
Версії Odoo до 14.0 не мають вбудованих інструментів для редагування і управління файлом robots.txt, і якщо вам потрібно його змінити, це буде досить складно зробити без внесення змін до коду системи. Для полегшення цього завдання, нашою компанією був розроблений модуль , який дає можливість змінювати вміст файлу robots.txt через інтерфейс системи Odoo.
Як працює модуль
Подивіться відео і дізнайтеся як змінити файл "robots.txt" в Odoo.
Налаштування модуля
Для налаштування файлу перейдіть в меню Website - Configuration - Websites та оберіть необхідний сайт.
Зверніть увагу, що необхідно активувати режим розробника для того, щоб мати можливість побачити це меню.
В розділі robots.txt виберіть шаблон файлу.
Ви можете обрати один з визначених шаблонів для вмісту файлу "robots.txt":
Allow All дозволити пошуковим системам (ботам) сканувати всі ваші сторінки, медіа та файли ресурсів.
Custom для використання визначеного шаблону, який дає дозвіл сканувати зображення, файли стилів і скрипти, але при цьому блокує від сканування персональні сторінки користувачів порталу та внутрішній контент.
Block All щоб заблокувати доступ на сканування веб-сайту всіх пошукових роботів.
Вибираючи один з шаблонів, Ви завжди можете змінити його, відповідно до ваших цілей і рекомендаціями SEO-фахівця.
Додаткова інформація про те, як створити файл "robots.txt" в наступної документації від Google.
Опція Sitemap URL mode дозволяє автоматично додати URL-адресу карти сайту в кінець файлу (mode: Auto) або ви можете додати його вручну в будь-якому місці на ваш розсуд (mode: In Text).
Тестування файлу "robots.txt"
Після створення файлу "robots.txt" ви можете перевірити його наступним інструментом Google для перевірки файлу robots.txt.
