Настройка robots.txt и XML Sitemap

robots.txtsitemap

Файлы robots.txt и sitemap.xml помогают поисковым системам правильно индексировать ваш сайт.

robots.txt

Что это

Файл robots.txt указывает поисковым роботам, какие страницы сайта можно индексировать, а какие — нет.

Стандартные настройки

В ecom.md robots.txt настроен автоматически и обычно включает:

  • Разрешение индексации основных страниц (товары, категории)
  • Запрет индексации служебных страниц (корзина, личный кабинет, поиск)
  • Ссылку на sitemap.xml

Когда редактировать

  • Если нужно закрыть от индексации определённые разделы
  • Для добавления дополнительных директив
  • Для управления скоростью обхода (Crawl-delay)

XML Sitemap

Что это

XML Sitemap — файл со списком всех страниц сайта, который помогает поисковым системам быстрее находить и индексировать ваш контент.

Автоматическая генерация

В ecom.md sitemap.xml генерируется автоматически и включает:

  • Главную страницу
  • Категории товаров
  • Карточки товаров
  • Страницы контента (О нас, Доставка и т.д.)
  • Новости и акции

Обновление

Sitemap обновляется автоматически при:

  • Добавлении новых товаров
  • Создании новых категорий
  • Изменении страниц контента

Отправка в поисковые системы

  1. Скопируйте URL вашего sitemap: https://ваш-сайт/sitemap.xml
  2. Добавьте его в Google Search Console
  3. Добавьте в Яндекс Вебмастер (если актуально)
  4. Дождитесь индексации новых страниц

Смотрите также

Была ли эта статья полезной?