Проверка robots.txt
Проверка robots.txt сайта: наличие файла, синтаксис, правила Allow/Disallow, директива Sitemap, полный запрет обхода.
Ошибка в robots.txt может полностью убрать сайт из поиска — проверьте файл до того, как это сделает поисковик.
Allow: /разрешает индексацию всего сайтаDisallow: /admin/закрывает служебные разделы от поисковиковSitemap: https://site.ru/sitemap.xmlуказывает путь к карте сайта
Проверка robots.txt
Анализ файла robots.txt: наличие, синтаксис, правила для роботов, директива Sitemap и запрет обхода отдельных страниц.