uKit
FAQ (вопрос/ответ)



Файл robots.txt генерируется системой автоматически и располагается в корневой папке вашего сайта. Найти его можно по следующему адресу: http://mysite.ukit.me/robots.txt. Поисковые системы находят robots.txt автоматически.

Этот файл содержит следующие записи:

  • Директива User-Agent: *. Означает, что описанные ниже настройки действуют для всех поисковых роботов.
  • Директивы Allow и Disallow. По умолчанию все страницы вашего сайта индексируются поисковыми системами, но вы можете закрыть некоторые из них от индексации.
  • Директива Sitemap. Показывает поисковым системам, по какому адресу можно найти карту сайта. Файл sitemap.xml генерируется для вашего сайта автоматически.
  • Директива Host. Если вы приобрели и прикрепили к сайту домен, то появится эта директива, которая показывает основной домен вашего сайта (то есть тот домен, который вы выбрали основным).
    Примечание: Если в Яндекс.Вебмастере отображается информация о том, что у вас не указана директива Host, хотя домен прикреплён — нужно подождать некоторое время, пока информация в поисковой системе обновится. Никаких дополнительных действий не требуется.