Что такое файл robots. txt, зачем он нужен Вашему блогу, а также, какой файл robots. txt будет правильным для Вашего сайта и как его установить.
ПРАВИЛЬНЫЙ ROBOTS. TXT
Для начала разберем, что это за файл такой и зачем он нужен.
Robots. txt – это текстовый файл (мы видим это по расширению txt), в котором записываются различные команды для поисковых роботов (ботов), которые указывают им, какие страницы на Вашем сайте индексировать, а какие нет.
Например, такие запросы для поисковой системы (ПС):
- "Гугл, это дубль страницы на моем сайте?";
- "Не надо эту страницу индексировать и выдавать пользователю";
- "Яндекс, быстро проиндексируй новую статью и поставь ее в ТОП выдачи".
Было бы конечно хорошо, если бы можно было так командовать над поисковиками, но это, конечно же, шутка. Такие команды поисковики не понимают, а понимают они только язык символов. Именно на нем и составлен robots. txt.
Обычно, этот файл берется готовым и просто загружается на сайт. Иногда, в зависимости от концепции сайта и поставленных задач веб ресурса, его надо делать отдельно.
ПОЧЕМУ РЕКОМЕНДУЮТ УСТАНОВИТЬ НА СВОЙ БЛОГ ФАЙЛ ROBOTS. TXT И ПОЧЕМУ ЭТО ТАК ВАЖНО
Несмотря на то, что на Вашем созданном сайте возможно всего 20 или 30 статей, в ссылочном варианте страниц намного больше, но большинство из них не разные страницы, а так называемые дубли, т. е. одинаковые страницы, но продублированные под разными урл адресами. Для нас, простых смертных, это одна и та же страница, с той лишь разницей, что вторая ссылка имеет немного другой вид-дизайн. Для поисковиков - это 2 разные страницы, потому что 2 разные ссылки. И если они проиндексируют обе, то это создаст дублированный контент на созданном сайте, который поисковые роботы не любят.
Веб страница сайта будет понижена в поисковой выдаче, а может даже попадет в бан. А если весь созданный сайт в таких дублях, то скорей всего весь сайт получит бан от поисковика, так называемый в народе АГС. Но, на оптимизированном сайте этого не произойдет, потому что установлен robots. txt, который блокирует дубли у всего сайта от индексации. Большая важность установки файла robots. txt, а также именно правильного robots. txt, в котором занесены правильные команды для всех поисковиков.
ROBOTS. TXT ДЛЯ WORDPRESS
Разберем, как установить этот файл на сайт сделанным на WordPress.
1-й шаг – скачиваем файл robots. txt или копируем;
2-й шаг – открываем этот файл обычным блокнотом или в программе notepad++ и меняем домен сайта на Ваш домен; (После изменений не забудьте сохранить файл)
3-й шаг – загружаем этот файл в корневую папку сайта (у wordpress она называется public_html) через админку хостинга, либо через FTP.
После этого, страницы Вашего сайта пройдут переиндексацию, но так и должно быть, так что, не пугайтесь, если на какое-то время Ваши статьи вылетят из поисковой выдачи, потом все встанет на свои места и даже может, намного выше в поисковой выдачи
Теперь Вы знаете, как обслуживать свой сайт и установить правильный robots. txt для сайта на wordpress.
Вам может быть интересно: WEB курсы и уроки обучение в области IT.
