Что такое файл robots. txt, зачем он нужен Вашему блогу, а также, какой файл robots. txt будет правильным для Вашего сайта и как его установить.

ПРАВИЛЬНЫЙ ROBOTS. TXT

Для начала разберем, что это за файл такой и зачем он нужен.

Robots. txt – это текстовый файл (мы видим это по расширению txt), в котором записываются различные команды для поисковых роботов (ботов), которые указывают им, какие страницы на Вашем сайте индексировать, а какие нет.

Например, такие запросы для поисковой системы (ПС):

- "Гугл, это дубль страницы на моем сайте?";

- "Не надо эту страницу индексировать и выдавать пользователю";

- "Яндекс, быстро проиндексируй новую статью и поставь ее в ТОП выдачи".

Было бы конечно хорошо, если бы можно было так командовать над поисковиками, но это, конечно же, шутка. Такие команды поисковики не понимают, а понимают они только язык символов. Именно на нем и составлен robots. txt.

Обычно, этот файл берется готовым и просто загружается на сайт. Иногда, в зависимости от концепции сайта и поставленных задач веб ресурса, его надо делать отдельно.

 

ПОЧЕМУ РЕКОМЕНДУЮТ УСТАНОВИТЬ НА СВОЙ БЛОГ ФАЙЛ ROBOTS. TXT И ПОЧЕМУ ЭТО ТАК ВАЖНО

Несмотря на то, что на Вашем созданном сайте возможно всего 20 или 30 статей, в ссылочном варианте страниц намного больше, но большинство из них не разные страницы, а так называемые дубли, т. е. одинаковые страницы, но продублированные под разными урл адресами. Для нас, простых смертных, это одна и та же страница, с той лишь разницей, что вторая ссылка имеет немного другой вид-дизайн. Для поисковиков - это 2 разные страницы, потому что 2 разные ссылки. И если они проиндексируют обе, то это создаст дублированный контент на созданном сайте, который поисковые роботы не любят.

Веб страница сайта будет понижена в поисковой выдаче, а может даже попадет в бан. А если весь созданный сайт в таких дублях, то скорей всего весь сайт получит бан от поисковика, так называемый в народе АГС. Но, на оптимизированном сайте этого не произойдет, потому что установлен robots. txt, который блокирует дубли у всего сайта от индексации. Большая важность установки файла robots. txt, а также именно правильного robots. txt, в котором занесены правильные команды для всех поисковиков.

 

ROBOTS. TXT ДЛЯ WORDPRESS

Разберем, как установить этот файл на сайт сделанным на WordPress.

1-й шаг – скачиваем файл robots. txt или копируем;

2-й шаг – открываем этот файл обычным блокнотом или в программе notepad++ и меняем домен сайта на Ваш домен; (После изменений не забудьте сохранить файл)

3-й шаг – загружаем этот файл в корневую папку сайта (у wordpress она называется public_html) через админку хостинга, либо через FTP.

После этого, страницы Вашего сайта пройдут переиндексацию, но так и должно быть, так что, не пугайтесь, если на какое-то время Ваши статьи вылетят из поисковой выдачи, потом все встанет на свои места и даже может, намного выше в поисковой выдачи

Теперь Вы знаете, как обслуживать свой сайт и установить правильный robots. txt для сайта на wordpress.

 

Вам может быть интересно:  WEB курсы и уроки обучение в области IT.

 

 

Поделись с друзьями в социальных сетях и получите скидку на услуги веб студии до 35%.