Создание и установка файла robots.txt на WordPress. Урок 19.

SEO плагин, который мы установили и настроили в предыдущем занятии, является первой частью предварительной подготовки сайта к продвижению. Вторая часть – это создание и установка файла robots.txt

Файл robots.txt устанавливает правила для индексации сайта поисковыми системами. В этом файле указывается, какие части не нужно индексировать, а какие нужно.

Индексация – это сканирование страниц сайта поисковыми системами и занесение информации о них и их содержимого в базы данных поисковика. В дальнейшем эта информация используется для построения поисковой выдачи.

Целых два новых термина – файл robots.txt и индексация. Первый нам понадобится сейчас, а второй запомните, вы его часто услышите в дальнейшем.

На каждом сайте, кроме страниц, которые показываются посетителю, есть ещё уйма других, технических страниц, которые нужны только для того, чтобы сайт нормально функционировал. Посетителю видеть их не нужно, соответственно, не нужно, чтобы они находились в поисковой выдаче.

Файл robots.txt помогает заблокировать эти ненужные технические страницы для индексации поисковиками. Их отсутствие в поисковой выдаче ускорит индексацию сайта, так как индексироваться будут только те страницы, которые действительно нужны посетителю и поисковик не будет тратить время на сканирование ненужных вещей.

Готовый файл robots.txt скачайте себе на компьютер по ссылке ниже.

Скачать файл robots.txt

Обязательно извлеките его из архива. Нужно чтобы он лежал на вашем компьютере в формате txt. Откройте этот файл, в него нужно внести некоторые поправки.

Интересуют последние две строки – Host и Sitemap. Host – определяет, какой сайт нужно индексировать – с WWW или без WWW. А Sitemap указывается путь к XML карте сайта (помните, в предыдущем занятии с помощью SEO плагина мы её сделали).

Сейчас в этих строках указан домен example.ru («example» означает «пример»). Исправьте эти две строки, чтобы там был написан ваш домен.

В строке Host напишите название вашего сайта, обязательно без WWW. Наш хостинг Beget настроен так, что домены отображаются без WWW. Я напишу в этой строке https://vendin1988.ru. А вы свой домен.

Теперь нужно указать адрес к XML карты сайта. Чтобы узнать его, в консоли WordPress перейдите в пункт «SEO» и подпункт XML карта сайта. Нажмите на кнопку «XML Sitemap».

В соседней вкладке браузера откроется XML карта. Скопируйте её адрес из адресной строки браузера.

И вставьте скопированный адрес в файл robots.txt в строку Sitemap.

Закройте файл robots.txt и сохраните изменения в нём.

Теперь необходимо загрузить этот файл на сайт. Доступ к файлам сайте можно получить через файловый менеджер. Перейдите в ваш аккаунт на хостинге Beget и нажмите на «Файловый менеджер».

Файл robots.txt должен находиться в корневой папке сайта. Помните, как мы устанавливали кнопки социальных сетей Share42? Их мы тоже загружали в корневую папку.

В файловом менеджере откройте корневую папку вашего сайта. Для ориентира — в ней должны быть папки share42, wp-content и другие. Находясь в корневой папке, нажмите кнопку «Загрузить файлы».

В открывшемся окне нажмите кнопку «Browse» и выберите файл robots.txt, чтобы загрузить его.

Нажмите кнопку «Загрузка».

А когда загрузка завершится — «Закрыть».

Файл robots.txt на вашем сайте. Теперь нужно проверить, правильно ли вы его загрузили. Для этого перейдите по такому адресу example.ru/robots.txt. Только замените example.ru на имя домена вашего сайта.

Если при переходе видите свой файл robots.txt, то всё верно. Если ошибку 404, значит, вы загрузили ваш файл не туда. Нужно исправить.

Задание №2 считается выполненным, если: