SEO: Техническая оптимизация
Урок 6
Лонгрид урока
Или другая ситуация: перезапуск сайта на новом дизайне и современном движке. Хотели как лучше, а получилось как всегда — трафик упал:
Вы точно много внимания уделяете контенту и его качеству. Но это еще не все. Надо, чтобы до него добрался читатель — желательно побыстрее. Только представьте: сделали крутую серию статей, например, про ЧМ-2018, но что-то пошло не так — чемпионат в разгаре, а трафика все нет. Конкуренты уже собрали сливки, а вы только-только попали в поисковую выдачу и упустили горячую аудиторию — интерес к теме не вечен. Редакторы на антидепрессантах.
Чтобы не терять трафик и получать больше, налаживайте коммуникацию с разработчиками и пользуйтесь чек-листами. Мы поможем и с тем, и с другим: разберем типовые ситуации на технической стороне, из-за которых медиа обычно теряют или недополучают трафик, и в конце урока дадим чек-листы по каждой из них.
Как ускорить индексацию
01
Создать дополнительные разделы или теги
Поисковый бот, который индексирует новости и актуальные материалы, чаще посещает именно такие страницы, и это помогает статьям быстрее попасть в поиск. Важно правильно выбирать теги для статей: не ставить много похожих по смыслу тегов и не создавать теги под непопулярные запросы.
02
Генерировать карту сайта
Передайте разработчикам технические требования:
Нужно сделать отдельный динамический файл sitemap. xml со свежим контентом за 1−3 дня, добавить его в Яндекс. Вебмастер и Search Console Google.
Проверить sitemap на наличие ошибок можно с помощью валидатора Яндекс
Большие файлы sitemap нужно разбивать на более мелкие. Файл может содержать не более 50 000 URL, размер в несжатом виде не должен превышать 10 Мб
Файлы sitemap должны использовать кодировку UTF-8
Для каждого URL нужно указать дату последнего обновления страницы (элемент lastmod)
В sitemap должны попадать адреса страниц, открытых к индексации. Страницы, закрытые в robots. txt или с метатегом <meta name="robots" content="noindex"/>, не должны содержаться в sitemap
03
Выводить свежие новости на главную
Обычно все так и делают, но на всякий случай объясним, почему это важно:
чем меньше переходов с главной нужно совершить, чтобы добраться до свежего контента, тем быстрее новые страницы попадут в поиск
поисковый бот обходит сайт, начиная с главной страницы
04
Ускорить загрузку страниц на сайте
Какие параметры важно оптимизировать:
Оптимально, когда страница грузится за секунду или быстрее. Проанализируйте, какая скорость загрузки у успешных конкурентов и подумайте, можете ли сделать так же или лучше.
Onload (событие конца отрисовки)
DomContentLoaded (время, когда HTML загружен, кроме стилей, изображений и т. д.)
First Contentful Paint (время начала отрисовки значимого контента)
First Paint (время начала отрисовки)
Далее передайте данные разработчикам и поставьте им задачу.
05
Помочь боту найти свежий контент
Что передать разработчикам:
Свежий контент попадет в поиск быстрее, если бот будет обходить не весь-весь сайт каждый раз, а только новые страницы. В этом помогут специальные HTTP-заголовки (не волнуйтесь, их «видит» только поисковый бот).
По результату проверки страницы сайта должны отдавать и Last-Modified, и 304 Not Modified
Сервис для проверки: tools.seo-auditor
Нужно, чтобы все страницы сайта либо страницы новостей и статей (зависит от возможностей разработки) отдавали HTTP-заголовки Last-Modified и If-Modified-Since с реальными датами
06
Показать боту еще не проиндексированные страницы
Например, в блоках перелинковки «Читайте также». Механика подробно описана в презентации (ссылка рабочая, открывайте через VPN). Обсудите возможность реализации с разработчиками.
Чек-лист 01. В материалах к уроку вы найдете все чек-листы в высоком разрешении.
Редизайн сайта
Если делаете редизайн, сразу проговорите с разработчиками все пункты этого блока.
01
Все работы ведутся на тестовом поддомене или отдельном домене — test.site.ru, beta.site.ru и т. д.
02
Тестовый поддомен или домен закрыт от индексации либо первыми двумя способами одновременно, либо третьим:
настраиваем доступ к поддомену по авторизации
на каждой странице размещаем метатег <meta name="robots" content="noindex"/>
меняем robots. txt на
User-agent: *
Disallow: /
User-agent: *
Disallow: /
Это минимизирует риск того, что страницы, дублирующие основной сайт, проиндексируются и негативно повлияют на трафик.
03
На каждой странице должен быть заголовок H1, и только один.
04
Настройка атрибутов rel="canonical"
У страниц пагинации и любых других URL с параметрами, которые дублируют уже существующие страницы, нужно в <head></head> указать канонический адрес с помощью конструкции <link rel="canonical" href="https://site.ru/example/" />.
Остальное зависит от специфики сайта. Если опасаетесь просадки трафика после релиза, лучше проконсультироваться с SEO-специалистами еще до старта разработки.
Чек-лист 02. В материалах к уроку вы найдете все чек-листы в высоком разрешении.
Single Page Application
Если упрощать, то самое важное — чтобы весь контент читался в коде и был доступен для поисковых ботов без Javascript.
Если «переезжаете» на SPA или разрабатываете сайт с нуля на таком типе фронтенда, есть несколько очень важных рекомендаций. Следуйте им, чтобы избежать спада поискового трафика или его отсутствия, если сайт новый.
Что передать разработчику:
01
URL-адреса сохраняйте в текущем виде
02
Обновляйте кэш как можно чаще
Своевременное обновление кэша поможет быстро индексировать новые страницы.
Если будет происходить кэширование, обновляйте кэш на хабовых страницах (главная и разделы) после каждого выхода свежего контента. Если нельзя — не менее 4−5 раз за сутки (но знайте, для новостных изданий и событийного контента этого мало).
03
Настройте пагинацию
На страницах разделов добавьте ссылки на пагинацию в отрендеренных версиях страниц. А на страницах пагинации — например, www.site.ru/example/page-2/ - должна быть ссылка на начальную страницу раздела как на каноническую в виде тега <link rel="canonical" href="http://site.ru/example/" />.
04
Проверяйте корректность рендера
Используйте инструмент «Проверка URL» в Search Console, чтобы понять, корректно ли бот видит страницу и какие компоненты JS или CSS ему недоступны:
далее смотрите вкладки HTML, «Скриншот» и «Подробнее»
кликните на «Изучить проверенную страницу»
вставьте URL в поле
Для Яндекса используйте bertal.
нажмите «Проверить»
поставьте галочку «Показать html-код страницы»
выберите нужный User-Agent в выпадающем списке
введите URL в соответствующее поле
поищите в коде фрагмент текста со страницы
05
Проверяйте ответы заголовков сервера
Ответы 200 и 404 должны корректно отдаваться для существующих и несуществующих страниц, соответственно. Сервисы для проверки: Яндекс.Вебмастер и bertal.ru.
06
Оперативно находите ошибки рендера
Как вариант — реализовать скрипт, который будет проверять наличие заголовка H1 на странице после рендера и отправлять разработчикам уведомление, если его нет. Компромиссное решение — мониторить типовые страницы в сервисе SEOSAN (но там можно добавлять максимум 500 URL).
Подумайте с разработчиками над решением, которое позволит вовремя находить страницы с проблемами рендера, а не когда трафик уже упал. Бывает, что некоторые страницы рендерятся, но при этом пустые и отдают код 200 OK.
Изменение структуры сайта
01
Поставьте редиректы 301
Если со структурой сайта меняются и адреса страниц, поставьте постоянное перенаправление (301 редирект) со всех старых URL на все новые.
02
Уделите внимание меню
Повестка меняется, и на каких-то разделах менее интересно акцентировать внимание. Если статьи условной рубрики /health/ приносят существенный трафик из поиска, а вы уберете ссылку на раздел из основного меню, посещаемость снизится.
Для поискового трафика важны сквозные ссылки на разделы — с точки зрения распределения веса между страницами и скорости индексации свежего контента.
Оптимальный вариант — двухуровневое меню:
ссылки на событийные / сезонные разделы, к которым нужно привлечь внимание, публикуются под основным меню (сквозной блок на всех страницах сайта)
основное меню статично
Чек-лист 03. В материалах к уроку вы найдете все чек-листы в высоком разрешении.
Переход на HTTPS
Важно четко следовать инструкции, иначе трафик может заметно пострадать.
Подготовка к переходу на HTTPS
Ссылки на изображения и видео тоже замените на относительные, без протокола.
Замените абсолютные внутренние ссылки на сайте на относительные. Например, ссылку site.ru/category/example/ надо заменить в коде на /category/example/.
Если на сайте есть коды ремаркетинга и различные скрипты, нужно просто заменить их адреса на относительные с доменным именем, но без протокола HTTP. Пример: site.ru/example/.
Выбор SSL-сертификата
Хостинг обычно помогает с настройкой SSL, но не все хостеры поддерживают SSL. Будьте внимательны, если меняется хостинг и осуществляется переход на HTTPS, сайт будет доступен по старому IP-адресу и необходимо будет настроить редиректы с него на новый адрес. После установки проверьте, правильно ли установлен ваш SSL-сертификат.
Бесплатные SSL-сертификаты небезопасны: браузеры могут выдать ошибку с предупреждением, что сайт не проверен.
Наиболее оптимальный и распространенный сертификат — Domain Validation. Выдается на один домен, и его придется оплатить заново, если вы решите сменить доменное имя. Средняя цена — $ 10−30 в год, получить можно в любом центре сертификации (например, Comodo или Symantec).
Настройка индексации и редиректов
01
Добавьте домен с HTTPS в Яндекс.Вебмастер. Если в разделе «Индексирование» есть подраздел «Отклейка зеркал», то сайт склеен в группу зеркал с другим сайтом и нужно воспользоваться инструментом отклейки в этом же подразделе. Когда расклейка закончится, переходите ко второму пункту.
02
Настройте редирект 301 со страниц старого сайта на аналогичные страницы нового. Важно:
страницы сайтов должны быть доступны и отдавать код 200 ОК или 301. Если будет много страниц с ошибкой 404, это может помешать переезду
файл sitemap в robots. txt лучше указать по адресу HTTPS-версии — после переезда индексироваться будет именно она
обе версии сайта — и HTTP, и HTTPS — должны быть открыты для индексации
03
Проверьте, что редиректы с www.site.ru/* на site.ru/* (или наоборот) тоже работают.
04
Если заявка была успешно принята, значит, настройки выполнены корректно и сайты смогут склеиться. Процесс склейки может занимать от нескольких дней до 3 недель (происходит автоматически, нельзя ускорить). Страницы HTTP-версии будут участвовать в поиске какое-то время, пока аналогичные страницы HTTPS-версии не будут проиндексированы.
После пунктов 1−3 в панели Яндекс. Вебмастера HTTP-версии отправьте заявку на переезд сайта.
05
Для HTTPS-версии в Яндекс. Вебмастере необходимо добавить свой файл sitemap и установить региональность сайта, если это необходимо.
Что перепроверить
01
Изображения доступны по HTTPS.
02
Все типы страницы — например, страницы категорий, подкатегорий, тегов и т. д. — доступны по HTTPS.
03
Если все окей, можно ждать, пока сайт переиндексируется поисковыми системами.
Ссылки в link rel="canonical" указаны с HTTPS либо они относительны (проверить, не осталось ли на сайте ссылок без HTTPS, можно с помощью краулеров Screaming Frog SEO Spider, Netpeak Spider и т. д.).
Если что-то пошло не так
После этого проверьте коды ответов сервера на сайте, чтобы существующие страницы возвращали код ответа 200, а несуществующие — 404. Также проверьте сайт на наличие ссылок на редиректы, 404 страницы.
Если в адресной строке все равно есть уведомление, что соединение небезопасно, хотя все пункты выполнены, скорее всего, дело в скриптах на страницах. Необходимо заменить адреса ссылок на них на относительные без протокола.
Чек-лист 04. В материалах к уроку вы найдете все чек-листы в высоком разрешении.
Домашнее задание
Проверьте себя по чек-листам из лонгрида к уроку и соберите список актуальных задач для своих коллег-разработчиков. Список начинайте с наиболее приоритетных и срочных.
Анна Сергеева, ex- тимлид SEO
Спикер:
