При разработке и обновлении сайта критически важно синхронизировать действия разработчиков и специалистов по поисковой оптимизации (SEO-специалистов). Задайте им ключевые вопросы: закрыт ли сервер, используемый для разработки приложений (dev-сервер), запрещена ли индексация. Спросите, как организована перелинковка для глубоких страниц.
Убедитесь, что поисковые роботы видят контент без мультипарадигменного языка программирования (JavaScript), проверены ли элементы HTML‑кода веб‑страницы (метатеги) на уникальность, есть ли план работы с битыми ссылками. Не заблокированы ли важные разделы в текстовом файле с параметрами индексирования (robots.txt) и регулярно ли обновляется файл со ссылками на страницы сайта (sitemap.xml). Потеря позиций чаще всего происходит из-за технических ошибок.
Введение
Разработка и поисковая оптимизация (Search Engine Optimization, SEO) часто говорят на разных языках. Результат — потерянные позиции, битые ссылки и упущенный трафик. Специалист по поисковой оптимизации и основатель «Кручу Верчу» Денис Нарижный» подчеркивает: «Сначала — техническая база и структура, затем — поведение и контент. И только после этого — любая «докрутка»».
Вот 10 вопросов, которые помогут расставить мосты между кодом и поиском и не потерять то, что уже есть.
1.Почему тестовый сервер разработки (dev-ветка) индексируется поиском?
Потому что ее не закрыли паролем и не поставили запрет на индексацию (noindex) в dev.site.ru. Dev-сервер должен быть недоступен извне.
Пример. Запустили тестовый магазин на dev.site.ru, забыли про файл управления доступом для роботов (robots.txt). Через неделю в выдаче — дубли страниц с пометкой «Тест». Поисковик путается, основной сайт теряет вес.
Схема защиты dev-сервера от индексации поисковыми системами
2. Сколько ссылок теряется при редизайне и смене системы управления контентом (Content Management System, CMS)?
При грамотной миграции — 5–10 %. При хаотичной — до 30–40 %. Каждая ссылка — это позиции и трафик.
Пример. Переехали на новую платформу, не настроили постоянное перенаправление (301 редирект). Старые ссылки из соцсетей и закладок ведут в никуда. Потеряли 25 % органического трафика за месяц.
3. Как отличить хороший JavaScript (JS) от плохого с точки зрения поисковой оптимизации?
Плохой JavaScript (JS) — контент грузится на клиенте, бот его не видит. Проверка: отключите JavaScript (JS) в браузере. Если текст исчез — проблема.
Пример. Карточки товаров подгружаются через асинхронную загрузку контента (AJAX). Бот Яндекса видит пустой блок. Помогает предварительный визуализации (рендеринг, пререндеринг, prerendering) или динамическая отрисовка (динамический рендеринг, dynamic rendering) для ботов.
4. Почему бот не доходит до глубоких страниц?
Плохая перелинковка, длинные цепочки кликов (главная → раздел → подраздел → товар → скрытая страница). Бросайте ссылки с главной на важные разделы.
Пример. Товар спрятан за 5 уровнями вложенности. Бот доходит только до категории. Решение: добавьте навигационную цепочку и ссылки из блога.
5. Что делать с битыми ссылками после миграции?
Настроить постоянное перенаправление (301 редирект) со старых адресов на новые. Если не знаете, куда вести, — отдавайте код ошибки «Не найдено» (404) с полезным поиском.
Пример. Старый адрес /catalog/item123 → новый /products/new-item123. Редирект сохраняет вес и пользовательский опыт.
6. Как проверять метатеги на 10 000 страниц?
Для этой цели используйте:
- Программу для выполнения конкретной задачи (скрипт).
- Программу для технического SEO-аудита сайтов (Screaming Frog) с лимитами.
- Собственный парсер на интерпретируемом языке программирования (Python).
- Модули сервисов аналитики (Ahrefs/Semrush).
Вручную выполнить такой объем работы нереально.
Пример. Написали простой скрипт на Python, который выгружает заголовки и описания, находит дубли и пустые поля. Экономия: 40 часов работы в месяц.
Если писать парсеры и настраивать автоматизацию вручную не входит в ваши приоритеты, можно делегировать эту задачу профильным специалистам. SEO-агентство «Кручу Верчу» предлагает решение: разработка технических продуктов под задачи поисковой оптимизации помогает закрывать рутинные процессы без нагрузки на внутреннюю команду.
Алгоритм автоматической проверки метатегов для большого сайта
7. Почему падает скорость после обновления дизайна?
Тяжелые шрифты, неоптимизированные изображения, лишние скрипты, отсутствие кэширования.
Пример. Добавили анимированный баннер на 2 МБ. Страница грузится 5 секунд вместо 1,5. Поисковик понижает в выдаче.
8. Что такое каноническая ссылка (каноникал, canonical) и где ее ставить?
Каноническая ссылка — ссылка на главную версию страницы для поисковика. Ставить на дублях, посадочных с метками отслеживания источников (UTM-метки).
Пример. Страница доступна по /product и /product?utm_source=mail. Canonical указывает на чистый адрес, чтобы не размыть вес.
9. Как не заблокировать весь сайт в файле управления доступом (robots.txt) случайно?
Не писать директиву «запретить все» (Disallow: /) на проде. Всегда проверять в сервисе «Google Search Console» (GSC) перед выкаткой. Иметь резервную копию (бэкап).
Пример. Разработчик скопировал dev-robots.txt на продакшн. Сайт исчез из индекса за сутки. Восстановление заняло 2 недели.
10. Как часто обновлять файл карты сайта (sitemap.xml)?
При добавлении или удалении более 10 страниц в неделю. Минимум — раз в месяц.
Пример. Интернет-магазин добавляет 50 товаров в день. Sitemap обновляется автоматически через планировщик заданий (cron). Поисковик быстрее находит новинки.
Чек-лист поисковой оптимизации для разработчика
Скопируйте и проверьте:
- Ветка разработки (dev-сервер) закрыта паролем или директивой «ноиндекс» (noindex).
- Все старые адреса имеют постоянное перенаправление (301 редирект) на новые.
- Роботы видят ключевой контент (проверка: отключить JavaScript/JS).
- Нет битых ссылок внутри сайта.
- Метатеги уникальны для каждой страницы.
- Скорость загрузки не упала более чем на 20 %.
- Каноническая ссылка стоит на всех страницах.
- Файл robots.txt не блокирует важные разделы.
- Файл sitemap.xml обновлен.
Разработка SEO-оптимизация — не два отдельных процесса, а единый конвейер. Ошибка на этапе кода стоит дороже, чем месяц продвижения. Потеря позиций из-за технической мелочи — это упущенная выручка, которую сложно вернуть.