Как мы меряем

Разбираем сайты производителей и подрядчиков, у которых спрос забирает агрегатор. Начинаем не с текста, а с замера: каким типом страницы играет выдача, не спорят ли страницы сайта между собой, какой спрос не заведён к уже готовым страницам.

Эта страница — не про услуги, а про правила, по которым мы считаем. Их проще назвать запретами, потому что именно на них ломаются обычные отчёты: число в таблице выглядит одинаково и когда оно означает результат, и когда оно означает, что инструмент не сработал.

Восемь правил

1. Штуки фраз — лживая метрика

«Было 87 фраз в топ-10, стало 41» — звучит как обвал, но ничего не значит, пока не посчитана доля спроса. На одном из разобранных сайтов одна-единственная фраза несла 19 % всего спроса раздела: она осталась на месте, а «просадка» оказалась потерей хвоста с нулевой частотой. Считаем долю спроса, а не количество строк.

2. Потолок обхода называется вслух

«Разобрано 150 адресов из 311» — это про кусок сайта, а не про сайт. Если в отчёте написано просто «разобран сайт», читатель достраивает недостающее сам и всегда в лучшую сторону.

3. Сайт, который не прочитался, не показывается нулями

При сравнении с конкурентами один из них отдавал вместо страниц заглушку в 52 знака. Записать это нулями значит объявить, что у него ничего нет. Это не «у них пусто», это «мы не прочитали», и в таблице так и написано.

4. Третий сайт в сравнении обязателен

Пара «мы и они» даёт только знак разницы. Третий, сильный игрок рынка показывает, где отстают оба, — и это обычно самое ценное в сравнении. Без него легко радоваться превосходству над тем, кто сам проигрывает.

5. Доли по разным наборам фраз не сравниваются в лоб

«У нас 49 % в топ-10, у них 9 %» само по себе не значит «в пять раз лучше»: у двух сайтов разные ядра в съёме. Сначала общий набор фраз, потом сравнение.

6. Один ключ ничего не доказывает

Отдельный запрос шумит на ±6 позиций за сутки — мы мерили разброс, среднеквадратичное отклонение вышло 11,5. У медианы группы из десятка запросов разброс ±2. Поэтому эффект правки меряем группой и разностью разностей, а не «вчера было девятое, сегодня седьмое».

7. Страницы режутся по кликам, а не по позициям

В разборе 154 статей к сохранению отобрано 48, к объединению — 106, и решение принято по реальному трафику. Кто режет по рангу, сносит страницы, которые приносят посетителей без всяких позиций.

8. Спорные данные источника не чинятся догадкой и не показываются

Свежий пример: инструмент замера частот отвечал синтаксической ошибкой на любой запрос со знаками :, ?, (, ) — а ключи, выведенные из заголовка страницы, полны двоеточий. В рабочих списках такого вида оказалось 972 ключа из 4 260: у них частота не могла быть снята никогда, и выглядело это как «источник не ответил». Пока причина не найдена, в отчёте стоит «не измерено», а не ноль.

Почему это вообще возможно

Каждый разбор идёт по записанному маршруту — порядку шагов с правилами проверки и журналом применений. Разовый разбор, который сработал, становится маршрутом сразу, иначе он повторится с нуля.

Сейчас маршрутов 35, применений в журнале 153, сайтов в работе 11, страниц под разбором 4 654. Это не рекламные числа, а содержимое журнала: у каждого применения записано, к чему применяли и что вышло фактом.

Чего мы не делаем

• Не предлагаем сократить семантику. Никогда: объём спроса — всегда плюс.
• Не обещаем позиций и сроков.
• Не выдаём отказ инструмента за результат. Отказ называется отказом.
• Не отдаём прогноз одной цифрой — только вилкой сценариев по скорости внедрения. Так видно, что часть результата зависит не от нас.