Когда считают видимость в нейроответах, обычно берут список источников под ответом и проверяют, есть ли там нужный домен. У этого подсчёта есть дефект: часть источников в ответе не использована. Разница между «найдено» и «процитировано» на живых прогонах составила два раза.
Что показывает разметка источников
Генеративный ответ поиска отдаёт каждый источник с признаком, вошёл он в ответ или был лишь найден при подготовке. Живые прогоны:
| Запрос | Источников в ответе | Использовано в ответе |
|---|---|---|
| Ворота с калиткой, коммерческий запрос | 5 | 4 |
| Металлообработка, коммерческий запрос | 5 | 2 |
| Общий вопрос без геопривязки | 5 | 3 |
Во втором случае разница двукратная. Если считать цитированием любое попадание в список, домен, который система нашла и отвергла, зачтётся как успех.
Почему это важно для отчёта
Видимость в нейроответах ценна ровно тем, что пользователь читает ответ, а не список ссылок под ним. Источник, не вошедший в ответ, пользователю не показан и переходов не даёт. Считать его — то же самое, что записывать в результат показы, которых никто не видел.
Правило подсчёта: цитированием считается только источник, использованный в тексте ответа. Найденные и отвергнутые учитываются отдельно — как потенциал, а не как результат.
Что делать, если система не размечает источники
Такое встречается: часть систем отдаёт плоский список без признака использования. Тогда есть два честных выхода. Первый — сверять домены со текстом ответа: упомянут ли он в самом ответе, а не только в сносках. Второй — не смешивать данные разных систем в одной цифре, потому что считаются они по-разному, и средняя между ними ничего не означает.
Неудобная часть
Строгий подсчёт делает картину хуже. Доля цитирований, посчитанная только по использованным источникам, ниже той, что получается при подсчёте всех подряд, — иногда вдвое. Работать с этой цифрой неприятнее, зато она соответствует тому, что видит пользователь. Отчёт, который завышает результат вдвое, рано или поздно расходится с фактическими переходами, и объяснять расхождение приходится всё равно.
Второй источник завышения — считать по одной системе и выдавать результат за видимость вообще: на одних и тех же запросах цифры расходятся в два-три раза. По такому подсчёту мы и ведём замер видимости в нейроответах для клиентских сайтов.