Галлюцинации ИИ в аналитике: 5 случаев, когда нейросеть уверенно ошибалась

ИИ доказал, что сотрудник сливает тёплых клиентов. Доказательства были железные: выгрузка из телефонии до секунды, 35 карточек, закрытых ровно после двух неотвеченных звонков. Отчёт почти ушёл руководству.

Вывод был ложным.

Это мой ИИ-аналитик, и ошибся он не один раз. Ниже пять случаев из одного проекта, где у нейросети был доступ к CRM, телефонии и почте B2B-компании. И правила проверки, которые после них появились. Если ты уже строишь отчёты на ИИ, они сэкономят тебе один неприятный разговор с руководством.

Галлюцинация ИИ в аналитике редко выглядит как выдуманная цифра. Чаще цифры верные, а вывод из них ложный: нейросеть взяла один источник из нескольких, выбрала не ту единицу счёта или придумала объяснение, которое красиво ложится на данные. Поймать такую ошибку труднее, чем выдуманный факт, потому что она подкреплена настоящими числами.

Что такое галлюцинация ИИ в аналитике

Обычно галлюцинацией называют выдуманный факт: несуществующую ссылку, цитату, цифру. В аналитике опаснее другой вид. Нейросеть получает настоящие данные, считает их правильно и делает из них уверенный неверный вывод.

Ловится она плохо. Цифры перепроверяешь, они сходятся. Вывод звучит правдоподобно, иногда правдоподобнее правды. И подаётся тем же уверенным тоном, что и верный.

Во всех пяти случаях ниже арифметика была в порядке. Ломалось то, что до неё: какие данные взять, в чём считать, чем объяснить.

Случай 1: сотрудник «сливает» базу

На вебинар зарегистрировались 146 человек. Через неделю в воронке продаж почти пусто. Напрашивался вывод «вебинары не работают».

ИИ поднял историю событий по каждой карточке и сверил её со звонками из телефонии. Картина вышла жёсткая. 44 карточки закрыты как «не удалось связаться», 35 из них ровно после двух неотвеченных звонков. Ещё 18 закрыты как «нет потребности», хотя самый длинный звонок по ним длился 0 секунд. Итог: минимум 53 контакта, 36% тёплой базы, потеряны руками одного сотрудника.

Заказчик попросил вытащить конкретные доказательства. Собирая их, ИИ проверил второй канал, переписку, и сам опроверг половину своего вывода.

У 68% закрытых до закрытия были касания: SMS после недозвона и письма от имени сотрудника с подстановкой имени. Реальный процесс выглядел как каскад: звонок, SMS, письмо, второй звонок, закрытие. По всем 403 закрытиям за два месяца у каждого пятого лида было 4 попытки и больше, а рекорд 22 попытки за семь недель с 12 состоявшимися разговорами. Сотрудник умеет работать упорно.

Случай 2: живой канал объявлен мёртвым

Задача: посчитать отдачу письма, которое уходит после каждого вебинара. ИИ искал эти письма в заметках сделок. Там их почти нет, потому что рассылка привязана к контактам. Вышло «рассылку остановили три месяца назад, ответов ноль». Это уже попало в отчёт.

Заказчик возразил по опыту: по двум последним вебинарам ответы точно были. Пересчёт по контактам нашёл тысячи писем. Вывод пришлось отзывать.

Ошибка: данные лежали в другой сущности CRM. Сделка и контакт хранят разное, и одна пустая таблица ничего не говорит о второй.

Случай 3: лучший ящик стал худшим

Дальше нужно было сравнить отдачу трёх почтовых ящиков, с которых уходили письма. ИИ посчитал ответы по тредам переписки. Правильная единица здесь уникальный получатель: один человек может породить несколько тредов.

Из-за этого ящик с лучшей отдачей попал в отчёт как худший. Ровно наоборот.

Ошибка: не та единица счёта. Треды, письма, получатели, касания, люди дают разные числа на одних и тех же данных.

Случай 4: охват 281%

Чтобы привязать письмо к эфиру, ИИ взял окно в двое суток после него. Эфиры шли через день, и окно захватывало письма соседнего эфира. Получился охват 281% зарегистрированных.

Человек увидел это за секунду. Охват больше 100% невозможен в принципе.

Ошибка: окно сопоставления шире интервала между событиями. Абсурдное число здесь лучший детектор, если на него вообще кто-то смотрит.

Случай 5: объяснение, которое ИИ придумал

Три ящика дали за год 4%, 9% и 14% ответов. ИИ объяснил разницу так: обезличенный адрес «от компании» работает хуже письма от живого сотрудника. Звучит логично, в маркетинге это почти аксиома.

Заказчик спросил: «Где ты это нашёл?». Выяснилось, что поле «От» ИИ не проверял. Там оказалось наоборот. Худшие 4% дало письмо от имени конкретного сотрудника, обезличенное дало вдвое больше.

Правильный ответ здесь «неизвестно». Ящик, автор переписки и период менялись одновременно, на этих данных эффекты не разделить. Нужен А/Б-тест на одном эфире.

Как выглядит правильная работа ИИ-аналитика

Тот же проект, два случая, где ИИ сработал как надо. Они показывают, чего добиваться.

Два ключа вместо одного

Подрядчик по лидогенерации приносил 113 заявок в неделю. По номеру в названии сделки вышло 17 разных «проектов». Остановись ИИ на этом, подрядчика обвинили бы в продаже дублей. ИИ проверил второй ключ, телефон, и получил 113 разных людей. Номер в названии оказался ID рекламной кампании.

Спросил вместо того, чтобы додумать

На одном потоке заявок за четыре дня сменились три метки источника. Удобная гипотеза лежала на поверхности: сбой у подрядчика. ИИ её не принял, показал раскладку по дням и спросил. Оказалось, у подрядчика несколько партий с разными метками, это штатно. Выяснилось за одну реплику.

Общее у этих двух случаев одно: ИИ показал расхождение и вынес его человеку. Удобное объяснение он себе не выбрал.

Как проверять выводы ИИ: чек-лист

Каждый пункт здесь оплачен одной из ошибок выше.

1. Все каналы касаний. Вывод о сотруднике или канале делается только после проверки звонков, SMS, почты и чатов. Один канал даёт уверенную неправду.
2. Где лежат данные. Спроси, из какой таблицы или сущности взята цифра. Сделка и контакт в CRM хранят разное.
3. Единица счёта. Треды или получатели, касания или люди, метки или потоки: договорись до расчёта, в чём считаешь.
4. Ключ сопоставления. Дубли ищи по телефону или почте. Окно привязки событий делай уже интервала между ними.
5. Абсурдные числа. Охват больше 100% или конверсия в разы выше исторической почти всегда означают ошибку в методике.
6. «Где ты это нашёл?» Любое объяснение причины должно ссылаться на конкретное поле в данных. Нет ссылки, значит это гипотеза.
7. Контр-гипотеза. Перед выводом о человеке ИИ обязан попробовать опровергнуть сам себя.

Все 14 историй из этого проекта, включая те, где ИИ нашёл реальные дыры, собраны в статье кейсы внедрения ИИ в продажи.

Частые вопросы

Полезные материалы

• Кейсы внедрения ИИ в продажи: 14 историй из того же проекта
• Нейросети для отдела продаж: контроль звонков по скрипту
• ИИ-агенты для бизнеса: как устроен агент, который работает без человека
• Сквозная аналитика в B2B: откуда берутся цифры, которым можно верить
• Аудит маркетинга: проверим, что твои отчёты говорят правду