Глава 23 — День, когда Оракул соврал мне

МАРТ 2028 ГОДА. 09:17

К тому моменту я уже привык начинать день с короткого обзора Оракула. Пять–семь сигналов. Ничего лишнего. Риски, отклонения, возможности.

Утро было обычным, пока один пункт не заставил меня отложить кофе.

— Риск потери ключевого клиента. Вероятность высокая.

Речь шла о клиенте, который давал нам заметную долю выручки в одном из направлений. Оракул написал, что контакт стал холоднее, согласования замедлились, количество негативных формулировок выросло, а внутри клиента появился альтернативный поставщик.

Дальше была формулировка, от которой у меня внутри всё сжалось:

«Вероятна подготовка к прекращению сотрудничества».

Я позвонил коммерческому директору раньше, чем успел дочитать пояснение.

— Что у нас происходит с ними?

— В каком смысле?

— Они уходят.

— Кто сказал?

— Оракул.

Пауза длилась секунды две.

— Я вчера разговаривал с их директором. Они не уходят. Наоборот, хотят расширять контракт.

Вот тогда у меня впервые возникло очень неприятное ощущение.

Не потому, что ИИ ошибся. Ошибаются все.

А потому, что я уже успел поверить ему быстрее, чем человеку.

ОН НЕ СОВРАЛ. ОН ОЧЕНЬ УВЕРЕННО ОШИБСЯ

Мы разобрали цепочку.

Часть переписки действительно стала короче. Сроки ответов увеличились. В нескольких письмах появился новый человек. Были фразы про сравнение условий. В CRM зависло два согласования.

По отдельности всё это выглядело подозрительно.

Но контекст был другой: у клиента менялась структура закупок, новый сотрудник как раз отвечал за расширение, а сравнение условий относилось к дополнительной категории товара.

Оракул увидел факты.

Плохо понял их связь.

И сделал вывод, который звучал гораздо увереннее, чем заслуживали данные.

Самая опасная ошибка ИИ — не неправильный ответ. Самая опасная ошибка — неправильный ответ, сказанный тоном истины.

В тот день мы добавили правило, которое позже стало обязательным: рядом с выводом должна быть видна его природа.

Что является фактом?

Что является интерпретацией?

Какие источники использованы?

Какова уверенность?

Какие альтернативные объяснения существуют?

Чего Оракул не знает?

ФАКТ ≠ ВЫВОД

Это кажется очевидным, пока вывод делает человек.

Если руководитель говорит: «Мне кажется, клиент собирается уйти», вы автоматически понимаете — это мнение.

Когда ИИ выдаёт ту же фразу внутри красивого интерфейса, рядом с графиком, процентом вероятности и ссылками на данные, мозг воспринимает её иначе.

Технология создаёт эффект объективности.

Иногда заслуженно.

Иногда — нет.

Оракул должен не просто давать ответ. Он обязан показывать границу между тем, что знает, и тем, что предполагает.

МНЕ ПРИШЛОСЬ ПЕРЕУЧИВАТЬ СЕБЯ

Сложнее всего было не исправить алгоритм. Сложнее было исправить мою собственную привычку.

Когда система несколько месяцев подряд помогает находить реальные проблемы, мозг очень быстро перестаёт относиться к ней как к советнику.

Она становится авторитетом.

А потом незаметно — судьёй.

Это опасный переход.

Я начал намеренно задавать вторые вопросы.

— Почему ты так решил?

— Какие есть альтернативные объяснения?

— Что противоречит твоему выводу?

— Каких данных тебе не хватает?

И ещё один вопрос, который стал для нас почти обязательным:

«Что должно быть правдой, чтобы твой вывод оказался ошибочным?»

Странно, но именно этот вопрос сделал Оракула полезнее.

Он перестал быть машиной ответов и стал машиной проверки гипотез.

КТО ОТВЕЧАЕТ ЗА ОШИБКУ?

Потом возник вопрос неприятнее.

Допустим, Оракул рекомендует остановить проект. Мы останавливаем. Через месяц выясняется, что решение было ошибочным.

Кто виноват?

Разработчик?

Модель?

Данные?

Руководитель, который нажал кнопку?

Собственник, который построил такую систему?

Ответ нам не понравился, но он был единственно взрослым.

Ответственность нельзя делегировать алгоритму. Если решение принадлежит человеку, ответственность тоже принадлежит человеку.

ИИ может расширить поле зрения.

Может предупредить.

Может просчитать варианты.

Может показать то, что мы пропустили.

Но фраза «так сказал Оракул» не должна становиться управленческой индульгенцией.

ВОПРОС ИЗ 2030-ГО

Есть ли сегодня в вашей компании решение, которое вы готовы принять только потому, что система уверенно сказала: «это лучший вариант»?