Глава 24 — Что нельзя отдавать машине

МЫ СНАЧАЛА ИСКАЛИ, ЧТО ЕЩЁ МОЖНО АВТОМАТИЗИРОВАТЬ

На ранних этапах вопрос звучал так: «Что ещё можно поручить ИИ?»

Потом он изменился.

Мы начали спрашивать: «Что ИИ технически может сделать, но не должен делать сам?»

Это более зрелый вопрос.

Потому что технология почти всегда расширяет возможности быстрее, чем компания успевает выработать правила.

ДЕНЬГИ

Оракул мог увидеть кассовый разрыв, предложить перенести платёж, изменить лимит, выделить приоритетные расходы.

Но однажды мне предложили следующий шаг: пусть система сама переставляет платежи внутри заранее заданных границ.

Технически удобно.

Управленчески — опасно.

Потому что платёж — это не просто число. Иногда за ним договорённость, репутация, человеческие отношения, юридические последствия.

Там, где действие создаёт необратимые последствия, скорость автоматики не всегда является преимуществом.

Мы оставили Оракулу обнаружение, расчёт и рекомендацию. Финальное решение — человеку с полномочиями.

УВОЛЬНЕНИЯ

Ещё опаснее оказалась тема сотрудников.

Если Оракул видит звонки, задачи, результаты, отклонения, сроки, жалобы, обучение и качество работы, технически можно попросить:

— Покажи десять самых слабых сотрудников.

Можно даже построить рейтинг и автоматически рекомендовать увольнение.

Мы отказались от этой логики.

Потому что цифры редко знают всю историю.

Сотрудник может показывать слабый результат из-за плохой территории, больного ребёнка, провального продукта, конфликта с руководителем, адаптации или задачи, которую никто нормально не объяснил.

Оракул может подсветить проблему.

Собрать факты.

Показать динамику.

Найти повторяющийся паттерн.

Но решение об увольнении остаётся человеческим.

Машина может оценивать работу. Но судьба человека не должна быть одной строкой в рейтинге.

ЮРИДИЧЕСКИ ЗНАЧИМЫЕ ДЕЙСТВИЯ

Подписать документ.

Согласовать обязательство.

Отправить официальную претензию.

Изменить условия договора.

Передать конфиденциальные данные.

Совершить действие, создающее правовые последствия.

Здесь мы ввели обязательные уровни подтверждения.

ИИ готовит.

Проверяет.

Сравнивает.

Предупреждает.

Но там, где возникает значимая ответственность компании, человек должен понимать, что именно он подтверждает.

СТРАТЕГИЯ

Был соблазн и здесь.

Оракул видел рынок, клиентов, экономику направлений, эффективность подразделений и мог моделировать сценарии.

Он мог сказать: «Закройте направление А и инвестируйте в направление Б».

Иногда совет был сильным.

Но стратегия — это не только максимизация метрики.

Это риск, амбиция, ценности, репутация, горизонт, который может быть длиннее доступных данных.

ИИ хорошо оптимизирует то, что вы сумели измерить. Но собственник отвечает ещё и за то, что пока нельзя нормально измерить.

ФОРМУЛА, К КОТОРОЙ МЫ ПРИШЛИ

После нескольких споров мы сформулировали простую лестницу.

Увидеть → предупредить → объяснить → предложить → человек решает.

Позже для некоторых безопасных процессов появилась шестая ступень:

... → выполнить автоматически в заранее утверждённых границах.

Но именно границы были важнее автоматизации.

Чем выше цена ошибки, тем выше должен быть уровень человеческого подтверждения.

Чем более обратимо действие, тем больше свободы можно дать машине.

Чем чувствительнее данные, тем жёстче права доступа.

Чем меньше уверенность модели, тем раньше должна происходить эскалация человеку.

ОРАКУЛ ДОЛЖЕН УМЕТЬ ОСТАНОВИТЬСЯ

Я долго думал, что признак умного ИИ — способность отвечать.

Потом понял, что иногда признак зрелости — способность не отвечать.

— Недостаточно данных.

— Высокая неопределённость.

— Требуется решение руководителя.

— Действие выходит за мои полномочия.

Сильный Оракул не тот, который может всё. Сильный Оракул знает, где заканчивается его власть.

ВОПРОС ИЗ 2030-ГО

Какие три решения в вашей компании вы никогда не разрешили бы принимать автоматически, даже если ИИ статистически делал бы их точнее человека?