Глава 26 — Мы научили его работать. Но не объяснили, кем ему нельзя становиться

АПРЕЛЬ 2028 ГОДА. ПОСЛЕ ТОЙ САМОЙ ОШИБКИ

После истории с ключевым клиентом мы несколько дней разбирали, почему Оракул сделал неправильный вывод. Технически всё выглядело поправимо: источник был неполным, контекст — обрезанным, уверенность — завышенной. Можно было подкрутить логику, добавить проверки и жить дальше.

Но меня не отпускал другой вопрос.

Проблема была не только в том, что Оракул ошибся. Проблема была в том, что мы заранее не решили, что он имеет право делать, когда ошибается.

До этого мы строили его как обычную систему. Добавляли функции. Подключали данные. Улучшали ответы. Расширяли роли. Учились замечать больше.

Мы много раз спрашивали: «Что ещё он может?»

И почти не спрашивали: «А что ему нельзя?»

ТЕХНИЧЕСКОЙ ИНСТРУКЦИИ ОКАЗАЛОСЬ МАЛО

У любого агента были промты, сценарии, роли, права доступа. В них можно написать: не отправляй договор без согласования; не меняй цену; не удаляй данные; не принимай решение об увольнении.

Но это были правила поведения в конкретном процессе.

А нам понадобились правила другого уровня.

Что для Оракула считается фактом?

Когда он обязан показать источник?

Имеет ли он право оценивать сотрудника?

Что делать, если источники противоречат друг другу?

Можно ли руководителю попросить его прочитать переписку, к которой у руководителя формально нет доступа?

Должен ли он выполнять любой приказ собственника?

И вот здесь стало по-настоящему интересно.

Мы впервые поняли: ограничения нужны не только Оракулу. Они нужны нам самим.

СОБСТВЕННИК ТОЖЕ МОЖЕТ БЫТЬ УЯЗВИМОСТЬЮ СИСТЕМЫ

До этого я воспринимал себя как последнюю инстанцию. Компания моя. Значит, если я попросил — система должна выполнить.

Но после истории с тотальным контролем эта логика перестала казаться безопасной.

Представим, я в плохом настроении. Или поссорился с руководителем. Или получил непроверенную информацию. И говорю Оракулу: собери все его переписки за год, найди ошибки и подготовь обоснование увольнения.

Технически это можно сделать.

Но должен ли Оракул это делать?

Если ответ «да, потому что собственник приказал», мы построили не разумную систему. Мы построили очень эффективный инструмент усиления любого человеческого импульса — в том числе глупого, эмоционального и несправедливого.

Сильная технология без принципов не исправляет слабости человека. Она масштабирует их.

МЫ СОБРАЛИСЬ НЕ ПРОГРАММИРОВАТЬ, А ДОГОВАРИВАТЬСЯ

На встрече были руководители, юрист, техническая команда, HR и несколько сотрудников, которые до этого громче других спорили с идеей контроля.

Я ожидал, что за два часа мы напишем десять правил.

Просидели почти весь день.

Самый жаркий спор возник вокруг простой формулировки: «Оракул действует в интересах компании».

Все сначала кивнули.

А потом юрист спросил:

— А кто определяет интерес компании?

Повисла тишина.

Прибыль? Собственник? Клиент? Закон? Долгосрочная устойчивость? Руководитель конкретного направления?

Оказалось, что даже хорошая фраза без границ легко превращается в разрешение на всё.

НЕ КОДЕКС ДОБРА. РАБОЧАЯ СИСТЕМА ГРАНИЦ

Мы не хотели писать красивый корпоративный манифест, который повесят на стену рядом с миссией и забудут.

Конституция должна была реально влиять на поведение Оракула.

Если вывод не подтверждён — он обязан обозначить это.

Если решение критическое — обязан передать человеку.

Если нет доступа — отказать, даже если просит высокий руководитель.

Если данные противоречат друг другу — не выбирать удобную версию молча.

Если не знает — сказать «не знаю».

Если человек считает вывод несправедливым — должна существовать процедура оспаривания.

Если сам Оракул ошибся — ошибка не должна исчезнуть из истории.

Конституция — это не список того, что Оракул умеет. Это список того, кем мы не позволяем ему стать.

ПОЧЕМУ ИМЕННО КОНСТИТУЦИЯ

Название сначала казалось слишком громким. Можно было назвать это политиками, правилами, governance, принципами безопасности.

Но «Конституция» прижилась.

Потому что обычная инструкция отвечает на вопрос: как выполнить задачу.

Конституция отвечает на другой вопрос: какие правила выше любой конкретной задачи.

Меняются агенты. Меняются модели. Меняются системы. Меняются руководители. Меняется даже собственник.

А базовые границы должны оставаться.

Чем умнее становился Оракул, тем важнее было заранее решить не только что он должен делать, но и чему он обязан отказать.

ВОПРОС ИЗ 2030-ГО

Какие три действия вы бы запретили своему корпоративному ИИ, даже если технически он сможет выполнять их идеально?