10 марта 2 000 года индекс NASDAQ дошёл до пика. К осени 2002-го он потерял почти 78%. Pets.com вышла на биржу в феврале 2000-го, а в ноябре того же года уже распродавала имущество. Webvan, доставка продуктов с миллиардной оценкой, обанкротилась летом 2001-го. Акции Amazon за те же два года упали больше чем на 90%, но компания выжила.

Выжили не те, у кого был лучший сайт. Сайт и реклама у Pets.com были отличные, носок‑талисман помнят до сих пор. Но под сайтом у них не было ничего своего: корм закупали у тех же поставщиков, что и обычные зоомагазины, и продавали дешевле себестоимости. Amazon в это время строил склады и логистику, которые за выходные не скопируешь.

С ИИ‑сервисами сейчас происходит то же самое. Большинство устроено одинаково: форма на сайте, промпт, запрос в чужую нейросеть, ответ на экран. Как только владелец нейросети добавляет такую функцию к себе, сервис теряет смысл. Так уже было с сервисами «чат с PDF», когда загрузка файлов появилась в самих чат‑ботах.

С мая я делаю сервис проверки договоров и за это время составил для себя список: что должно быть у ИИ‑сервиса, чтобы ему можно было доверить работу, а не просто поиграть. Примеры в нём из договоров, но правила, по‑моему, подходят для любой отрасли.

1. Последнее слово — не за моделью

Любая языковая модель время от времени уверенно пишет то, чего нет: ссылается на пункт 7.3, а там написано совсем другое или такого пункта нет вовсе. Сервис, который показывает ответ модели как есть, просто передаёт эту ошибку пользователю.

Поэтому всё, что можно проверить без нейросети, должен проверять обычный код. В проверке договоров это цитаты: каждый вывод опирается на фрагмент документа, и код сверяет его с текстом. Не нашёл — вывод в отчёт не попадает.

Как часто это нужно, видно на настоящем документе. В проекте контракта на ремонт кровли школы из открытой закупки модель нашла больше сотни рисков, и в 24 из них цитата не совпадала с текстом дословно. Без проверки это 24 «цитаты», которых в договоре нет.

То же с числами. Суммы, сроки, проценты считает код. Читает модель хорошо, а вот считать ей лучше не доверять.

2. Знание отрасли важнее удачного промпта

Самые дорогие ошибки в договоре прячутся в сочетании пунктов, которые по отдельности выглядят безобидно. Пример из госконтракта на поставку оборудования для поликлиники:

• поставить товар нужно «в течение 5 календарных дней с даты заключения контракта»;

• поставщик «не менее чем за 5 дней до поставки направляет заказчику уведомление».

Вместе эти пункты значат, что уведомление надо отправить в день подписания контракта. Опоздал на день — уложиться в срок можно, только если заказчик согласится принять товар раньше. Иначе просрочка и пени.

Просьбу «найди всё подозрительное» нейросеть выполняет через раз. Надёжнее задавать ей конкретные вопросы, которые составил человек, знающий отрасль. У нас это каталоги: 15 типов договоров, почти четыреста вопросов к ним, отдельные слои для госзакупок и для разных отраслей. Такой каталог и есть те самые склады Amazon: его не получишь, просто взяв ту же модель.

3. Сервис понимает, что ему дали

Люди загружают документацию закупки целиком: требования к заявке, инструкцию, обоснование цены, а сам проект контракта лежит где‑то в конце. В одном случае из 96 страниц договором были 13. Если отдать модели всё подряд, она добросовестно найдёт риски в инструкции по заполнению заявки. Хороший сервис сначала разбирается, где в документе то, что нужно проверять.

4. Модель — заменяемая деталь

Модели обновляются каждые несколько месяцев. Продукт, который держится на конкретной модели, стареет вместе с ней. Если же ценность в слое вокруг — в проверках, справочниках, понимании документа, — модель можно сменить на более сильную, и продукт от этого только выиграет.

5. Владелец знает, куда уходят данные

Договор — это персональные данные подписантов и коммерческая тайна. Если сервис отправляет текст в зарубежную нейросеть, это трансграничная передача со всеми последствиями по 152-ФЗ, даже если сам сервис выглядит российским. На вопрос «куда уходит мой документ» владелец сервиса должен отвечать одной фразой, без «уточню у разработчиков».

6. Сервис честно говорит о своих границах

За решение отвечает человек, а не нейросеть. Поэтому хороший сервис показывает, на чём основан каждый вывод, и прямо говорит, где нужна проверка специалистом. Сократить юристу час работы до нескольких минут — реально. Пообещать, что найдены все риски до единого, — нечестно.

Как проверить сервис за пять минут

Если вы выбираете ИИ‑сервис для работы — неважно, с договорами или с чем‑то ещё, — задайте ему четыре вопроса.

1. «Покажите, где это написано». Возьмите любой вывод и найдите его цитату в исходном документе через Ctrl+F. Не нашлась дословно — значит, никто не проверяет, что пишет модель.

2. Дайте ему неудобный документ. Сто страниц вместо пяти, скан вместо Word, договор внутри пакета документов. Сервис без собственной логики споткнётся на первом же шаге.

3. Спросите, что сервис знает сверх нейросети. Свои справочники, правила, проверки, расчёты. Если в ответ звучит «у нас лучший промпт» или название модели, под сайтом ничего нет.

4. Спросите, куда уходит ваш текст. Ответ должен быть коротким и конкретным.

Пузырь 2000-го не убил интернет. Он убил компании, у которых под красивым сайтом ничего не было. С ИИ будет так же: технология останется, а сервисы начнут оценивать по тому, что у них под капотом — по проверкам, знанию отрасли и ответственности за результат.

Автор делает сервис проверки договоров Chronixy.