Написать эту статью-мнение меня сподвигла всё неутихающая волна хайпа вокруг ИИ (он же AI, он же Искусственный интеллект) и огромное число статей, видео и прочего контента на эту тему, который всё равно прорывается в моё "инфо-пространство", хотя я прилагаю немало усилий, чтобы беречь его от проявлений любой крайности. Последней каплей стал разговор с хорошим другом-высококлассным айтишником, который делился со мной апокалиптическими сценариями и мыслями о том, "какую рабочую профессию хорошо бы нам, программистам, освоить уже сейчас, чтобы через несколько лет суметь заработать себе на хлеб?" (предложил ему освоить пчеловодство или переехать в Германию, где до сих пор компании отправлют бумажных писем больше, чем электронных :-)) , и пост в одном популярном канале по Дата-инженерии, где автор канала тащиться от вайб-кодинга и удивляется, что "есть еще люди, которые не верят, что ИИ через два года будет ..." - и далее по списку. Ну а про то, что количество "ура-статей" тут, на хабре, зашкаливает (хотя попадаются и скептические) вообще молчу...

Собственно, я - тот человек, который не верит в чудеса, а верит в поступательное развитие технологий со всеми их trade-off. И в этой статье я хочу без лишних эмоций, штампов и крайностей поделиться с сообщестовом, почему я на текущий момент не верю, что ИИ в ближайшее время оставит миллионы людей (в т.ч. и нас с вами) без работы.

TL; DR

Немного терминологии

Для начала, давайте определимся с терминами. Я нормально отношусь к тому, когда "эффективный менеджер", продажник и прочие нетехнические люди употребляют термин "ИИ" или "AI". Но меня очень сильно удивляет, когда технически-типа-грамотный человек (ну или прикидывающийся им, или который должен быть им в силу своей роли/должности) произносит его же. Поэтому давайте сразу расставим все точки над "И" (в нашем случае - над двумя "И" :-)). То, что сейчас у всех на слуху - ChatGPT, Gemini, Claude и т. п. - это:

• не AI, а ML (machine learning)

• всего лишь один из его подвидов - LLM (large language model)

Поэтому назвать LLM искусственным интеллектом позволительно всяким "продажникам" и "эффективным менеджерам" - ну работа у них такая впарить что-то или выбить финансирование из кого-то. Но тех. специалисту всё же лучше называть вещи своими именами. Так точнее, и это позволяет эффективнее противостоять попыткам подмены понятий.

Хайп: Биг Дата, Блокчейн и ИИ

Помните, лет 8-10 назад была на протяжении нескольких лет волна хайпа вокруг блокчейна? Я отлично ее помню. Ни одна конференция не обходилась без пары-тройки докладов на эту тему. Технология типа обещала прорыв, а евангелисты наперебой называли прикладыне сферы, в которых он устроит настоящую революцию. Помню, как на какой-то ИТ-конферениции крупный банк из Санкт-Петербурга гордо рассказывал про свой пилотный проект по заключению то ли лизинговых, то ли факторинговых сделок с использованием блокчейна и как это круто. ИТ-консалтинг, в котором я тогда работал, выпустил специальный доклад-исследование для своих клиентов, а также, естественно, сам "эсперементировал" с этой технологией.

Когда прошла волна хайпа, оказалось (и сейчас, спустя много лет, уже можно более-менее объективно судить об этом), что блокчейн по сути массово применяется только ... в криптовалютах, которые сами имеют узкую и специфичную сферу применения. О других сферах его массового коммерческого применения не особо слышно. Если где-то вера в его "вот-вот наступающее светлое будущее" и осталась, так это в маргинальных телеграм-сообществах, посвящённых крипте, трейдерству криптой или курсам, как торговать криптой :-) Не поймите меня неправильно - я не против крипты. У неё есть вполне конкретная ниша, которую она успешно заняла и продолжает занимать. Я лишь обращаю внимание на значительную разницу между "пророчествами" и наступившей реальностью.

Биг Дата в свое время тоже "звенела" везде. Но "отгремев" она, в отличии от блокчейна, стала де-факто комодити-технологией, которая "почти везде", и о которой нет смысла лишний раз упоминать, ибо она у многих by default. Так вот, забегая немнго вперед, мне кажется, что

Ситуация с ИИ и хайпом вокруг него ближе скорее к хайпу вокруг блокчейна, который обещал многого, но в итоге остался с нами, но занял совсем не ту нишу и не того объема, что ему пророчили.

За последние 2,5 года я посетил ряд конференций по Дата Инженерии, на которых было немало докладов в том числе и спикеров из Databricks и Microsoft (а некоторые конференции были даже организованы упомянутыми компаниями), а так же их клиентов. Про ИИ там говорят много, но если разобраться, то в сухом остатке это:

• "Продающие" презентации новых возможностей встроенных ассистенов или различных ML-возможностей платформ, только теперь под брендом "AI".

• "Продающие" презентации новых ИИ-стартапов / тулов.

• "Вангования" о наступлении "новой эры", необходимости "трансформации" и светлого будущего с ИИ.

• Какие-то общие рассуждения на тему "как надо бы делать".

Чего-то не хватает, правда? А не хватает примеров перестройки (или внедрения новых) бизнес-процессов компаний под использование LLM с получением при этом заметного коммерческого эффекта. Безусловно, компании экспериментируют с использованием LLM, но только от эксперимента до продакшена - как от Владивостока до Парижа пешком. Сам же Databricks между делом констатирует, что только 15% проектов их клиентов, связанных с ИИ (а в это число входят не только герои текущего хайпа - LLM, но и вообще весь ML) доходят до продакшена.

Тут опять же бросается качественное отличие текущего хайпа от хайпа вокруг Биг Даты. Тогда на конференциях уже через 1-2 года говорили не про "светлое будущее", а обсуждали конкертные прикладные технические аспекты, архитектуру, конкретных "пакемонов" из экосистемы Hadoop и т.п., а так же была куча статей и даже обучающих курсов про конкретные технологии, фреймворки и т.п. (причем неплохого качества). Я специально при подготовке статьи зашел на Udemy.com. и посмотрел программы нескольких популярных крусов на тему AI - большинство вертятся вокруг чат-ботов и использования API того же ChatGPT. Ну еще по промт-инженерингу есть немало курсов. Последние я, кстати, нахожу скорее полезными - наконец-то возрастет число людей, которые смогут внятно выражать свои мысли ;-)

Реальность

Почему же так? Почему AI до сих пор не изменил качественно бизнес-процессы и вообще сам бизнес компаний (я не про те компании, которые являются бенефициарами хайпа)? На конференициях (видать, чтобы не сильно обижать "эффективных менеджеров") звучат часто обтекаемые фразы про недостаток "дата культуры", проблемы с "качеством данных", "дата-зрелостью организации" и т.п. - и это тоже верно, но на мой взгляд, если мы будем говорить о LLM (которые являются предметом нашей сегодняшней статьи и текущего хайпа), то я бы выделил 3 основные причины:

• на полне хайпа под натиском "эффективных менеджеров" забывают фундаментальное правило: "Если задача может быть решена без ML, она ДОЛЖНА быть решена без ML". Любой алгоритм (если он есть, конечно) лучше любого ML. Пусть даже этот алгоритм есть 100 конструкций if-then-else. Надежность такого алгоритма, его стоимость разработки и поддержки точно будут более коммерчески оправданными, чем внедрение любого ML. По моим субъективным ощущениям об это спотыкаются 80% всех проектов текущей волны хайпа. Ведясь на громкие призывы к внедрению ИИ, звучащие из каждой второй микроволновки, "лица, принимаюшие решения" пытаются впихнуть его везде и вся, даже туда, где можно обойтись без него, тем самым внося свой вклад в эти 85% провальных проектов. Ну а вендоры и продажники им в этом если не помогают, то как минимум, не мешают - зачем им отнимать у себя хлеб?

• не учитывают, что нередко для бизнес-кейса разница в точности модели ML даже в 1-2 процента может свести на нет всю выгоду от использования этой модели (тут я вспоминаю реальный кейс из практики, когда понижение точности модели 0,5% приводило к бесполезности с экономической точки зрения всего решения). На практике ML не может давать 100% точность, что очень важно учитывать, принимая решение, подходит ли ваш бизнес-кейс для реализации через ML или нет. (При этом упомянутый выше if-then-else будет гарантировать 100% выполнение логики, которая в него заложена.)

• стоимость. По оценкам исследовательской компании SemiAnalysis, работа ChatGPT обходится примерно в 700 000 долларов в день. Несмотря на растущую популярность ChatGPT, компания пока не достигла прибыльности. Положительный финансовый поток (а это даже не возврат уже сделаных инвестиций) прогнозируется только в 2029 году. Для компаний внедрение и поддержка решения на основе LLM означает серьезные как капитальные, так и операционные траты. Это какой-нить совсем мелкий бизнес может довольствоваться "костыльным" решением в виде интеграций через телеграмм-ботов и использованием подписок на ChatGPT за несколько десятков баксов в месяц. Мы с вами можем в частном порядке ускорять свою рутину пользуясь бесплатной версией оного или платя 20 евро в месяц за Plus-подписку, но крупная компания, особенно если предполагается использование персональных данных и/или данных, связанных с коммерческой тайной, не может пойти на такие риски и вынуждена платить полную себестоимость, которая отнюдь не малая на самом деле.

В общем, констатируем, что спустя 3 года хайпа массового внедрения ИИ в бизнес-процессы крупных компаний пока не произошло. Ну или компании это очень искусстно скрывают :-) Здесь я подчеркну, чтобы не вызвать бурю негодования, что я фильтрую общие пиар и маректинговые высказывения без конкретики, типа таких: В Сбере рассказали о внедрении ИИ в процессы банка (взял первую попавшуюся ссылку.) И так же я не считаю внедрением ИИ на уровне компании ситуацию, когда просто каждый сотрудник в частном порядке использует ChatGPT (или ГигаЧат, как в случае со Сбером) как помощника. Под изменением бизнес-процесса я понимаю такое изменение, когда целые его звенья заменяются на новые (или вообще удаляются), использующие ML (и это не МариВанна, которой дали доступ к ChatGPT, чтобы она что-то у него спрашивала) или он вообще перестраивается, уменьшая общее количество человеко-часов, задействованное в нем.

Кстати, коллеги из Сбера, раз уж он папался под руку, как именно у вас внедрен ИИ в процесс банка? Греф истину глаголит?) Поделитесь в комментариях, плз.

AI помощники

Собственно перейдем к упомянутым помощникам, очень активно продвигаемыми всеми вендорами.

Про использование LLM для генерации когда не будет повторяться - про это написано уже огромное количество статей даже тут на Хабре, поэтому просто резюмирую их все:

В среднем, LLM-ассистенты для генерации кода могут серьезно ускорть разработку, но не способны решать задачи end-to-end даже уровня middle-разработчика. Их следует рассматривать как мощный акселератор, а не как замену разработчику.

Ан, нет, пока статья валялась в черновиках, нашел вот это - в OpenAI пришли к выводу, что самый мощный LLM пока что не может полностью заменить джуна. Да и Goldman Sachs в своём отчёте задались логичным вопросом: в ИИ вложили около триллиона долларов — а что на выходе? Пока что главное достижение — разработчикам стало работать проще.

Если не про генерацию кода, то давайте взглянем на продвигаемую вендорами идею демократизации данных в организациях, когда условная МариВанна из бухгалтерии или "эффективный менеджер", ничего не знающие про SQL (хотя первоначально SQL и был придуман как раз для МариВанн из бухгалтерии :-)), базы данных и проч., хотели бы сформулировать интересующий их вопрос на человеческом языке и получить ответ, основанный на данных организации.В идеале даже не таблицу, а сразу красивую разноцветную диаграмм с выводом, который можно выдать за свой.

Я заметил, наверное как и многие, что на всех демо почему-то приводятся примеры, когда данные лежат в одной, ну максимум двух простеньких таблицах, и демонстрирующий "новейшего AI-ассистента" скорее всего задаёт вопрос типа "какой отдел сделал больше всего продаж за такой-то период" или что-то подобное? - в общем вопрос, SQL-запрос для которого должен написать любой джун на лайф-кодинг-собеседовании. Примеры посложнее обычно обходятся стороной. По крайней мере я за последние 2 года не видел нигде даже и близко чего-нибудь похожего на запросы, "лежащие" под BI-отчетами в нашей компании, или которые пишут наши аналитики для ответа на разовые ad-hoc запросы от наших бизнес-пользователей.

Парень из Adidas с картинки выше сделал неплохой доклад на митапе. Они в Adidas специально провели тестирование AI/BI Genie от Databricks, который обещает

Now everyone can get insights from data simply by asking questions in natural language.

Ребята подошли к вопросу основательно: они не только тщательно заполнили для теста все метаданные и добавили комментарии ко всем таблицам/колонкам, но еще и специально создали доп.контексты, описания как содинять таблицы и написали примеры типичных запросов - в общем, сделали все, чтобы AI/BI Genie показал себя во всей красе. Но результат в целом все равно получился так себе - лучший результат из нескольких итераций был 10 из 14. По итогу они осторожно, чтобы не задеть организаторов митапа (то есть Databricks :-)) констатировали, что они решили не использовать его в ПРОДе.

В нашей организации в 2024 полгода пилотировали использование Microsoft Copilot. Подошли основательно - громкий анонс на всю компанию на All hands, закупка 300 лицензий на полгода, набор фокус-группы (я в нее входил), несколько обучающих вэбинаров от внешних поставщиков на тему эффективного использования... Полгода прошло, лицензии закончились, о "теме" все забыли. Даже никаких заключительных презентаций на All hands с результатами пилотирования не было или какой-нить скупой корпоративной рассылки. Можно долго спекулировать "почему?", но, полагаю, что если бы экономический эффект от применения Copilot перекрыл бы стоимость коммерческих лицензий на него, то компания не свернула бы все "втихую".

Одно из популярнейших направлений использования LLM - это всевозможные чат-боты. Вроде "тема" лежит на поверхности, и где-где, так вот именно тут должен быть прорыв! Но... Оказаывается, бизнесу нужен не абстрактный умный чат-бот, а конкретный чат-бот, закрывающий конкретную бизнес-потребность. Например, заменяющий сотрудника твоей поддержки. Только я почему-то не заметил, что чат-боты тех же банков или других служб поддержки в последние 3 года как-то заметно поумнели. Они все так же могут отвечать на простые вопросы общего характера и все так же не могут на какие-то более сложные и специфичные, поэтому меня все равно перекидывает на оператора. Клиенту не нужен общий ответ, за что банк мог списать комиссию, он хочет знать за что банк списал именно с него именно эту сумму такого-то числа? Для ответа на первый (общий) вопрос боту не обязательно иметь "под капотом" LLM, ответить на второй вопрос не может (на текущий момент) даже чат-бот на базе LLM.

Вообще, если мы погрузимся в тему чат-ботов на примере тех же банков, то это очень наглядный пример, который демонстрирует ранее озвученую мысль про попытку впихнуть LLM туда, где он по факту не нужен:

• запросы типа "лимит по карте", "когда следующий платеж по кредиту", "дай выписку по карте" и подобные должны решаться вообще не чат-ботом, а грамотным юзабилити-интерфейсом (скучаю по старым лаконичным UI мобильных приложений...). Как раз тот случай, когда взяли в руки молоток и пытаемся решать им любые проблемы.

• сложные нестандартные запросы - и так и так отойдут на обработку человеком.

• ну а для тех, кто все равно лучше напишет в чат "получить выписку" вместо нажатия большой кнопки на экране - можно оставить LLM как помощника для навигации по UI. К сожалению, такие людей не мало :-)

И тут мы плавно касаемся еще одного интересного аспекта - разграничения доступа к данным. Для того, чтобы такие ассистенты были по настоящему приносили бизнес-ценность, они должны иметь доступ к данным. Порою очень "чувствительным". А значит тут же встает вопрос про ограничение доступа. Если у нас работает некий строгий математический алгоритм, то проблемы нет - это давно решено. В случае же с LLM это пока открытый вопрос. Мы же не хотим, чтобы наша LLM, например, сообщила клиенту не его остаток на счете, или чтобы МариВанне из отдела продаж LLM сообщила по ошибке то, что должен знать только финансовый директор? Пусть даже вероятность такого события 0,001% (ибо приняв во внимание "поток" обращений к этой LLM, это даже при такой низкой вероятности означает несколько "инцидентов" в день-неделю-месяц в зависимости от масштабов исопльзованияю). Тут как с человеком: если я доверю свой "самый большой секрет" другу-Васе, то всегда есть вероятность, что Вася нечаянно (по-пьяни или из-за применения терморектального криптоанализа) его разболтает. И не важно, что Вася - мой закодычный друг.

Вообще, есть еще более серьезный аспект, о котором, почему-то мало кто сейчас задумывается (по крайней мере в публичном пространстве). Позволю его сформулировать:

Распределение вероятностей на множестве возможных ошибок у ML и у человека различается.

Иными словами, человек и ML в одних и тех же ситуациях склонны ошибаться по-разному; грубо говоря человек более склонен совершать ошибку А и почти никогда не совершит ошибку Б, в то время как для ML эти ошибки могут быть равновероятны.

И это на самом деле большая и, возможно, недооцениваемся проблема. Вся наша окружающая среда, все процессы на производстве и бизнес-процессы в компаниях заточены на предотвращение и исправление человеческих ошибок. Люди часто совершают ошибки из-за невнимательности, но они умеют предсказывать последствия на основе здравого смысла и опыта (зачатсую вообще никак не связаного с предметом ошибки). LLM же, если не были специально обучены учитывать такие ситуации, могут "не увидеть" очевидных рисков. И проблема в том, что для нас, людей, эти риски настолько очевидны, или такое поведение настолько абсурдно, что у нас и мысли даже нет специально обучить этому модель. Одна из нагляднейших иллюстраций этому (чтобы понять, о чем это я) - попадание нашего соотечественника в другую страну/культуру: экспаты в первое время сталкиваются с кучей ситуаций, когда очевидное для них, совсем не очевидно для "аборигенов" и наоборот. Ну или если вы когда-либо задавая вопрос ChatGPT путали раскладку клавиатуры для какого-то одного слова, то могли сами заметить, что он часто (у меня - почти всегда) не может "догадаться", что ты хотел написать, хотя обычный человек с учетом контекста быстро бы сообразил, что имеется в виду (вы же тоже без взгляда на клавиатуру понимаете, что скрывается под "Ghbdtn!" ?:))

Ходим по кругу?

Как мне кажется, многие упускают один ма-а-аленький фундаментальный аспект. Все развитие автоматизации до недавнего времени было направлено на то, чтобы повысить надежность и повторяемость нужного результата, снизив при этом субьективный (по сути - человеческий) фактор. Поток мыслей и хотелок надо было преобразовать для машины/робота/ПО в инструкции, которые будут давать предсказуемый и повторяемый результат. Ну попутно бы еще надо снизить стоимость. Исключение из какого-то процесса человека - это не самоцель, а средство достижения упомянутых выше целей.

Известная картинка на тему, что есть такое код

Что же имеем мы сейчас, с приходом хайпа вокруг LLM? А то, что сильно переоценивая LLM и ведясь на хайп, забывают об истиных целях и задачах, сводя все к банальным показателям "Внедрил ИИ - ✅", и "Заменил человека - ✅". А вот выиграл ли от этого бизнес - большой вопрос. Ведь заменяя человека на LLM, мы не избавляемся от субьективности, мы не исключаем вероятность ошибок, а о гарантированной повторяемости результата не идет и речи by design, так же как и экономия - под большим вопросом (см. выше). В итоге мы, проделав кучу телодвижений и потратив кучу денег, приходим к тем же проблемам, от которых пытались уйти на протяжении многих десятилетий. Парадокс?

Переобучение?

Почему ChatGPT и оные кажутся обычному обывателю искусственным интеллектом и так восхищают его?

Правда в том, что 95% всех обывателей — вполне заурядные личности. Даже мы с вами. И тем более я. Наивно полагать, что кто-то из нас задаётся вопросами, которые не были заданы до нас и не попали в интернет. Ну по крайней мере абсолютное большинство вопросов, которые нам с вами приходят на ум. LLM умная? Умеет рассуждать? А может, она просто уже видела такой вопрос, и он вместе с ответом был в обучающей выборке? И вообще, можем ли мы вообще создать корректную обучающую выборку (и гарантировать, что какой-то определённый вопрос не попал в неё), если источник выборки — почти бесконечный интернет? Как определить достоверно, что ChatGPT не переобучен?

Пока что у меня вертятся в голове такие вопросы, и пока что я не могу опровергнуть гипотезу о переобучении современных LLM. Как и подтвердить её, кстати. Если есть читатели, которые глубоко погружены в тему, может, просвятите меня в комментариях? Я ж наверняка не первый, кто задаётся этим вопросом?

Заключение

При всем хайпе и шумихи вокруг LLM последние годы, мы так и не видим пока какой-либо масштабной революции в бизнес-процессах компаний. К сожалению, написанное 100500 раз в масс-медиа слово "революция" не приближает её наступление. Крупные компании пока что продолжают инвестировать в ИИ, неся только расходы-расходы-расходы, проедая деньги инвесторов и акционеров, а ощутимая отдача от инвестиций пока не маячит на горизонте. Сотрудники в частном порядке успешно пользуются LLM для избавления себя от рутины и повышения своей продуктивности (и я тоже). Мелкий бизнес, пожалуй, единственный, кто реально адаптирует свои процессы под использование LLM, но по бОльшей части потому, что может позволить себе использовать условный ChatGPT бесплатно или за копейки, при этом не заботясь о конфиденциальности, собрав workflow через костыльные интеграции и телеграм-ботов и т. п.

Сейчас некоторые компаний, которые ранее поспешили с внедрением стратегий "AI First" и увольнением сотрудников, начинают осознавать, что это было не очень верным решением. Cамые громкие примеры - Klarna, IBM ... Даже Gartner прогнозирует, что компании всё чаще будут возвращать сотрудников после неудачных экспериментов с ИИ, переходя к гибридной модели "человек + машина". И по моему мнению это уже достаточно близко к зрелому и прагматичному подходу.

ChatGPT и оные, безусловно, сильно помогают уже нам в нашей повседневности. Но, давайте будем честны: распознавание рукописного текста, пусть даже эта таблица, написанная корявым детским почерком, распознавание голоса и генерация стенограммы конф-колла, вывод ответа на вопрос, который гуглиться за 5 минут и т.п. - это далеко не искуственный интеллект. А если это для вас так, то ... не буду продолжать фразу, чтобы не обидеть кого-либо :-)