Исследование, в котором приняли участие 600 инженеров-программистов из Великобритании и США, показало, что проекты, в которых применяются методы Agile Manifesto, на 268% чаще заканчиваются неудачей, чем проекты, в которых используются другие методы.
Исследования показывают, что с помощью новой методологии Impact Engineering можно снизить количество неудачных проектов по разработке программного обеспечения в 6,5 раз.
Внедрение Impact Engineering может сэкономить 115 млрд долларов США в год на бесполезных расходах на исследования и разработки в США, а британские налогоплательщики могут сэкономить около 7 млрд фунтов стерлингов в год на неудачных государственных проектах по цифровой трансформации.
Update 21 августа 2025:
На это исследование ссылается автор статьи в РБК PRO "Стыд и скрам. Почему компании массово отказываются от хваленого эджайла"
Я пошел в первоисточник и решил перевести это "исследование". На мой взгляд, его выводы выеденного яйца не стоят.
Сегодня или завтра опубликую ещё пару постов с переводом критики первоначального исследования и собственными заметками относительно опуса в РБК.
Спойлер: учёный изнасиловал журналиста.
В исследовании, проведенном Джунадом Али, доктором наук, сертифицированным инженером (CEng), членом Института инженеров-технологов (FIET), и J.L. Partners, приняли участие 600 инженеров-программистов (250 в Великобритании и 350 в США). Полевые исследования проводились с 3 по 7 мая 2024 года. J.L. Partners является членом Британского совета по опросам общественного мнения и соблюдает его правила.
Три из четырех принципов, перечисленных в Agile-манифесте, – это «Работающий продукт важнее исчерпывающей документации», «Сотрудничество с заказчиком важнее согласования условий контракта» и «Готовность к изменениям важнее следования первоначальному плану». Однако новое исследование показало, что проекты, в которых перед началом разработки были определены спецификации или задокументированы требования, имели на 50 % больше шансов на успех, чем проекты, в которых этого не было, проекты, в которых перед началом разработки были четко определены требования, имели на 97 % больше шансов на успех, а проекты, в которых не требовалось вносить существенные изменения в требования на поздних этапах разработки, имели на 7 % больше шансов на успех.
Другие практики также способствовали успеху. Проекты, в которых инженеры-программисты чувствовали себя в психологической безопасности и могли обсуждать и быстро решать возникающие проблемы, имели на 87 % больше шансов на успех, чем проекты, в которых этого не было. Проекты, в которых требования были точно основаны на конкретной реальной проблеме, имели на 54 % больше шансов на успех, чем проекты, в которых этого не было.
Интересно, что исследование не выявило статистически значимой разницы в успешности проектов для тех, кто работал над одним проектом, по сравнению с теми, кто работал над несколькими, несмотря на то, что сокращение незавершенной работы является ключевым принципом методологии бережливой разработки программного обеспечения. Тем не менее, предыдущее исследование, проведенное доктором Али, показало, что 83% инженеров-программистов сообщают о выгорании, причем основной причиной называется «высокая рабочая нагрузка».
Исследование появилось на фоне того, что катастрофические сбои программного обеспечения все чаще становятся достоянием общественности. В своей предыдущей книге «Как защитить себя от компьютеров-убийц» доктор Али исследовал многочисленные случаи фатальных ошибок в программном обеспечении, технические причины которых были связаны с проблемами проектирования, включая самолеты, входящие в «смертельное пике», фатальные автомобильные аварии и смертельные передозировки радиации в больницах.
Действительно, ИТ-система Horizon была одним из первых крупномасштабных проектов, в котором использовалась методология Agile, а именно Rapid Application Development (быстрое разработка приложений), которая была названа инженерами Fujitsu, выступавшими в качестве свидетелей на публичном расследовании (Теренс Остин и информатор Дэвид Макдоннелл), причиной технических проблем из-за того, что не был разработан надежный процесс проработки требований. Чарльз Чипионе, технический эксперт, привлеченный к расследованию, подытожил просто: «Если у вас нет хорошего проектного решения, система не будет работать должным образом». Неспособность решить эти проблемы и попытки их скрыть привели к скандалу с Почтой, который был описан как крупнейшая судебная ошибка в истории Великобритании, связанная с несколькими самоубийствами людей, которые были несправедливо заключены в тюрьму, в том числе беременной женщины.
Исследование также выявило тревожный факт: инженеры-программисты в Великобритании на 13 % реже считают, что могут обсуждать и решать проблемы, чем их коллеги в США; это самое большое различие между инженерными практиками в двух странах. Этот вывод был сделан после того, как в ноябре 2023 года исследование Engprax показало, что 75 % инженеров-программистов в Великобритании сталкивались с репрессиями после сообщения о нарушениях.
Автор книги «Impact Engineering» д-р Джунаде Али сказал: «Учитывая, что 65% проектов, в которых используются Agile-практики, не выполняются в срок, пора поставить под сомнение культовое поклонение Agile. Наше исследование показало, что для своевременной поставки высококачественного программного обеспечения в рамках бюджета важно иметь надежный процесс инжиниринга требований и психологическую безопасность, позволяющую обсуждать и решать проблемы по мере их возникновения, одновременно принимая меры для предотвращения выгорания разработчиков. Это является основополагающим принципом философии Impact Engineering».
Книга «Impact Engineering» теперь доступна на Amazon в формате Kindle eBook и в мягкой обложке. Этот бизнес-роман основан на реальных примерах трансформации личности и организаций с использованием методологии Impact Engineering и недавно разработанной психологической модели для достижения успешных преобразований, а также содержит главу, описывающую научные основы этой методологии.
Конец
О компании Engprax
Engprax — шотландская компания, которая занимается аудитом, расследованиями и консультированием в сфере программного обеспечения, чтобы минимизировать риски, связанные с программным обеспечением, и максимизировать выгоды, чтобы все общество могло видеть преимущества технологий. Среди наших публикаций:
Эксклюзивное исследование, которое показало, что 75 % инженеров-программистов столкнулись с репрессиями, когда в последний раз сообщали о нарушениях;
Книга «Как защитить себя от компьютеров-убийц»;
Книга «Impact Engineering: Трансформация за рамками гибкого управления проектами».
Исследования и таблицы с данными
С 3 по 7 мая 2024 года компания J.L. Partners опросила 481 инженера-программиста, которые в последний раз участвовали в успешном проекте, и у 119 инженеров, которые в последний раз участвовали в неудачном проекте, чтобы обеспечить достаточный анализ обеих групп.
Перечисленные ниже методы разработки программного обеспечения показали следующее увеличение показателей успешности по сравнению с ситуацией, когда они не используются:
Инжиниринговые практики |
Успешность при использовании практики по сравнению с ее неиспользованием (%) |
|---|---|
Требования к проекту были четко сформулированы до начала процесса разработки программного обеспечения. |
97% |
|
Возможность обсуждать и быстро решать проблемы (т. е. «психологическая безопасность») |
87% |
Требования проекта были точно основаны на конкретной реальной проблеме. |
54% |
Перед началом разработки проекта был подготовлен полный документ с техническими характеристиками и требованиями. |
50% |
В конце процесса разработки не было внесено никаких существенных изменений в требования. |
7% |
Инженер-программист сообщил, что ему не приходится работать над более чем одним проектом одновременно. |
Статистически значимой разницы нет (-3%, p = 0,558). |
Показатели неудач по методологиям и увеличение показателей успеха при применении различных методологий представлены в следующей таблице:
Инженерная методология |
Доля неудач (%) |
Увеличение числа отказов при использовании методологии по сравнению с ее неиспользованием (%) |
T-стат. |
p-знач. |
|---|---|---|---|---|
Гибкая разработка требований (Разработка начинается до того, как будут сформулированы четкие требования, без полной спецификации, с существенными изменениями на поздних этапах разработки.) |
65% |
268% |
4.94 |
3.83E-5 |
Бережливая разработка программного обеспечения (Работа только над одним проектом одновременно.) |
21% |
7% |
0.59 |
0.55 (Not statistically significant) |
Impact Engineering (Использование всех изученных инженерных методов, которые повышают вероятность успеха.) |
10% |
-56% |
-4.15 |
4.11E-5 |
Практики, используемые в Великобритании и США по отдельности, представлены в следующей таблице:
Практика |
Встречаемость в Великобритании (%) |
Встречаемость в США (%) |
|---|---|---|
Возможность обсуждать и быстро решать проблемы |
79% |
90% |
Инженер-программист сообщил, что ему не приходилось работать над несколькими проектами одновременно |
61% |
71% |
В конце процесса разработки были внесены существенные изменения в требования |
65% |
59% |
Перед началом разработки был подготовлен полный документ с техническими характеристиками или требованиями к проекту |
88% |
83% |
Требования к проекту были четко сформулированы до начала процесса разработки программного обеспечения |
92% |
88% |
Требования к проекту были точно основаны на существующей в реальном мире проблеме |
83% |
86% |
Статистика о том, что 89% лиц, принимающих решения в американских компаниях и 81% принимающих решения в британских компаниях, обеспокоены своевременностью поставки программного обеспечения, была опубликована в декабре 2023 года в исследовании, проведенном доктором Али и J.L. Partners для Haystack Analytics.
Проекты, в которых использовалась технология Impact Engineering, были на 50 % менее подвержены риску провала, чем все проекты в базе данных. По оценкам CISQ (Консорциума по качеству ИТ-программного обеспечения), в 2020 году неудачные разработки программного обеспечения обошлись экономике США в 260 млрд долларов, а снижение уровня неудач на 50% привело бы к ежегодной экономии в размере 130 млрд долларов. Комитет общественных счетов (Public Accounts Committee) Палаты общин Великобритании оценивает, что правительство Великобритании ежегодно тратит 20 млрд фунтов стерлингов на цифровые инновации; снижение на 50% числа неудачных проектов (70%) принесло бы ежегодную экономию в размере 7 млрд фунтов стерлингов.
Обновление от 17 сентября 2024 г.
Различные ответы на заявления соавторов Манифеста Agile относительно данного исследования можно найти по следующим ссылкам:
Отчет о распространении Мартином Фаулером (соавтором Манифеста Agile) дезинформации
Ответ на вводящие в заблуждение заявления Джона Керна: «Соавтор Манифеста Agile критикует отчет о показателях неудач и говорит о «переосмыслении» проекта».