Внутренний QA-отдел — зона особого риска для любой ИТ-компании. Без новых задач и внешних вызовов команда стагнирует: навыки устаревают, а сильные инженеры уходят в более конкурентную среду. Как следствие, снижается качество тестирования ПО, что приводит к росту числа инцидентов и простоев оборудования.
«ТатИТнефть» не стала ждать первых симптомов и обратилась к нам за независимым аудитом отдела тестирования. Вызовом проекта стали сроки: на разработку методологии и оценку компетенций команды было всего 20 рабочих дней. Как мы уложились и что в итоге получил заказчик — рассказываем в кейсе.
Заказчик
«ТатИТнефть» — дочерняя ИТ-компания ПАО «Татнефть», центр внутренней продуктовой разработки и технического сопровождения. Качество ИТ-систем обеспечивается собственным отделом тестирования, который появился в 2024 году и решает широкий круг задач: от проверки мобильных приложений для АЗС до тестирования высоконагруженных систем управления нефтедобычей.
QA-подразделение состоит из 4-х команд, отвечающих за разные ИТ-системы «Татнефти». Каждая имеет свои особенности и технологический стек. Внутри команд инженеры взаимозаменяемы и готовы подхватить задачи коллег при необходимости.
База для всех QA-специалистов — ручное функциональное тестирование. Кроме него инженеры должны владеть автоматизацией, нагрузочным тестированием и понимать особенности тестирования систем на базе 1С.
Главная боль внутренних команд: почему необходим аудит QA-отдела
Подразделения, работающие исключительно на материнскую компанию, подвержены профессиональной стагнации. Причина — отсутствие рыночной обратной связи и внешней конкуренции. Во внутреннем QA-отделе это приводит к снижению качества тестирования, росту инцидентов и оттоку сильных кадров.
Чтобы избежать такого сценария, компании создают искусственную конкуренцию с внешними подрядчиками, привлекают независимых экспертов для аудита и оценки компетенций команды, внедряют индивидуальные планы развития (ИПР) вместо массового обучения «для галочки». «ТатИТнефть» выбрала два последних инструмента.
Компания провела анализ рынка консалтинговых услуг в области тестирования и организовала тендер. В результате нас выбрали подрядчиком для аудита компетенций QA-команды.
«Решающим фактором стал большой опыт работы QA Service Lab с разными ИТ-системами и глубокое понимание специфики ручного, автоматизированного и нагрузочного тестирования», — Андрей Скворцов, руководитель группы тестирования «ТатИТнефти»
Методика аудита QA-отдела: от матрицы компетенций до ИПР
Аудит состоял из трех этапов:
Подготовка матрицы компетенций. Это инструмент, включающий перечень навыков и знаний QA-инженеров «ТатИТнефти», общий пул вопросов для тестирования и методологию оценки.
Технические интервью один на один, на которых мы проверяли знания сотрудников по ключевым темам.
Анализ результатов и подготовка отчетов о компетенциях каждого инженера, сводных данных по командам и индивидуальных планов развития тестировщиков.
«Методика аудита универсальна — ее можно развернуть в любом QA-отделе, от финтеха до ритейла. Меняется только пул вопросов под конкретные технологии заказчика», — Сергей, эксперт QA Service Lab
Разработка матрицы компетенций под задачи компании
Изначально на проект закладывалось 35 рабочих дней. Из-за задержки с подписанием договора срок сократился до 20. Чтобы уложиться, мы начали подготовку матрицы компетенций еще до формального старта.
«Нам было важно, чтобы аудиторы не ограничивались формальной оценкой «знает/не знает», а могли учесть контекст, в котором работает наша команда, и дать рекомендации, применимые к нашему стеку технологий и продуктам», — Андрей Скворцов, руководитель группы тестирования «ТатИТнефти»
Мы провели несколько встреч с руководителем QA-отдела и определили 16 тем, необходимых инженерам по тестированию «ТатИТнефти». Каждую разбили на конкретные области знаний — всего получилось более 60.
Для каждой области знаний составили открытый вопрос, который требует подробного ответа и позволяет узнать о реальном опыте специалиста. В итоговый пул вошло более 60 вопросов.
По просьбе заказчика мы разработали 6-балльную шкалу оценки:
0 — полное отсутствие знаний,
1–2 — поверхностное понимание на уровне определений,
3 — уверенный уровень Middle (самостоятельное решение типовых задач),
4 — глубокое понимание с отдельными пробелами,
5 — уровень Senior с развернутым системным анализом.
Для каждого вопроса прописали 6 вариантов ответов, соответствующих тому или иному баллу — четкие критерии позволяют ставить оценки максимально объективно.
Благодаря такому подходу получился удобный инструмент для различных бизнес-процессов команды: матрицу компетенций можно использовать для найма, адаптации новых сотрудников, оценки эффективности работы.
На основе матрицы мы подготовили опросники для каждой команды с учетом ее технологического стека и специфики задач. Все материалы согласовали с заказчиком и приступили к техническим интервью.
Технические интервью для проверки знаний
Индивидуальные технические интервью проходили в формате онлайн-созвонов по 1–1,5 часа. На интервью сотрудника ждал блиц-опрос: за отведенное время требовалось ответить на 30–60 вопросов (1–3 минуты на вопрос). Такой формат позволяет за короткий срок получить честный срез знаний, но требует дисциплины и строгого тайминга.
Проверял знания наш эксперт с 16-летним опытом в тестировании ПО и 13-летней практикой собеседований QA-инженеров. Аудитор четко удерживал фокус беседы: возвращал к сути вопроса, если испытуемого уносило в пространные рассуждения, а при отсутствии ответа сразу переходил к следующей теме.
Мы заранее предупредили заказчика, что при такой высокой концентрации вопросов неизбежен элемент субъективности. Оценка складывалась не только из формальной правильности, но и из логики ответов: если эксперт видел, что собеседник знает гораздо больше, чем успевает сказать, балл повышался.
Анализ результатов и индивидуальные планы развития
По итогам интервью для каждого сотрудника мы подготовили:
1. Отчет о результатах аудита. В нем собрана информация, которая помогает руководителю принимать решения по кадровым вопросам и развитию компетенций команды. В документе отражены общий уровень сотрудника, средние баллы по каждой теме и комментарий аудитора о сильных и слабых сторонах специалиста.
2. Индивидуальный план развития. Темы в ИПР делятся на две группы:
«Повторить» — включает темы, по которым инженер набрал от 1 до 3 баллов. Регулярное повторение этих тем помогает закрепить базовые знания.
«Изучить» — содержит темы, где были выявлены пробелы или недостаточный уровень знаний. Для профессионального роста рекомендуется изучить их в первую очередь.
В каждом плане предусмотрены две траектории развития: сначала в рамках своей команды, затем — в рамках всего отдела тестирования. Такой подход помогает сотруднику понять, как развиваться дальше после достижения необходимого уровня для своей текущей роли.
По просьбе заказчика мы не давали в ИПР ссылок на конкретные материалы — умение самостоятельно искать информацию критически важно для любого инженера по тестированию.
Помимо индивидуальных документов мы подготовили сводные отчеты по каждой из 4-х команд. В них отражены общие сильные стороны и зоны роста коллективов. Например, у одной из команд обнаружились пробелы в понимании подходов к тестированию 1С и в проверках SOAP-интеграций.
Итоги аудита: прозрачность компетенций и точки роста
Благодаря аудиту руководитель QA-отдела получил объективную картину компетенций каждого сотрудника в отдельности и всего подразделения в целом. Это дает возможность принимать решения на основе фактов, а не субъективных ощущений.
Ключевые результаты и ожидаемые эффекты:
Прозрачность экспертизы. Сформирована матрица компетенций отдела, которой раньше не существовало. Теперь виден не только уровень каждого инженера, но и баланс экспертизы между ручным, автоматизированным и нагрузочным тестированием.
Рост вовлеченности за счет четких ИПР: сотрудники увидели, что руководство вкладывается в их профессиональный рост, а критерии оценки стали понятными и измеримыми.
Основа для масштабирования. Появилась база знаний о текущем уровне компетенций — теперь это эталон для подбора и обучения новых специалистов.
Фундамент для роста эффективности. Точечное закрытие пробелов, заложенное в ИПР, в перспективе 6–9 месяцев создает предпосылки для сокращения времени регрессионного тестирования и повышения уровня автоматизации на проблемных участках.
«Понравился прагматичный подход и отсутствие «воды». Методика аудита была понятна и прозрачна. Особенно хочется отметить скорость: специалисты QA Service Lab уложились в обещанные сжатые сроки, предоставив не «сырые» данные, а структурированный отчет с готовыми рекомендациями, учитывающими контекст нашего бизнеса. », — Андрей Скворцов, руководитель группы тестирования «ТатИТнефти»
Если понравился наш кейс, подписывайтесь на @qaandlife. Там мы разбираем баги, с которыми сталкиваемся в реальной жизни, и рассказываем, чем можем быть полезны бизнесу и командам разработки.