МРТ головного мозга помогает диагностировать серьёзные патологии, от опухолей до нейродегенеративных заболеваний. Своевременная диагностика в младенческом возрасте позволяет заметить в развитии мозга негативную динамику, приводящую к заболеваниям наподобие ДЦП, и вовремя начать терапию. Но когда дело касается обследования таких пациентов, есть дополнительные риски: эту процедуру проводят под анестезией. Поэтому врачам важны решения, которые позволят сократить время диагностики, снизить риски и принять более информированные решения.

Специалисты Санкт‑Петербургского государственного педиатрического медицинского университета (СПбГПМУ) совместно со Школой анализа данных (ШАД) и Центром технологий для общества Yandex Cloud разработали решение на базе нейросети, которое помогает оценить развитие мозга новорожденных по МРТ‑снимкам. При подозрении на ДЦП и другие болезни ЦНС решение работает как вспомогательный инструмент, который сокращает время расшифровки результатов МРТ до нескольких минут вместо нескольких дней.

Меня зовут Юлия Бусыгина, я руковожу проектом со стороны Yandex Cloud, и в этой статье мы вместе с профессором Александром Поздняковым расскажем подробнее, как проектировали решение, обучали модель, как тестируем и оцениваем его эффективность.

Для чего делать МРТ младенцам

Мозг новорожденных детей развивается очень быстро: с рождения и до года он меняется практически каждую неделю. В это время не только увеличивается его объём, но и происходят другие процессы — то, что врачи называют церебральным развитием. Один из таких процессов — это миелинизация.

Миелинизация — увеличение содержания липидов и уменьшение содержания воды в оболочках нервных путей. Процесс миелинизации мозга начинается на пятом месяце внутриутробного развития и особенно активно продолжается до двух лет.

В ЦНС миелин находится преимущественно в белом веществе и работает как электрический изолятор. Когда миелинизация идёт нормально, это обеспечивает в дальнейшем быструю передачу информации между нейронами. Если же мозг не развивается с нормальной для возраста скоростью, возникает риск задержки развития.

«Человеческий мозг — сложная система, которая требует внимания с первых дней жизни. Существуют нарушения, связанные как со слишком медленным, так и со слишком быстрым его развитием.

При определённых заболеваниях мозг не меняется в объёме, а его плотность меняется. Однако опасна не только слишком медленная миелинизация, но и гипермиелинизация — это тоже несёт риски развития неврологических заболеваний».

Александр Поздняков

заведующий кафедрой медицинской биофизики СПбГПМУ, д.м.н., профессор

Когда миелинизация идёт очень медленными темпами, детей относят к группе риска по развитию ДЦП. Это заболевание является одной из основных причин инвалидизации детей, патология развивается в двух‑трёх случаях на 1000 новорожденных. Поэтому наблюдать за процессом церебрального созревания часто бывает важно ещё до наступления возраста шести месяцев. Для пациентов в зоне риска важно вовремя подобрать методы терапии и реабилитации: провести профилактику, остановить клеточную гибель.

«Иногда мы встречаем пациентов с заболеваниями, которые ещё мало изучены и их сложно классифицировать. Но даже в этом случае можно предположить дальнейшие риски и вовремя безопасно вмешаться в развитие головного мозга.

Это может быть введение лекарственного препарата, психофизиологическое воздействие — стимуляция головного мозга, которая способствует ускорению процесса созревания или, наоборот, при гипермеилинизации головного мозга замедляет его развитие до нормы».

Александр Поздняков

заведующий кафедрой медицинской биофизики СПбГПМУ, д.м.н., профессор

Миелинизация белого вещества головного мозга видна на МРТ: сигнал от мозга чётко отличается от участков с незавершившейся миелинизацией. Однако у пациентов до 12 месяцев наблюдается плохая дифференциация между белым веществом и серым — именно оно формирует кору головного мозга, отвечающую за мыслительные процессы.

Соответственно, при обследовании на этом этапе развития мозга у специалиста лучевой диагностики, который сидит за аппаратом МРТ, возникает две технические задачи:

1. Отделить белое и серое вещество друг от друга.

2. Определить объём серого и белого вещества.

Результаты работы такого диагноста позволяют врачам исследовать миграцию к коре нервных клеток в белом веществе, которые формируют проводящие пути. А в динамике — понять, истончена кора или утолщена, достаточно ли сформировано белое вещество.

Чтобы получить направление на МРТ‑диагностику для пациента такого возраста, нужны серьёзные показания, которые определяет лечащий врач. Например, необходимость может возникнуть при родовых поражениях нервной системы и травмах головного мозга, судорогах, подозрении на эпилепсию и так далее. Это связано с тем, что МРТ‑обследование не рекомендуется проводить маленьким детям часто: пациентам до шести лет требуется наркоз, потому что они очень активные.

Как обычно проходит сама процедура обследования:

1. Пациента погружают в наркоз, укладывают в магнитно‑резонансный томограф, получают изображение. В среднем на это уходит около 30 минут, но может быть и 40–50 минут.

2. Затем полученный снимок обрабатывается. Специалист может посчитать объём белого и серого вещества математически, по формуле, используя три оси координат. Сроки анализа определены методическими рекомендациями — в сложных случаях это может занимать до 72 часов.

В случае, когда это не первое исследование, срок постановки диагноза увеличивается, поскольку необходимо сравнить данные за разные промежутки времени.

Чем могут помочь нейросети

Существующие методики для определения миелинизации головного мозга у ребёнка до года включают субъективные факторы. Обычно опытный диагност уже по характеру изображения определяет, представлено ли белое вещество в необходимом объёме. Для несложных случаев достаточно от получаса до двух часов работы такого специалиста непосредственно за аппаратом МРТ, а искусственный интеллект не нужен.

Но поскольку даже для единичного МРТ‑исследования головного мозга необходимо получить и проанализировать сразу несколько изображений — минимум 22 среза, — то ситуация усложняется, когда необходимо оценить ситуацию в динамике и сравнить результаты нескольких исследований, проведённых за промежуток наблюдения. В сложных случаях может потребоваться анализ более тысячи изображений, и такой массив данных не позволяет бегло всё просмотреть.

В этом случае технологии компьютерного зрения могут подсказать специалисту, где наиболее вероятны изменения контура белого и серого вещества. В том числе, это помогло бы молодым врачам, которые ещё только тренируются под руководством наставников. Такое решение снижает несколько рисков раннего обследования:

• ускоряется сам процесс исследования;

• быстрее уточняются этапы динамического контроля: как часто выполнять обследования пациентов с той или иной патологией (и не назначать процедуру с наркозом без необходимости);

• увеличивается «пропускная способность» специалистов лучевой диагностики, которые благодаря этому могут посмотреть больше пациентов.

На первый взгляд, существующие в опенсорсе датасеты и модели, обученные на их основе, можно было бы переиспользовать для задач специалистов из педиатрического университета. 

Так, подобные задачи уже пробовали решать с помощью искусственного интеллекта в рамках соревнований по машинному обучению. Например, в 2019 году был организован MICCAI Grand Challenge, конкурс по сегментации МРТ‑изображений головного мозга младенцев в возрасте до шести месяцев. Разработчики со всего мира пытались решить задачу с использованием набора данных iSeg-2019.

Однако для решения текущей задачи в накопленном наборе данных не хватало разметки — слоя‑маски, на котором уже определено, серое или белое вещество локализуется на снимке. В датасете iSeg-2019 было всего 15 размеченных изображений, а накопленный за шесть лет архив университета включал МРТ‑снимки 1500 пациентов совсем без разметки.

Поэтому работу над проектом было необходимо начать с подготовки данных.

Как учесть особенности данных МРТ-диагностики для ML

Специалисты Yandex Cloud предложили архитектуру приложения в облаке, помогли с выбором подходящих инструментов и настройкой итогового веб‑сервиса, а также с его тестированием. Выбором архитектуры нейросети, проведением ML‑экспериментов, обучением модели на размеченных данных занимались студенты ШАД под руководством ментора, Арсения Земерова. Наиболее сложную задачу разметки данных решали совместными усилиями всей команды, в том числе к ней активно подключались несколько врачей‑экспертов в лучевой диагностике со стороны СПбГПМУ.

Верхнеуровневый пайплайн работы с данными выглядел так:

Начнём подробнее с первого этапа. 

Загрузка «сырых» данных. Для размещения МРТ‑снимков используется PACS (Picture Archiving and Communication System) — специализированная система для хранения медицинских изображений в формате DICOM. В PACS осуществляется архивирование и обработка обезличенных снимков, которые в дальнейшем будут выступать основой датасета для обучения нейросети. Для развёртывания этой системы специалисты подняли ВМ в сервисе Compute Cloud. В облако загрузили заранее обезличенные накопленные МРТ‑исследования детей до 12 месяцев из архива университета, а также данные iSeg-2019.

Каждое такое исследование — это связанный набор файлов, который включает в себя визуализацию в разных режимах: T1, T2, FLAIR и DWI. Разные режимы подчёркивают определённые характеристики тканей, что позволяет лучше дифференцировать патологии (подробнее об этом, например, здесь). Специализированная система позволяет учитывать эти особенности, хранить дополнительную метаинформацию и рассматривать множество срезов как единое целое. Также в этом случае никакие персональные данные не хранятся на сервере, для работы используется уже анонимизированный датасет.

Разметка накопленных данных. Для разметки радиологических изображений мозга у пациентов от года есть средства автоматизации, например, 3D Slicer — открытое решение, которое позволяет вычислять объём серого и белого вещества. Но для исследований пациентов младше такие способы уже не работают. На МРТ‑снимках головы совсем маленьких детей даже врачам порой сложно увидеть различия между белым и серым веществом, приходится почти вручную выделять каждый пиксель, это ювелирная работа.

Сначала команда планировала размечать сырые данные силами врачей‑экспертов с нуля, однако это занимало слишком много времени: даже на одно исследование из нескольких срезов могло уходить восемь и более часов. Таким ручным способом эксперты разметили около 30 исследований по три среза.

Чтобы ускорить эту работу, ML‑специалисты предложили сделать предразметку с помощью опенсорс‑модели BIBSNet (Baby Intensity‑Based Segmentation Network). Это сегментационная сеть, основанная на фреймворке nnU‑Net, которая как раз определяет белое и серое вещество.

Проверка результата предразметки показала, что многие показатели можно улучшить. Во‑первых, инференс одного объёма занимал в среднем около 2,5 минут. Чтобы ускорить процесс, команда масштабировала вычисления:

• Docker‑контейнер с BIBSNet адаптировали для запуска в параллельном режиме;

• сам контейнер развернули на 20 виртуальных машинах, каждая из которых обрабатывала данные независимо.

Это позволило ускорить предразметку всего массива данных и на нём уже оценить качество работы алгоритма. По экспертной оценке врачей, предразметка оказалась полезной в 40% случаев — и уже это позволило сократить ручную работу.

ML‑специалисты также зафиксировали метрики BIBSNet для сегментации серого (GM) и белого вещества (WM) в режимах T1 (саггитальные срезы) и T2 (аксиальные срезы).

*Индекс Жаккара (Intersection over Union, IoU) — метрика, позволяющая оценить близость двух областей, предсказанной и истинной.

В результате с помощью предразметки удалось собрать набор размеченных данных, который насчитывал около 750 срезов. Этого было достаточно для обучения и оценки моделей машинного обучения в задачах сегментации и детекции. Перед этапом экспериментов датасет поделили на тренировочный и валидационный набор, по которому проверяются метрики. 

Что включали эксперименты с обучением моделей

Изначально у команды был план попробовать более интересную архитектуру Vision Tranformer. Но быстро стало понятно, что для этой медицинской задачи такая архитектура не подойдёт: было много галлюцинаций и это могло принести больше вреда, чем пользы.

Поэтому решили использовать сегментатор, включающий две нейросети:

1. Свёрточные нейросети в качестве сетей для извлечения признаков (backbone), которые хорошо переносятся на различные задачи за пределами классификации (например, как раз сегментации).

2. Изначально разработанные для медицинских изображений архитектуры, в первую очередь это U‑Net.

Перед командой ШАД стояла задача разработать модель сегментации, которая не уступает по точности BIBSNet, но с существенно меньшим временем инференса.

Поэтому студенты провели серию экспериментов на датасете iSeg2019. Для архитектур нейронных сетей рассматривались U‑Net, U‑Net++, а также DeepLabV3. Для извлечения признаков рассматривались: ResNet-50, ResNet-101, ResNeXt-50, ResNeXt-101, DenseNet-161.

В ходе экспериментов команда проверила несколько подходов:

1. Чистое обучение на целевых срезах (2D):

   • Обучили 2D‑сегментационную модель на исключительно вручную размеченных срезах (те самые 30).

     Однако из‑за малого количества обучающих данных модель демонстрировала ограниченные обобщающие способности.

2. Объединённое обучение с iSeg-2019 и целевыми данными (3D):

   • Модель обучалась на совмещённом датасете, включающем полностью размеченные данные iSeg-2019 и целевые данные.

   • Для тех срезов целевых исследований, которые не имели разметки, применялась маска, зануляющая вклад этих срезов в функцию потерь. Таким образом, удавалось использовать только размеченные срезы в целевых данных без внесения ошибок в обучение.

Что обнаружилось в процессе

Вот что показали эксперименты с выбором сверточной сети для извлечения признаков (backbone):

Эксперименты с выбором архитектуры сети:  

Лучшим экспериментом стало обучение U‑Net с ResNeXt50 в качестве сети для извлечения признаков с помощью функции потерь DiceLoss.

Вот как это работает на валидационной выборке. Исходное исследование из выборки:

Пример работы алгоритма:

Итоговые метрики:

При этом скорость обученной нейронной сети, запущенной на CPU составляет порядка 3 секунд.

Как всё работает сейчас

Решение разработано как веб‑сервис, предназначенный для врачей лучевой диагностики, которые делают МРТ у детей. Сразу после процедуры они могут загрузить полученные файлы в сервис. Данные при этом анонимизируются — скрываются имя и фамилия пациента и другая конфиденциальная информация:

Решение автоматически определяет на каждом срезе МРТ, где находится серое и белое вещество, с определённой долей вероятности.

Сервис в первую очередь морфометрический, измеряющий объёмы. После обработки пользователь видит предсказанный моделью объём серого и белого вещества и цереброспинальной жидкости (ЦСЖ), а также описание крупнейших структур.

Из таблицы можно перейти в само исследование, где уже выделены маски белого и серого вещества:

По результатам экспериментов, точность составляет выше 90% — эта цифра может меняться по мере увеличения количества данных и дообучения решения, так как решение обучалось на ограниченном датасете.

По мере развития проекта планируется, что решение будет также давать оценку пропорций серого вещества и белого в процентах, а не просто производить оконтуривание двух видов вещества.

Нейросеть протестировали в Санкт‑Петербургском государственном педиатрическом медицинском университете, и специалисты готовы делиться наработками с другими медицинскими учреждениями. Теперь для расшифровки результатов МРТ вместо нескольких дней специалисту лучевой диагностики достаточно несколько минут.

После завершения тестирования разработку планируют выложить в открытый доступ, чтобы её могли использовать в медицинских и других проектах по всему миру. Потенциально решение также может иметь научный смысл. Поскольку объёмы мозга младенцев раньше не вычислялись, то не проводились и фундаментальные исследования изменения объёмов головного мозга на более крупных выборках. При различных состояниях и патологиях такое исследование может помочь уточнить стандарты медицинской помощи.