Недавно мы с командой посетили ряд производств томатов и выяснили, что в среднем время полного осмотра одной промышленной теплицы занимает неделю, при этом болезни могут распространяться за сутки. Решением этой проблемы может быть автоматизированный осмотр тепличного хозяйства. Развитие гиперспектральных технологий открывает новые возможности для неинвазивного мониторинга состояния растений: спектральные характеристики тканей позволяют выявлять скрытые признаки заболеваний на ранних стадиях, ещё до проявления внешних симптомов. Это делает гиперспектральную съёмку перспективным инструментом для создания автоматизированных систем анализа фитопатологий и внедрения их в практику точного земледелия.
Вашему вниманию предоставлен материал, созданный командой ИППИ РАН, МФТИ и компанией РуСофт, который позволит читателю лучше узнать о технологиях, которые мы используем для регистрации и анализа спектральных характеристик растений, какие заболевания листьев видны в инфракрасном свете, и как с помощью этого узнать, когда надо собирать урожай.
Подробности – под катом.
Проект ARGUS: цифровое сельское хозяйство
Описание проекта ARGUS
ARGUS — полуавтономная платформа компьютерного зрения для цифрового сельского хозяйства, разрабатываемая в партнерстве России и Южной Африки. Система решает три ключевые задачи: мониторинг фитопатологий, их сверхраннее выявление (вплоть до доклинических признаков) и прогнозирование урожайности на уровне конкретного плода/куста с горизонтом до месяца.
Контекст и предпосылки
Модель нацелена на рынки с крупным АПК-фондом и растущей цифровизацией. В России — дешёвая земля и значительная господдержка отрасли; а в ЮАР — быстрый рост смарт-агротеха, высокий эффект у малых хозяйств и бурно растущий рынок агродронов. Это создает предпосылки к масштабированию и быстрой окупаемости таких решений класса в агросекторе.
Проблематика, на которую отвечает ARGUS
Для бизнеса:
Основные сложности для индустрии заключаются в низкой эффективности визуальных обходов: ежедневные проверки требуют много персонала и часто пропускают очаги заболевания. Также это отсутствие автоматизированного и точного прогнозирования: ручной учёт создаёт ошибки и не позволяет своевременно подстраивать сбор, хранение, логистику и ценообразование. И, наконец, невозможность единовременно контролировать большие площади в реальном времени.
Для экологии:
С другой стороны стоит экология — а именно перерасход воды и удобрений из-за отсутствия точной диагностики состояния растений/почвы, повышенная пестицидная нагрузка при позднем выявлении болезней и дефицит полевых данных для долгосрочного мониторинга и адаптации к климатическим рискам. Робототехнические платформы способны справляться с такими четко заданными правилами. Расскажем про устройство самой установки.
Аппаратная часть
Мобильные носители для теплиц и открытого грунта включают в себя шасси для движения по рядам. В теплице движение происходит по рельсовому маршруту, который изначально предназначен для операторов теплиц на вагонетках, что позволяет удобно отслеживать растения со всех сторон. Между рядами пока предусмотрена ручная перестановка для упрощения прототипирования. На улице же платформа будет наподобие гольф-кара. Границы маршрута будут определяться датчиками предотвращения столкновений.
Камеры и подсветка: Для высококачественной съемки планируется задействовать 12 синхронизированных камер для одновременного сканирования листьев, плодов и стеблей по всей высоте ряда; LED-подсветка с высокочастотным стробом должна обеспечивать стабильное качество изображений при любом освещении. Перейдем к программному обеспечению и технологиям, которые способны обеспечить качественную обработку данных.
Программная часть
Главная сложность после получения снимков заключается в формировании единого пайплайна обработки данных, чтобы получить качественные предсказания заболеваний. Уже при однократном проезде платформа собирает гигабайты «сырых» данных. Качественная обработка этой информации критически важна — она позволяет выявить болезнь на самых первых растениях и предотвратить заражение всей теплицы. На данный момент предлагается проводить сегментацию растений по органам. Это подразумевает раздельную обработку плодов — для оценки их зрелости и выявления аномалий развития, — и листьев, для обнаружения грибковых и других заболеваний. Детекция отклонений от нормы и построение «тепловых карт» рисков с историей развития очагов позволяют отследить заболевания и принять меры реагирования.
За счет связки с микроклиматом (например, Priva) планируется искать корреляцию с датчиками уже на сервере с мощным оборудованием и давать более качественные рекомендации. Данные должны храниться до года, что сможет покрыть 10-месячный производственный цикл и позволит вести эколого-климатический анализ.
А в чем задача и её сложность?
Многие люди слышали о дачных заболеваниях растений – фитофтороз у помидоров, мучнистая роса на огурцах. В открытом грунте наблюдается меньшее число заболеваний и их интенсивность по сравнению с теплицами. В условиях непрерывного производства большого объёма продукта имеют свойство накапливаться самые разные заболевания растений, а также они активно распространяются в закрытом пространстве, так что нередки случаи, когда урожай может быть потерян весь и сразу за пару дней. Инфекционным заболеваниям подвержены именно тепличные растения из-за замкнутого пространства. Вредоносные грибки имеют свойство выращивать грибницу в течении довольно длительного времени, а визуальные признаки проявляются уже на поздних стадиях эволюции, когда выбрасываются споры и происходит заражение уже всего урожая в теплице.
Поэтому так важно вовремя детектировать слабые места на растениях и предпринимать превентивные меры, чтобы поднять иммунитет растений. В случае появления симптомов заражения стоит обрезать подозрительные листья, чтобы остановить распространение инфекции.
Гиперспектральная съемка позволяет справиться с недостатком информации на обычных RGB изображениях — происходящие изменения на урожае часто не имеют конкретной структуры, а происходят в достаточно большой области растения. Цвет меняется незначительно, а вот точные спектральные характеристики могут заметить изменения на наиболее показательных длинах волн, что хорошо покажет — заболевание перед нами или очередная стадия вегетативного цикла. Более того, современные спектральные приборы позволяют также исследовать инфракрасную часть спектра – в ней находятся самые яркие маркеры заболеваний, о которых расскажем ниже
Исследование спектров томатов
Таблицы содержат информацию о спектральных характеристиках заболеваний томатов, рекомендуемых длинах волн для диагностики и результатах измерений.
Длины волн для диагностики заболеваний листьев томата:
Диапазон / конкретная длина волны |
Что происходит с заболевшим листом |
Тип заболевания |
≈ 970-1000 нм (первое водное окно) |
Потеря/перераспределение влаги → меняется глубина водной полосы, растёт отражение; чувствительно к ранним стадиям мучнистой росы и другим стрессам |
975 нм входит в набор «самых информативных» полос, отобранных RBF-классификатором для порошнистой росы (squash) - 388, 591, 646, 975, 1012 нм |
≈ 1120 нм (структурный пик) и ≈ 1160 нм (водная впадина) |
Деформация клеточных стенок, первичное высушивание ткани → смещение пика 1120 нм и углубление впадины 1160 нм |
У листовой плесени томата (Cladosporium fulvum) отражение растёт до ~1120 нм, затем заметная впадина 1160 нм |
≈ 1270 нм |
Второй структурный максимум, реагирует на разрушение межклеточных пространств |
Тот же эксперимент с C. fulvum - выраженный отражательный пик 1270 нм |
≈ 1400-1450 нм (сильная водная полоса) |
Самое резкое различие между здоровыми и больными листьями: поражённые ткани теряют воду → полоса становится «плоской», а общая яркость спектра выше |
Модели RF для бактериального пятна томата выделили 1400-1450 нм как ключевые при всех стадиях поражения |
≈ 1650-1730 нм |
Поглощение лигнина/целлюлозы; при грибных болезнях (в том числе мучнистой росе) растёт рассеяние из-за мицелия → увеличивается отражение |
В работе по бактериальному пятну полосы около 1700 нм попадают в топ-10 важных для ранней диагностики |
≈ 1900-1950 нм (второе водное окно) |
Чёткий индикатор тяжёлой стадии: листья теряют свободную воду, полоса 1900 нм «проседает» меньше, отчего относительное отражение резко повышается |
Для томата (Leaf-miner) и порошнистой росы пшеницы/тыквы именно 1900-1940 нм оказались наиболее чувствительными к прогрессу болезни |
Таблица показывает, что многие частые заболевания помидоров ярко показывают себя в инфракрасном диапазоне. Давайте посмотрим на настоящие снимки этих заболеваний
1. Рассмотрение структуры одного листа, зараженного мучнистой росой
Сначала посмотрим на лист редиса с явным заболеванием мучнистой росы. Отобразим также спектр на длине волны 1450 нм и сравним структуру листа. Видно, что точки, соответствующие белому налету в оптике соответствуют ярким частям спектра на этой длине волны.
Далее приведем пример изображения на какой-нибудь другой неструктурной длине волны (1634 нм) — заболевания не видно, наблюдается лишь общая структура листа с прожилками с большим количеством воды.
Плод
Также взглянем на фото плода. В разных длинах волн последовательно.
Если приглядеться, видно, как меняется структура "опухоли" в зависимости от длины волны по сравнению со здоровыми участками.
Вывод
Растения для исследования отбирались по визуальным признакам поражения, поэтому случаи лёгкой незаметной глазу инфекции не учитывались. При этом даже внешне здоровые экземпляры могли быть уже заражены и иметь метаболические нарушения. Поэтому, выявление симптомов для такой выборки возможно только в узком спектре длин волн, связанных с развитием болезни — основная область около 1450 нм (± 50 нм). Небольшие изменения наблюдаются и в других диапазонах, однако это требует более тщательного изучения на полностью здоровых образцах.
2. Исследование спектров
Разные участки одного и того же листа с мучнистой росой
Возьмем маленькие участки листа, на которых будут как белые части покрытые грибком, так и пока еще зеленые части. Нарисуем для одного участка 2 таких спектра.
Метрики NSE и RMSE рассчитаны для ненормированных спектров — для того чтобы сравнить различие интенсивностей пока еще близких точек листа.
По графикам видно, что почти всюду здоровая часть листа менее яркая чем больная. Согласно теории, это обусловлено бОльшим содержанием воды в пока еще не пораженной части. Запомним это. Посмотрим на здоровые участки.
Теперь взглянем на разные заболевания листьев помидоров
Все метрики рассчитывались путем сравнения спектра эталонного здорового листа со спектрами исследуемых образцов. Ниже приведен анализ для каждой из пар.
Оранжевый (контрольная группа): Сравнение двух визуально здоровых листов. Значения метрик минимальны и могут быть приняты за базовую погрешность метода.
Зеленый (иное заболевание): Лист помидора с признаками усыхания, пожелтения и почернения (вероятно, последствия leaf miner, не мучнистая роса). Спектр и метрики демонстрируют значительное отклонение от здорового образца.
Красный (ложноотрицательный результат): Взятая со здоровой части листа, пораженного мучнистой росой, точка. Несмотря на болезнь растения, её спектральные характеристики и метрики почти не отличаются от нормы.
Фиолетовый (явное заболевание): Точка с больной части того же листа, что и в п.3. Спектр явно отличается от эталонного, что фиксируется метриками.
Коричневый (ранняя стадия заболевания): Визуально здоровая часть листа с растения, уже демонстрирует признаки болезни. Признаки поражения слабо выражены. Спектр показывает сходство с здоровым, но метрики находятся на верхней границе погрешности, что может указывать на скрытое развитие болезни.
Розовый (начальная стадия заболевания): Подозрительная область на листе из п.5. Спектр заметно отличается от эталонного, что подтверждается метриками.
Результаты эксперимента в целом соответствуют ожиданиям:
● Наиболее показателен розовый образец: метод на основе NIR-спектроскопии уверенно детектирует болезнь даже на ранних стадиях, когда визуальные проявления только начинаются.
● Также важен коричневый образец: данные свидетельствуют о том, что метод может улавливать изменения ещё на той стадии, когда лист визуально кажется здоровым.
Сравнение заболеваний плодов
Взглянем на спектры плодов.
Ради интереса взглянем на их отличие в оптическом и ближнем инфракрасном диапазоне с другой камеры — Specim IQ — и опять довольно большая разница.
Заключение
Полученные результаты можно описать несколькими пунктами:
NIR диапазон (особенно 1400-1600 нм) показал высокую эффективность для диагностики заболеваний
Область около 1450 нм является наиболее показательной для выявления мучнистой росы
Метрики NSE, RMSE и угловые различия позволяют количественно оценить различия между здоровыми и пораженными тканями
Гиперспектральная съемка обеспечивает раннее выявление заболеваний до появления визуальных симптомов
Поэтому данные таблицы могут быть использованы для настройки систем автоматической диагностики заболеваний томатов на базе спектрального анализа, что и планируется сделать для проекта ARGUS.
Информация о заболеваниях взята из следующих источников:
https://oa.upm.es/16241/1/03_001.pdf
https://elibrary.asabe.org/azdez.asp?AID=46266&CID=norl2015&JID=5&T=2
Alexufo
Какая оптика на камерах? Обычные линзы позволяют работать до 1700нм?
badsynt
https://www.elektrosteklo.ru/K8_rus.htm
Кстати, человеческий глаз работает до 1300нм. Только чувствительность очень маленькая на длинных волнах.