Привет! Я Ярослав, технический директор топ-10 интеграторов России R77 AI. Рассказываю, как мы делали умную мусорку с классификацией мусора на фракции.

Цель

• Разработать устройство, способное автоматически сортировать отходы

• Разработать устройство, которое способствует улучшению процесса переработки

• Разработать устройство, позволяющее людям зарабатывать деньги

Описание

На данный момент в России люди уделяют недостаточно внимания ручной сортировке мусора. Более того, их "зеленые" знания довольно скромные → например, мы не знаем, какие виды пластика подлежат переработке и так далее.

Мы предлагаем умную многоуровневую систему (умная урна → терминал → хаб), которая способна сортировать бытовые отходы на несколько перерабатываемых групп.

Умная урна — это цифровая мусорная корзина, которая может определять, классифицировать и помещать в определенный отсек выброшенную пластиковую бутылку и другие отходы. На данный момент мы сосредоточены на пластике, металле, стекле, тетрапаке, бумаге. Умная урна также оснащена камерами для компьютерного зрения, ультразвуковыми датчиками для измерения загрузки всех отсеков и двумя компакторами для уплотнения отходов и экономии пространства внутри.

Устройство также позволяет владельцу сдавать предварительно отсортированные отходы и зарабатывать деньги.

Основные требования и результаты

• Физическое устройство для сбора отходов

• Точная модель машинного обучения, интегрированная в устройство

• Программное обеспечение, способное собирать данные с устройства

Факторы успеха

• Точность модели должна быть достаточно высокой (90%+)

• Производительность модели с точки зрения скорости/задержки должна быть высокой (< 1 сек)

• Модель должна быть интегрирована в общую программную систему

Риски

• Большое разнообразие мусора может снизить точность во время тестирования в реальном времени

• Ограниченное пространство может повлиять на качество фотографий

Этапы и график

Больше 6 месяцев проект (больше половины, не AI)

Предположения и ограничения

Здесь перечислены все известные и неизвестные переменные.

Известно

• Органические отходы не поддерживаются

• Мы предполагаем, что отходы чистые

Решение

Схема сортировки

В рамках проекта было выполнено следующее

• Исследование и подготовка:

— Проведено детальное исследование существующих методов сортировки отходов для выявления их недостатков.— Проанализированы возможности использования нейросетевых технологий для автоматической классификации мусора.

• Аппаратное обеспечение:

— Разработан модуль регистрации, включающий подсветку и камеры, которые снимают мусор в различных спектрах (видимый, ИК, УФ).— Создана система для прессования отходов, что позволяет экономить пространство внутри устройства.

• Программное обеспечение:

— Написаны алгоритмы для обработки изображений, включая кадрирование, фильтрацию, объединение и нормализацию.— Обучена нейросетевая модель для распознавания и классификации различных типов мусора с использованием машинного зрения.

• Подготовка данных:

— Сформирован и размечен большой набор данных, включающий около 1,000 различных объектов и 6,000 изображений мусора, классифицированных по шести категориям (пластик, металл, бумага, стекло, тетрапак, прочий мусор).— Использованы методы увеличения объема данных (data augmentation) для улучшения качества обучения модели.

• Обучение и тестирование:

— Выбрана архитектура нейросети EfficientNet и настроены параметры модели, включая функции активации и методы оценки ошибок.— Обучение модели выполнено на платформе PyTorch.— Проведено тестирование модели для оценки её точности и скорости работы.

• Интеграция и разработка системы:

— Модель машинного зрения интегрирована в общий программный конвейер устройства.— Аппаратные и программные компоненты объединены в единое функционирующее устройство.

• Испытания и улучшения:

— Проведены полевые испытания устройства в различных условиях, чтобы оценить его производительность в реальных сценариях.— Внесены корректировки и улучшения на основании результатов тестирования для оптимизации работы системы.

Мусорка

Первый вариант

Терминатор 2

Результат проекта

В рамках проекта WORM-E Smart Bin были выполнены следующие задачи

• Разработка аппаратной части:

— Создан узел регистрации, включающий систему подсветки и камеры для съемки мусора в различных спектрах (видимый, ИК, УФ).— Разработана система компакторов для компрессии мусора, что позволяет экономить место внутри устройства.

• Создание программного обеспечения:

— Разработаны алгоритмы цифровой предобработки изображений, включая обрезку, отбор кадров, склейку и нормализацию изображений.— Создана нейросетевая модель компьютерного зрения для распознавания и классификации мусора.

• Подготовка данных для обучения:

— Собран и размечен набор данных, включающий ~1,000 объектов и ~6,000 изображений мусора, распределенных по 6 категориям (пластик, металл, бумага, стекло, тетрапак, остальной мусор).— Применены методы искусственного расширения выборки данных (data augmentation) для улучшения качества обучения модели.

• Обучение и тестирование модели:

— Выбрана архитектура нейросети EfficientNet и определены параметры модели, включая функции активации и функционал ошибки.— Модель обучена с использованием фреймворка PyTorch.— Проведено тестирование модели на точность и скорость работы.

• Интеграция системы:

— Модель компьютерного зрения интегрирована в общий программный конвейер.— Объединены аппаратные и программные компоненты в единое функционирующее устройство.

• Проведение испытаний:

— Проведены полевые испытания устройства в различных условиях, чтобы оценить его производительность в реальных сценариях.— Внесены корректировки и улучшения на основании результатов тестирования для оптимизации работы системы.

Результаты испытаний проекта WORM-E Smart Bin

Эти результаты демонстрируют улучшение показателей точности, полноты и F1-оценки для большинства категорий мусора после оптимизации модели.

Релевантность

• Экологическая устойчивость:

Сортировка и переработка отходов играют критическую роль в снижении негативного воздействия на окружающую среду. Автоматическая система сортировки мусора помогает эффективно перерабатывать отходы, уменьшая объемы полигонов и снижая загрязнение.

• Улучшение качества переработки:

Высокая точность и скорость распознавания и классификации мусора, достигаемые с помощью нейросетевого машинного зрения, значительно повышают качество переработки. Это приводит к более чистым и пригодным для переработки материалам.

• Снижение нагрузки на людей:

Автоматизация процесса сортировки мусора снижает необходимость ручного труда, что особенно актуально в условиях больших объемов отходов. Это также минимизирует контакт людей с потенциально опасными материалами.

• Экономическая выгода:

Возможность для людей зарабатывать деньги, сдавая отсортированный мусор, стимулирует общество к более ответственному отношению к отходам. Это также может способствовать созданию новых рабочих мест в сфере переработки и управления отходами.

• Социальная ответственность:

Повышение уровня осведомленности населения о важности сортировки и переработки отходов способствует формированию экологически ответственного поведения. Проект WORM-E Smart Bin вносит вклад в образовательные и социальные инициативы по улучшению экологической культуры.

• Технологическое развитие:

Использование передовых технологий, таких как нейросетевое машинное зрение и автоматизация, демонстрирует возможности современных инноваций в решении экологических проблем. Проект способствует развитию и внедрению высокотехнологичных решений в области экологии.

Преимущества продукта

• Высокая точность и эффективность сортировки:

Использование нейросетевых моделей компьютерного зрения обеспечивает высокую точность распознавания и классификации различных типов мусора. Это позволяет значительно улучшить качество сортировки и переработки отходов.

• Автоматизация процесса:

Полная автоматизация процесса сортировки мусора снижает необходимость ручного труда, что экономит время и усилия пользователей, а также минимизирует контакт с потенциально опасными отходами.

• Экономия пространства:

Система оснащена компакторами, которые сжимают мусор, что позволяет значительно экономить пространство внутри контейнера и уменьшить частоту его опустошения.

• Стимулирование переработки:

Возможность зарабатывать деньги, сдавая отсортированный мусор, стимулирует людей к участию в программе переработки, повышая общий уровень вовлеченности и ответственности за окружающую среду.

• Образовательный эффект:

Проект повышает осведомленность населения о важности сортировки и переработки отходов, способствует формированию экологически ответственного поведения и улучшению экологической культуры.

• Универсальность и адаптивность:

Система способна распознавать и сортировать различные типы отходов, включая пластик, металл, бумагу, стекло, тетрапак и другие. Это делает ее универсальной и подходящей для различных условий и мест.

• Снижение экологического следа:

Эффективная сортировка и переработка отходов помогают снизить объемы мусора, отправляемого на полигоны, уменьшая загрязнение окружающей среды и способствуя устойчивому развитию.

• Технологическое превосходство:

Проект демонстрирует возможности применения современных технологий, таких как нейросетевое машинное зрение и автоматизация, в решении экологических проблем. Это способствует развитию и внедрению высокотехнологичных решений в сфере экологии.

• Экономическая выгода:

Эффективное управление отходами и переработка могут привести к снижению затрат на утилизацию и создать новые экономические возможности, такие как продажа переработанных материалов и создание новых рабочих мест.

Алгоритмы

• обычный classification pipe (нет)

• Гипотезы: zero-shot vs. supervised

1-3 камеры

Разные виды подсветки и длины волн

Разный фон

Длительность проекта

Общая длительность проекта — 3 месяца

Команда

• 1 Data Science Lead

• 2 Data Scientists (CV Engineers)

• 1 backend developer

• Команда разметки

Стоимость реализации проекта

Общая стоимость проекта составила ~35k USD

Я создал канал, где описываю, как мы делаем такие проекты — @r77_ai приходите, там много промышленного и не только)