1. Все примеси выделяем в один класс, как видно на картинке, по сути это два класса (если не больше), черные штуки + крупные серые камешки и уродливые крупинки. 

2.  Датасет состоит из фотографий гречки с примесями. Я перебрал стандартную упаковку гречки (900 гр), выбрал примеси и затем небольшое количество примесей перемешивал с чистой гречкой и фотографировал. 

Качество фото - 3060 * 4080. 

Количество фото - 348 шт. 

Фото делались с расстояния 8-10 см над поверхностью с гречкой, под углом в 15 градусов (с расчетом на то, что "сканирование" гречки с помощью приложения с моделью будет осуществляться примерно на такой высоте). 

3.  Модель YOLO от ultralytics требует специального формата датасета + yaml файл с характеристиками датасета. 

Формат имеет вид - папка dataset с двумя папками images (фотографии) и labels (разметка) и в каждой из этих папок есть 3 папки train, val и test. 

4. Для разметки изображений было использовано приложение labellmg, т.к. roboflow не очень хотел работать. (Рекомендую устанавливать labellmg не через консоль, а скачать с гитхаба архив и из него вытащить exe-файл). 

5. Т.к. labellmg только размечает фото, то для создание требуемого для YOLO формата потребовалось перемешать изображения и разметки и разложить их по вышеописанным папкам + создать yaml-файл. Фотографии разместились по папкам в соотношении 80:15:5 соответственно. 

6. Мы используем transfer learning (дообучаем готовую модель), но оказывается (напомним, что решение YOLO8n от ultralytics "в коробке") , что число замораживаемых слоёв можно передать в качестве параметра в методе для обучения .train. Например, model.train(data=data_yaml, freeze = 10). Но отметим, что модель замораживает не слоями, а модулями и это логично, т.к. архитектура состоит из блоков и замораживание их частей может нарушить логику и снизить эффективность модели. 

7. Также в качестве параметра метода train можно передать желаемую аугментацию (это методы изменения картинок для увеличения размера датасета без риска переобучения). В нашем случае из 278 фотографий для тренировки мы получаем с помощью аугментации 640 фотографий. 

8. Далее в среде google collab, используя GPU от него, проводим обучение модели и получаем следующие лучшие метрики на 15 эпохе (т.е. модель 15 раз обучилась на всём тренировочном датасете): 

P          R             mAP50   mAP50-95  F1 

0.89      0.682      0.798      0.413          0.77 

Т.е. полнота (recall) - доля выявленных примесей равна 0.682. 

Точность (precision) - вероятность, что отмеченные как примеси объекты таковыми являются - 0.89. 

Конечно, хотелось больший recall, в ущерб ложноположительности, но в силу редкости примесей (если одна крупинка весит 0.022 гр, а в упаковке 900 гр, то если всех примесей 80 шт, то отношение нормальной гречки к примесям в упаковке - 99.8 : 0.2) может обрушится precision (детектор слишком много будет показывать объектов и потеряется смысл использования средства автоматизации). 

Также при равной важности точности и полноты (метрика F1) максимум достигается при степени уверенности conf =  0.177 (т.е. если оценка нахождения объекта в рамке меньше conf, то считаем что объекта в рамке нет), и в правду, при использовании модели в real time при conf = 0.1 порой было многовато ложных срабатываний, а после conf = 0.25 срабатываний становилось наоборот маловато. 

Попытка №1. Реализация через библиотеку Gradio. 

Gradio - решение, позволяющее создавать на Python веб-интерфейсы для моделей машинного обучения и предоставляющее бесплатные ресурсы для демонстрации работы модели через созданный интерфейс. 

К минусам данного решения можно отнести: отзеркаливание входного потока, синий цвет выходного потока и задержки сервера, из-за чего выходной поток лагает. Отметим, что при последнем запуске синий цвет выходного потока пропал. 

Попытка №3.  Реализация через приложение TensorFlow Lite Object Detection Android Demo.

TensorFlow Lite Object Detection Android Demo - приложение для камеры, которое непрерывно обнаруживает объекты (ограничивающие прямоугольники и классы) в кадрах. После сборки данного готового решения через Android Studio сразу возникают ошибки, требующие обновления версии Kotlin, targetSdkVersion, compileSdkVersion и тд. После добавления собственной дообученной модели YOLO8n, экспортированной в формат tensorflowlite возникает ошибка нормализации входных данных. После устранения ошибки с нормализацией приложение работает, но после выбора нашей модели зависает. Связано это с тем, что главная библиотека проекта - Task Library ждёт модели с выходом в 4 тензора {locations, classes, scores, num_detections} (с метаданными), в то время как наша модель имеет на выходе тензор размера [Batch, 4+C, N], а именно [1, 5, 8400]. Что остаётся? Изменить формат выхода модели. Для этого придётся изменить метод detect класса ObjectDetector из tensorflow_lite_support/python/task/vision/object_detector.py , который применяется в lite/examples/object_detection/android/app/src/main/java/org/tensorflow/lite/examples/objectdetection/ObjectDetectorHelper.kt - детекторе данного приложения. Но явного кода детекции в методе detect класса ObjectDetector нет, т.к. применяется другой метод detect фактически из файла tensorflow_lite_support/cc/task/vision/object_detector.cc. Т.е. изменения должны произойти в нём, а именно в методе PostProcess, в проверке формата вывода (вывод установлен для SSD моделей), ну и того что ещё потребуется.

Также можно создавать свой интерпретатор в ObjectDetectorHelper.kt. После этого необходимо убрать рамки, относящиеся к одним объектам, т.е. использовать NMS/ Distance-IoU NMS. После изменения ObjectDetectorHelper.kt возникает каскад изменений всех важных файлов проекта. И в итоге всё падает. 

Попытка №4. Изменение выхода модели YOLO8n. 

Если сталкиваемся с неудачей из-за вывода не того формата, то нужно изменить вывод. Давайте сделаем это сразу в питоне и затем просто переведём это в формат tflite. Итого - переводим модель в формат .tf (для работы с нашей моделью в библиотеке tensorflow). Затем выделяем из выхода модели тензор ограничивающих рамок (bounding box) и тензор дискретного распределения вероятностей (scores). Далее применяем метод немаксимумов NMS. После чего функцию, которая вышеописанные действия проделывает (выделение двух тензоров + NMS) пытаемся конвертировать в формат .tflite. Но нас постигает неудача - ConverterError: Could not translate MLIR to FlatBuffer. 

 Попытка №5.  Использование в проекте вывода как есть. 

Придется ещё больше менять файлов в проекте и в Task Library. 

1. Демка нейронки на Hugging Face: https://huggingface.co/spaces/Paradise151/GrechnikNet 

2. Ноутбук с кодом на GitHub:

   https://github.com/Paradise151/GrechnikNet 

3. Датасет на Hugging Face: https://huggingface.co/datasets/Paradise151/GrechnikDataset