Skip to content

Latest commit

 

History

History
73 lines (60 loc) · 7.71 KB

README.md

File metadata and controls

73 lines (60 loc) · 7.71 KB
Raw

Проект по обучению модели детекции на основе Faster R-CNN

Проект по созданию системы безопасности на предприятии, реализующей детектирование людей и автоматическую проверку наличия касок по изображениям с видеокамер

Я сделал обучение двух различных нейронных сетей Faster-RCNN с FPN (Region Based Convolutional Neural Network with Feature Pyramid Architecture). Первая сеть реализует детектирование людей по изображениям с видеокамер, а вторая проверяет наличие касок на головах работников предприятия.
Для того чтобы получить более качественную детекцию, я использовал технологию transfer learning, инициализировав на старте предобученные веса. После завершения обучения сетей я сохранил состояния моделей, которые показали наименьший суммарный лосс на валидации. Далее я реализовал оценку качества детектирования, используя самостоятельно написанные функции, которые вычисляли следующие валидационные метрики:

  1. среднее IOU;
  2. recall и precision при заданных порогах уверенности (score) и IoU;
  3. значения average precision (AP) для каждого класса;
  4. mean average precision (mAP) для модели двухклассовой детекции c различными порогами по IoU.

В процессе обучения моделей я также проводил мониторинг изменения лосс функций на трейне и валидации. Данные результаты сохранил в tensorboard.dev

Содержание репозитория:

Ключевой файл - отчет в формате jupiter notebook main.ipynb, в котором представлено подробное описание реализованного проекта и описаны все шаги по предобработке данных, а также обучению и тестированию моделей с выводами. Все ключевые для данного проекта функции я представил в отдельных .py файлах:

  1. реализация аугментации и визуализация исходных данных - augment_and_visualize.py
  2. реализация обучения сетей с параллельным тестированием на валидации и трекингом в tensorboard - training_rcnn.py
  3. визаулизация результатов детекции и загрузка обученных моделей с гугл диска - predict.py
  4. подсчет всех ключевых метрик для оценки качества детектирования - metrics.py

Для того, чтобы была возможность самостоятельно протестировать работоспособность двух обученных моделей детектирования, написал скрипт detecting.py, который запрашивает путь к файлу (jpg/png) и визуализирует результаты распознавания. О том, как запустить этот скрипт через терминал будет далее подробно рассказано.

Примеры результатов работы двух разных обученных моделей:

Alt person detection Alt hardhat detection

Как запускать программу:

Данные команды требуется запускать последовательно в терминале:

  1. Склонируйте к себе этот репозиторий
git clone https://github.com/Koldim2001/Factory_detection.git
  1. Перейдите с помощью команды cd в созданную папку Factory_detection
cd Factory_detection
  1. Загрузите все необходимые библиотеки:
pip install -r requirements.txt
  1. Запустите написанный python скрипт:
python detecting.py

При запуске программы потребуется ввести путь к изображению, для которого надо провести детекцию. Учтите, что путь к файлу не должен содержать кириллицу (русские буквы). После завершения детектирования людей откроется отдельное окно с результирующими боксами. При закрытии этого окна автоматически начнется процедура двухклассовой детекции (наличие/отсутвие касок на голове). По результатам вычислений откроется новое отдельное окно с задетектированными боксами.

Способ запуска детектирования с помощью telegram бота:

Я реализовал интеграцию модели детектирования людей в чат бот. При отправлении изображения в лс он выдает число обнаруженных объектов и отправляет ответное изображение с предсказанными bounding боксами.
Инструкция по запуску "локального сервера", реализующего работу бота:
Первые 3 этапа идентичны описанным ранее.
4. Запустите написанный python скрипт (но сначала вставьте свой API ключ в код):

python tg_bot.py
  1. Перейдите в диалог с ботом и пользуйтесь

Пример работы телеграм бота:

bot bot bot