Компьютерное зрение для учёта инструментов: автоматизация приёма и выдачи на комплектовках

7 октября 2025 мы приняли участие в Международном хакатоне «Лидеры цифровой трансформации-2025» с прикладным кейсом из авиации — автоматизацией приёма и выдачи инструментов инженерно-техническому персоналу (ИТП) на комплектовках.
Заказчик кейса — «АФЛТ-Системс».
Задача звучала просто, но по-настоящему «промышленно»: под камерой моментально распознать инструменты в наборе, сверить «выдано» и «сдано», а при сомнениях вовремя подсветить необходимость ручного пересчёта.

Что мы сделали:

• Собрали и обучили сегментационную модель класса YOLO с упором на сцены с перекрытиями инструментов;
• Использовали GPU-обучение с AMP и крупное разрешение (1536px), таргетные аугментации под окклюзии и hard-example mining (дообучение на реальных ошибках).

Реализовали гибридный инференс:

• Standard — быстрый режим для типовых кадров;
• Enhanced — усиленный для сложных сцен без смены модели на стороне пользователя;
• Подготовили прототип интерфейса с процентом совпадений по каждому инструменту и настраиваемым порогом сигнала о пересчёте.

Результаты (валидация)

• Detections (Box): mAP50 ≈ 0.92, mAP50-95 ≈ 0.83; Precision/Recall ≈ 0.93/0.86;
• Segmentation (Mask): mAP50 ≈ 0.90, mAP50-95 ≈ 0.74; Precision/Recall ≈ 0.92/0.84. Этого уровня достаточно, чтобы уверенно разбирать большинство кадров «из коробки», в том числе при плотных раскладках инструмента.

Зачем это нужно отрасли:

• Минус очереди на комплектовках. Автоматизация пересчёта снижает простои и возвращает инженерам до 10% смены для прямой работы;
• Контроль качества (QA) «по горячим следам». Быстрый поиск расхождений между выданным и сданным упрощает расследования и помогает избегать инцидентов;
• Поддержка требований ТОиР. Прозрачный учёт, экспорт JSON, контейнеризация (Docker) и документация упрощают интеграцию с enterprise-системами.

Под капотом:

• Датасет: ~2000 фото на класс, дополнительно — микс сложных сцен с окклюзиями;
• Тренировка: 2× RTX A4000, AMP, cos-LR, transfer learning; контроль метрик и листинги FP/FN для точечной разметки;
• Поставка: экспорт в TorchScript/ONNX, упрощение графа; логирование и воспроизводимость (фиксированные seed’ы, полные args.yaml/results.csv).

Дальше — в пилот

Мы планируем ускоренный цикл улучшений: целевые аугментации под окклюзии, сбор «трудных» кадров в промышленных условиях, тонкую калибровку порогов/IoU-NMS и выпуск оптимизированного релиз-пакета с гибкими режимами инференса для интеграции в продакшен.

Если вы представляете авиакомпанию, МРО или аэропортовый комплекс и хотите протестировать решение на своём процессе — будем рады обсудить пилот. Благодарим «АФЛТ-Системс» за постановку задачи и экспертизу в рамках хакатона.