Сёрчлаба на Международном хакатоне «Лидеры цифровой трансформации-2025»: как мы автоматизировали учёт инструментов под камерой

7 октября 2025 мы приняли участие в Международном хакатоне «Лидеры цифровой трансформации-2025» с прикладным кейсом из авиации — автоматизацией приёма и выдачи инструментов инженерно-техническому персоналу (ИТП) на комплектовках. Заказчик кейса — «АФЛТ-Системс». Задача звучала просто, но по-настоящему «промышленно»: под камерой моментально распознать инструменты в наборе, сверить «выдано» и «сдано», а при сомнениях вовремя подсветить необходимость ручного пересчёта. Что мы сделали: — Собрали и обучили сегментационную модель класса YOLO с упором на сцены с перекрытиями инструментов; — Использовали GPU-обучение с AMP и крупное разрешение (1536px), таргетные аугментации под окклюзии и hard-example mining (дообучение на реальных ошибках). Реализовали гибридный инференс: — Standard — быстрый режим для типовых кадров; — Enhanced — усиленный для сложных сцен без смены модели на стороне пользователя; — Подготовили прототип интерфейса с процентом совпадений по каждому инструменту и настраиваемым порогом сигнала о пересчёте. Результаты (валидация) — Detections (Box): mAP50 ≈ 0.92, mAP50-95 ≈ 0.83; Precision/Recall ≈ 0.93/0.86; — Segmentation (Mask): mAP50 ≈ 0.90, mAP50-95 ≈ 0.74; Precision/Recall ≈ 0.92/0.84. Этого уровня достаточно, чтобы уверенно разбирать большинство кадров «из коробки», в том числе при плотных раскладках инструмента. Зачем это нужно отрасли: — Минус очереди на комплектовках. Автоматизация пересчёта снижает простои и возвращает инженерам до 10% смены для прямой работы; — Контроль качества (QA) «по горячим следам». Быстрый поиск расхождений между выданным и сданным упрощает расследования и помогает избегать инцидентов; — Поддержка требований ТОиР. Прозрачный учёт, экспорт JSON, контейнеризация (Docker) и документация упрощают интеграцию с enterprise-системами. Под капотом: — Датасет: ~2000 фото на класс, дополнительно — микс сложных сцен с окклюзиями; — Тренировка: 2× RTX A4000, AMP, cos-LR, transfer learning; контроль метрик и листинги FP/FN для точечной разметки; — Поставка: экспорт в TorchScript/ONNX, упрощение графа; логирование и воспроизводимость (фиксированные seed’ы, полные args.yaml/results.csv). Дальше — в пилот Мы планируем ускоренный цикл улучшений: целевые аугментации под окклюзии, сбор «трудных» кадров в промышленных условиях, тонкую калибровку порогов/IoU-NMS и выпуск оптимизированного релиз-пакета с гибкими режимами инференса для интеграции в продакшен. Если вы представляете авиакомпанию, МРО или аэропортовый комплекс и хотите протестировать решение на своём процессе — будем рады обсудить пилот. Благодарим «АФЛТ-Системс» за постановку задачи и экспертизу в рамках хакатона.