rzaripov.kz

Распознавание лиц в приложении FireMonkey с OpenCV

Я Равиль Зарипов, разработчик из Алматы, создаю кроссплатформенные приложения на Delphi и FireMonkey. Такой подход хорошо подходит для проектов, которым нужны камера, локальная обработка изображения и единый интерфейс на Android, iOS, Windows, macOS и Linux. OpenCV даёт готовые алгоритмы детекции, выравнивания лица и построения вектора признаков, а нативный модуль позволяет вынести тяжёлые вычисления из потока интерфейса.

Важно разделять обнаружение лица и идентификацию человека. Первый этап находит область лица на кадре, второй сравнивает его представление с сохранёнными образцами. Для локального сценария я предпочитаю нативную интеграцию OpenCV: она сохраняет приватность, работает без сети и обеспечивает предсказуемую задержку между захватом изображения и результатом.

Выбор архитектуры распознавания

FireMonkey предоставляет единый слой интерфейса, но native-компоненты для каждой платформы приходится подключать отдельно. Поэтому сначала следует определить, где будут выполняться вычисления и какой уровень точности требуется от моделей.

Подход Место расчёта Преимущества Ограничения
Нативная библиотека OpenCV На устройстве, средствами C++ Работа без сети, высокая скорость Сложная сборка под разные платформы
OpenCV.js и WebAssembly В веб-среде приложения Единый артефакт для браузеров Затраты памяти и преобразования кадров
Облачный API На удалённом сервере Доступ к мощным моделям Зависимость от сети, передача биометрических данных
Гибридная схема Локально и удалённо Гибкая настройка качества Дополнительная логика и синхронизация

Для производственного приложения я выбираю нативный модуль, а облачный сервис оставляю резервным вариантом для сложных сценариев. Такой подход избавляет от постоянного обмена изображениями с сервером и позволяет сразу показывать пользователю результат захвата.

Внутри приложения обработку лучше изолировать интерфейсом с четырьмя операциями: инициализация, обнаружение лица, создание вектора признаков и сравнение двух векторов. FireMonkey отвечает за камеру и отображение результата, тогда как C++-модуль работает только с изображениями и числовыми данными.

Подготовка моделей и данных

Каскады Хаара остаются простым вариантом для обнаружения лиц, но уступают нейросетевым детекторам по устойчивости к ракурсам, освещению и частичному перекрытию. Для более стабильной работы я рассматриваю модель YuNet из репозитория OpenCV Zoo и каскад Хаара как запасной или упрощённый режим.

Для идентификации требуется модель, формирующая embedding — компактное векторное представление лица. Подходящий вариант — SFace, также доступный в OpenCV Zoo. Перед внедрением необходимо проверить совместимость модели с выбранной версией OpenCV, условия лицензирования и корректность файлов конфигурации.

Данные для регистрации лучше собирать при разном освещении, с нескольких расстояний и в разных положениях головы. Слишком размытые или тёмные кадры отсеиваются на этапе проверки. Векторы, полученные разными моделями, нельзя смешивать в одной базе, поскольку изменение алгоритма требует повторного формирования всех записей.

Нативная интеграция с FireMonkey

Для обмена между Delphi и C++ удобно использовать небольшой слой функций с C-совместимой сигнатурой. Он принимает буфер пикселей, ширину и высоту кадра, а результаты возвращает через заранее определённые структуры. Объекты FireMonkey и указатели на компоненты в native-код передавать не следует.

Сборка библиотеки различается по платформам: Windows использует динамическую библиотеку, Linux — файл с расширением .so, macOS — framework или динамическую библиотеку, Android — .so для нужных ABI, iOS — статический framework со сборками для устройства и симулятора. OpenCV при этом желательно собирать из одинаковых версий исходников.

OpenCV.js можно использовать для прототипа или ограниченного набора функций, разместив его в веб-компоненте FireMonkey. Однако перенос кадра в Canvas, запуск WebAssembly и возврат результата создают дополнительную задержку. Для постоянного распознавания нативный модуль обычно предсказуемее.

Рабочий сценарий и интерфейс

Рабочий конвейер начинается с получения кадра из камеры и уменьшения его до рабочего разрешения. После обнаружения лиц выполняются выравнивание, построение вектора признаков и сравнение с записями пользователей. Результат содержит область лица, уровень совпадения и идентификатор зарегистрированного человека.

Кадры следует обрабатывать в фоновой очереди с ограничением частоты. Обнаружение можно запускать на каждом кадре, а создание вектора — только после появления устойчивой области лица. Такой подход снижает нагрев устройства и исключает накопление необработанных изображений.

В интерфейсе FireMonkey камера запускается через штатный компонент или диалог захвата. На мобильных платформах заранее запрашиваются разрешения, а при отсутствии камеры приложение должно предлагать выбор фотографии из галереи. Координаты обнаруженного лица пересчитываются с учётом масштаба предварительно уменьшенного кадра.

При регистрации система сохраняет несколько векторов для каждого человека и постепенно уточняет порог совпадения. Слишком низкий порог увеличивает число ложных совпадений, высокий — приводит к отказам узнать зарегистрированного пользователя. Для защиты от подмены изображения можно добавить проверку живости.

Качество, безопасность и измерения

Качество оценивается по нескольким независимым показателям: полноте обнаружения, доле ложных срабатываний, уровню ошибок распознавания, задержке обработки и потреблению памяти. Проверять их нужно на реальных устройствах разных классов, поскольку производительность настольного компьютера не отражает поведение смартфона.

Особое внимание уделяется порогу cosine- similarity между векторами. Его выбирают по собственной выборке, разделяя случаи совпадения и несовпадения. Полезно заранее определить допустимую частоту ложного принятия и отдельно измерить отказы для разных пользователей.

Если биометрические сведения хранятся на устройстве, векторы и ключи шифрования должны защищаться средствами конкретной платформы. Исходные фотографии обычно не сохраняют, журналы очищают от изображений, а доступ к синхронизации ограничивают. При использовании сервера необходимо отдельно определить срок хранения данных и порядок их удаления.

Для внешней аудитории проекта полезно создать понятный раздел с документацией и справочными материалами. Принципы его организации можно посмотреть в разборе сборки ресурсной страницы: категории, поиск и доступность с разных устройств помогают поддерживать интерес пользователей к продукту.

Сборка и сопровождение проекта

Кроссплатформенная поставка требует внимания к конфигурации каждой цели. Подробности этого этапа описаны в моей статье о сборке APK и IPA. Native-библиотеки, модели распознавания и права доступа к камере включаются в пакеты независимо от общей кодовой базы Delphi.

В системе контроля версий хранятся исходники C++, сценарии сборки, конфигурации моделей и контрольные суммы артефактов. Автоматическая проверка должна собирать приложение под каждую поддерживаемую платформу, запускать модульные тесты обработки изображений и выполнять короткую проверку запуска на физическом устройстве.

При обновлении OpenCV или модели сначала собирается отдельная тестовая версия. После проверки качества, задержки и совместимости меняются версии библиотеки и файлы данных. Такой контур позволяет выпускать приложение на разных операционных системах, сохраняя единый пользовательский сценарий и контролируемую точность распознавания.