Распознавание лиц в приложении FireMonkey с OpenCV
Я Равиль Зарипов, разработчик из Алматы, создаю кроссплатформенные приложения на Delphi и FireMonkey. Такой подход хорошо подходит для проектов, которым нужны камера, локальная обработка изображения и единый интерфейс на Android, iOS, Windows, macOS и Linux. OpenCV даёт готовые алгоритмы детекции, выравнивания лица и построения вектора признаков, а нативный модуль позволяет вынести тяжёлые вычисления из потока интерфейса.
Важно разделять обнаружение лица и идентификацию человека. Первый этап находит область лица на кадре, второй сравнивает его представление с сохранёнными образцами. Для локального сценария я предпочитаю нативную интеграцию OpenCV: она сохраняет приватность, работает без сети и обеспечивает предсказуемую задержку между захватом изображения и результатом.
Выбор архитектуры распознавания
FireMonkey предоставляет единый слой интерфейса, но native-компоненты для каждой платформы приходится подключать отдельно. Поэтому сначала следует определить, где будут выполняться вычисления и какой уровень точности требуется от моделей.
| Подход | Место расчёта | Преимущества | Ограничения |
|---|---|---|---|
| Нативная библиотека OpenCV | На устройстве, средствами C++ | Работа без сети, высокая скорость | Сложная сборка под разные платформы |
| OpenCV.js и WebAssembly | В веб-среде приложения | Единый артефакт для браузеров | Затраты памяти и преобразования кадров |
| Облачный API | На удалённом сервере | Доступ к мощным моделям | Зависимость от сети, передача биометрических данных |
| Гибридная схема | Локально и удалённо | Гибкая настройка качества | Дополнительная логика и синхронизация |
Для производственного приложения я выбираю нативный модуль, а облачный сервис оставляю резервным вариантом для сложных сценариев. Такой подход избавляет от постоянного обмена изображениями с сервером и позволяет сразу показывать пользователю результат захвата.
Внутри приложения обработку лучше изолировать интерфейсом с четырьмя операциями: инициализация, обнаружение лица, создание вектора признаков и сравнение двух векторов. FireMonkey отвечает за камеру и отображение результата, тогда как C++-модуль работает только с изображениями и числовыми данными.
Подготовка моделей и данных
Каскады Хаара остаются простым вариантом для обнаружения лиц, но уступают нейросетевым детекторам по устойчивости к ракурсам, освещению и частичному перекрытию. Для более стабильной работы я рассматриваю модель YuNet из репозитория OpenCV Zoo и каскад Хаара как запасной или упрощённый режим.
Для идентификации требуется модель, формирующая embedding — компактное векторное представление лица. Подходящий вариант — SFace, также доступный в OpenCV Zoo. Перед внедрением необходимо проверить совместимость модели с выбранной версией OpenCV, условия лицензирования и корректность файлов конфигурации.
Данные для регистрации лучше собирать при разном освещении, с нескольких расстояний и в разных положениях головы. Слишком размытые или тёмные кадры отсеиваются на этапе проверки. Векторы, полученные разными моделями, нельзя смешивать в одной базе, поскольку изменение алгоритма требует повторного формирования всех записей.
Нативная интеграция с FireMonkey
Для обмена между Delphi и C++ удобно использовать небольшой слой функций с C-совместимой сигнатурой. Он принимает буфер пикселей, ширину и высоту кадра, а результаты возвращает через заранее определённые структуры. Объекты FireMonkey и указатели на компоненты в native-код передавать не следует.
Сборка библиотеки различается по платформам: Windows использует динамическую библиотеку, Linux — файл с расширением .so, macOS — framework или динамическую библиотеку, Android — .so для нужных ABI, iOS — статический framework со сборками для устройства и симулятора. OpenCV при этом желательно собирать из одинаковых версий исходников.
OpenCV.js можно использовать для прототипа или ограниченного набора функций, разместив его в веб-компоненте FireMonkey. Однако перенос кадра в Canvas, запуск WebAssembly и возврат результата создают дополнительную задержку. Для постоянного распознавания нативный модуль обычно предсказуемее.
Рабочий сценарий и интерфейс
Рабочий конвейер начинается с получения кадра из камеры и уменьшения его до рабочего разрешения. После обнаружения лиц выполняются выравнивание, построение вектора признаков и сравнение с записями пользователей. Результат содержит область лица, уровень совпадения и идентификатор зарегистрированного человека.
Кадры следует обрабатывать в фоновой очереди с ограничением частоты. Обнаружение можно запускать на каждом кадре, а создание вектора — только после появления устойчивой области лица. Такой подход снижает нагрев устройства и исключает накопление необработанных изображений.
В интерфейсе FireMonkey камера запускается через штатный компонент или диалог захвата. На мобильных платформах заранее запрашиваются разрешения, а при отсутствии камеры приложение должно предлагать выбор фотографии из галереи. Координаты обнаруженного лица пересчитываются с учётом масштаба предварительно уменьшенного кадра.
При регистрации система сохраняет несколько векторов для каждого человека и постепенно уточняет порог совпадения. Слишком низкий порог увеличивает число ложных совпадений, высокий — приводит к отказам узнать зарегистрированного пользователя. Для защиты от подмены изображения можно добавить проверку живости.
Качество, безопасность и измерения
Качество оценивается по нескольким независимым показателям: полноте обнаружения, доле ложных срабатываний, уровню ошибок распознавания, задержке обработки и потреблению памяти. Проверять их нужно на реальных устройствах разных классов, поскольку производительность настольного компьютера не отражает поведение смартфона.
Особое внимание уделяется порогу cosine- similarity между векторами. Его выбирают по собственной выборке, разделяя случаи совпадения и несовпадения. Полезно заранее определить допустимую частоту ложного принятия и отдельно измерить отказы для разных пользователей.
Если биометрические сведения хранятся на устройстве, векторы и ключи шифрования должны защищаться средствами конкретной платформы. Исходные фотографии обычно не сохраняют, журналы очищают от изображений, а доступ к синхронизации ограничивают. При использовании сервера необходимо отдельно определить срок хранения данных и порядок их удаления.
Для внешней аудитории проекта полезно создать понятный раздел с документацией и справочными материалами. Принципы его организации можно посмотреть в разборе сборки ресурсной страницы: категории, поиск и доступность с разных устройств помогают поддерживать интерес пользователей к продукту.
Сборка и сопровождение проекта
Кроссплатформенная поставка требует внимания к конфигурации каждой цели. Подробности этого этапа описаны в моей статье о сборке APK и IPA. Native-библиотеки, модели распознавания и права доступа к камере включаются в пакеты независимо от общей кодовой базы Delphi.
В системе контроля версий хранятся исходники C++, сценарии сборки, конфигурации моделей и контрольные суммы артефактов. Автоматическая проверка должна собирать приложение под каждую поддерживаемую платформу, запускать модульные тесты обработки изображений и выполнять короткую проверку запуска на физическом устройстве.
При обновлении OpenCV или модели сначала собирается отдельная тестовая версия. После проверки качества, задержки и совместимости меняются версии библиотеки и файлы данных. Такой контур позволяет выпускать приложение на разных операционных системах, сохраняя единый пользовательский сценарий и контролируемую точность распознавания.