Каким способом работает определение лиц в смартфонах

Для чего мы останавливаемся на разлочивание по лицу

В прошлые времена распознавание физиономий превратилось в одной из самых популярных возможностей для открытия умных телефонов. Всего некоторые годов ранее основная масса пользователей довольствовались PIN-кодами, секретными кодами или датчиками отпечатков пальцев. Но с появлением подобных технологий, например admiral x, нам достаточно лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Что обуславливает эту возможность очень нужной? Во-первых, это комфортно: не нужно запоминать трудные пароли или находить правильный палец в тьме. Также, это быстро: современные алгоритмы узнают лицо практически за доли секунды. В-третью очередь, это чувство футуристичности — словно в кинолентах про admiral x агентов.

Однако за этой видимой простотой прячется целый универсум трудных техник и инженерных решений. Давайте понять, как конкретно функционирует идентификация по лицу в новейших смартфонах, какие существуют методы, насколько они безопасны и что нас ждёт впереди.

Короткая повествование развития инноваций

Распознавание лиц как технология имеется уже более пятидесяти лет. Первые эксперименты автоматического исследования лица были предприняты еще в 1960-х годы в научных учреждениях США. Тогда вычислительные машины умели лишь обозначать контуры головы и вычислять промежутки между очами и ртом на черно-белых снимках.

Первые торговые системы появились в 1990-х годах, но они были далеки от совершенства: действовали неспешно и нередко ошибались. Только с эволюцией синтетических сетей и таких площадок, как адмирал х, высокопроизводительных мобильных процессоров определение лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным распознаванием лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и другие стали внедрять собственные решения.

Главные шаги действия механизма идентификации

Процесс идентификации лица можно условно поделить на несколько ключевых этапов:

1. Обнаружение лиц — устройство распознает присутствие людского образа в снимке.
2. Извлечение особенностей — механизм анализирует особенности лица: очертания зрительных органов, носа, уст, позицию бровей.
3. Построение структуры — создаётся неповторимый виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение с образцом — сформированный шаблон сравнивается со записанной при внесении биометрической данными владельца.
5. Принятие определения — если сходство достаточно значительное, смартфон деблокируется.

Каждый из указанных стадий нуждается в особых алгоритмов и оптимизаций для оперативной работы непосредственно на девайсе.

Технические составляющие: что прячется внутри них

Стандартная фронтальная камера.

Самый простой простой способ определения лица использует исключительно переднюю камеру мобильного устройства. Подобный способ осуществлён во многих доступных версиях Android-устройств.

Преимущества:

• Не потребляет дополнительных сенсоров.
• Быстро функционирует при достаточном свете.

Слабые стороны:

• Несложно ввести в заблуждение изображением или роликом.
• Неправильно функционирует при плохом освещённости или нестандартных ракурсах.

Инфракрасная камера и пунктирный проекционный аппарат

Более совершенные системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика является основой Face ID от Apple.

Каким способом это действует:

• Точечный проекционный прибор проецирует на облик пользователя невидимую решетку из тысяч инфракрасных меток (например, Face ID задействует около 30 000 меток).
• Инфракрасная устройство фиксирует искривление этой решетки по плоскости физиономии.
• Создаётся трехмерная карта глубины глубинности, которая почти что неподвластна для фальсификации стандартной фотографией или маскировкой.

Выигрыши

• Надёжная функционирование даже в полной тьме.
• Большая устойчивость к подделкам.
• Точность идентификации более 99%.

Добавочные сенсорные устройства

В определённых девайсах применяются также дополнительные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют период прохождения света до объекта и обратно; Трехцветные-датчики дальности; специальные световые измерители расстояния для построения более детализированной 3D-модели лица.

Эти технологии используются чаще всего во передовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: искуственный ум в действии

Современные устройства идентификации лиц невозможны без применения искусственного интеллекта и machine learning. Именно вследствие таким технологиям, как адмирал х, аппарат может распознавать владельца даже при изменениях облика: новая причёска, борода, линзы или грим не становятся препятствием для открытия.

Обнаружение лиц

На стартовом этапе программа необходимо быстро найти лицо среди всего снимка с камеры. Для этой задачи используются каскадные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые подготовлены находить лица людей среди множества других объектов.

Пример: алгоритм MTCNN способен обнаруживать облик даже при частичном перекрытии (например, платком или рукой).

Определение основных аспектов

После идентификации лица устройство, такая как адмирал х, вычисляет местоположение ключевых точек: края глаз, кончик носа, границы губ и так далее. Как правило используется от 68 до 128 ключевых меток на лице.

Это нужно для нормализации визуала: если пользователь находится с мобильник под углом, или наклонил голову, программа исправляет изображение до обычного угла для дальнейшего анализа.

Построение биометрии модели

Далее нейронная сеть строит компактное числовое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ лица длиной от 128 до 512 флоатов.

Такой образец весьма затруднительно имитировать: он не хранит само картинку пользователя, а лишь особенные черты его вида, что делает его совершенным для таких площадок, как admiral-x.

Сравнение и осуществление решения

Когда юзер хочет разлочить мобильник взглядом, система осуществляет все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный границу (обычно выше 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ не предоставляется.

Адаптация к изменениям внешности

Занимательная черта актуальных систем — способность самообучения. Если вы постоянно доступаете к мобильное устройство с новой прической или оптикой, алгоритм постепенно освежает основной образец вашего внешности для увеличения точности действия без снижения уровня безопасности.

Безопасность биометрических данных информации.

Большинство юзеры опасаются держать свои биометрические идентификационные данные на смартфоне из-за риска утечки данных или взлома устройства. Иные организации, например admiral-x, предоставляют методы для увеличения безопасности сведений юзеров.

• Локальное сбережение: Преимущественно девайсов записывает биометричные образцы лишь внутрь защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не выходят из аппарат и закрыты даже изготовителю.

• Шифрование: Все сведения хранятся только в шифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция приложений: Программы третьих девелоперов не имеют прямого возможности доступа к биометрическим данным; они могут лишь требовать факт верификации личности через системный API.

Следует упомянуть важную особенность: если кто-то достанет доступ к вашему телефону физически (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие компании реализуют систему защиты от “слепого” разблокирования — в частности, требуют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют имеются категории распознавания лиц на изображениях?

Сегодня можно определить выделить три главных способа к осуществлению этой операции:

Программируемое 2D распознавание

Применяется только лицевая видеокамера без вспомогательных сенсоров дистанции. Такой способ используется чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота воплощения; умеренная затраты; скоростная работа при достаточном освещении.
Минусы: легко ввести в заблуждение фотографией; ненадежная работа ночью; низкая охрана.

Оборудование для 3D сканирование

Использует инфракрасную видеокамеру + проекционный модуль точек + датчики глубины (Face ID у Apple; подобные решения у Huawei Mate).
Преимущества: высокая надежность; нельзя обмануть фото/видео; постоянная работа в любых условиях освещения.
Минусы: удорожание устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Комбинированные методы с ИИ-дополнением

Используют комбинацию софтверных методов + техническую обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, например адмирал х и Google Pixel Face Unlock современных версий, комбинируют фронтальную камеру c инфракрасным датчиком движения Soli Radar для предотвращения от фальсификаций руками/масками/видеодисплеями посторонних устройств.

Примеры использования разнообразных техник

• iPhone модели X/11/12/13/14 используют только аппаратное трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition в первый раз предложил аналог Face ID в ряду Android.
• Samsung Galaxy S10 версия/S20 имеют как софтверное плоское определение по фото фронталкой, так и сканер радужки глаза.
• Huawei Mate20 Pro задействует набор из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Проблемы безопасности и ложные сигналы

Несмотря на замечательный прогресс техники за прошедшие лет, безупречных механизмов пока не существует:

1. Вероятность подвоха: Доступные смартфоны просто “разблокируются” четкой изображением пользователя или роликом с экрана другого устройства.
2. Идентичные двойняшки: Даже самые совершенные устройства могут спутать между однояйцевыми близнецами либо родственниками с очень схожей внешностью.
3. Метаморфозы внешнего вида: Стремительное снижение веса/увеличение массы тела, косметические процедуры или повреждения порой требуют повторной регистрации биометрических данных.
4. Условия фотографирования: Яркая освещённость солнцем либо плотная затенение могут снизить аккуратность определения признаков.

Здесь некоторые рекомендаций для защищённому использованию:

• Для критически важных операций всегда внедряйте двухфакторную аутентификацию;
• Не запускайте функцию “Разблокировка по лицу” на бюджетных моделях без ИК-сенсоров;
• Регулярно обновляйте прошивку программное обеспечение мобильного устройства для предотвращения угроз от актуальных атак;
• Включайте функцию “Требовать раскрытых глаз” везде, где она есть.

В каких областях дополнительно используется технология кроме смартфонов?

Несмотря на то, что тема нашей публикации сосредоточена на конкретно смартфонам и планшетам, стоит упомянуть о альтернативных областях использования технологии:

• Контроль доступа в деловых центрах и многоквартирных зданиях;
• Платёжные аппараты финансовых учреждений (“Face Pay”);
• Электронные паспорта последнего поколения;
• Установки видеонаблюдения городских сервисов;
• Механизация отслеживания явки школ/университетов;
• Вход юзеров персональных компьютеров/ноутбуков.

Например: В городском метро уже проверяется система оплаты проезда по фейсу (“Face Pay”) — нужно лишь пройти через турникет без карты или телефона! Похожие инициативы развиваются в Поднебесной (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким образом трансформируется технический процесс в наше время?

Любой годочек возникают новые концепции для повышения стандарта функционирования систем идентификации лиц:

1. Увеличивается детализация сенсоров — чем больше элементов фиксируется видеокамерой/глубинными сенсорами, тем меньше шанс погрешности;
2. Развиваются нейросети — современные архитектуры типа MobileNetV3 обеспечивают возможность оперативно обучаться новым особенностям вида владельца напрямую на гаджете без пересылки информации в облачное хранилище.
3. Развиваются способы антиспуфинга — теперь мобильные устройства способны отличать подлинные анимированные облики от статичных фото/масок по микроскопическим движениям кожи.
4. Синхронизация со интеллектуальными приборами — смарт-часы могут самостоятельно закрыть доступ к мобильный телефон, если обладатель отошёл далеко.
5. Проявляются комбинированные механизмы — в частности совмещающие речевую опознание + облик + отпечаток пальца.

Итак, какие тенденции очень востребованы в данный момент:

1) Сокращение элементов

Производители стараются сократить габариты прорези (“чёлки”) для датчики на дисплее за счёт встраивания миниатюрных ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработка прямо на устройстве

Для повышения личной безопасности всё более вычислений выполняется на месте без передачи данных во дополнительный облачный услугу.

3) Унификация норм

Google энергично продвигает стандарт BiometricPrompt API, с целью чтобы подобные системы, как admiral x, и каждые Android-приложения могли взаимодействовать с всеми формами биометрии унифицированно.

Какое выбрать сегодня?

В случае если вам всем важна предельная сохранность данных, выбирайте флагманские устройства с интегрированным ИК-проектором либо ToF-датчиком глубины.

• iPhone всех существующих актуальных моделей
• Huawei Mate/Series P линейки
• Mix Pro
• Vivo X линейки
• Oppo Find Икс серий.

Если средства скромен – лучше отдавать предпочтение классическим средствам безопасности (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в admiral x, использовать только как опциональную возможность комфорта.

Как увеличить удобство работы опции?

Есть несколько хитростей для тех, кто уже пользуется разблокировку по лицу:

1. Периодически меняйте свою изображение-шаблон, если кардинально изменяется внешность.
2. Не пренебрегайте протирать объектив фронтальной камеры – пятна могут уменьшить четкость!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам активирует фотоаппарат когда вы берёте его в руки.
4. При регистрационного процесса старайтесь держать голову ровно перед камеры не допуская значительного наклона головы.
5. Используйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отвернулись от экрана.

Будущее эволюции технологии

В ближайшие годы можно предвкушать развития полностью безконтактных способов распознавания персоны сразу по нескольким биометрическим параметрам одновременно: лицо + речь + шаги + манипуляции руками!

Также возможно развитие современных способов охраны личной информации – например, изменяющееся модификация диджитал паттерна после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее увлекательных техник нашего периода! Она делает интеракцию со смартфоном удобнее чем до этого, и такие приложения, как admiral-x, могут значительно оптимизировать ваш пользовательский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы знаете, как функционирует эта технология изнутри, – будете в состоянии вдумчиво выбирать свой очередной девайс!