Как работает идентификация лицевых образов в смартфонах

Почему мы выбираем разблокировку по лицу

В последние времена определение физиономий превратилось в одной из самых популярных возможностей для открытия умных телефонов. Всего некоторые годков ранее основная часть юзеров обходились PIN-кодами, ключами доступа или сканерами отпечатков пальцев. Но с появлением таких технологий, как admiral x, нам достаточно просто взглянуть на экран — и устройство тут же узнает своего владельца.

Какая вещь делает эту возможность такой востребованной? Во-первых, это удобно: не нужно запоминать замысловатые пароли или искать нужный палец в темноте. Кроме того, это быстро: современные программы идентифицируют лицо фактически за доли секунды. В-третьих, это впечатление футуристичности — будто в кинолентах про адмирал х казино шпионов.

Впрочем за такой кажущейся несложностью прячется весь мир трудных техник и инженерных концепций. Давайте исследовать, как именно действует распознавание лиц в новейших гаджетах, какие бывают методы, насколько они надёжны и что нас предстоит.

Сжатая повествование прогресса технологии

Идентификация лиц как методика существует уже более 50 лет. Изначальные пробы автоматизированного изучения лица были сделаны еще в 1960-х годы в исследовательских центрах США. Тогда компьютеры могли лишь определять контуры головы и вычислять расстояния между зрачками и губами на черно-белых изображениях.

Изначальные бизнес системы возникли в девяностых годах, но они были неидеальны: работали медленно и часто ошибались. Только с прогрессом нейронных сетей и таких площадок, как адмирал х, мощных мобильных процессоров определение лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным сканированием лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и другие начали интегрировать собственные решения.

Ключевые стадии работы устройства распознавания

Процесс определения лица можно примерно сегментировать на несколько ключевых этапов:

Распознавание лиц — устройство выявляет присутствие людского лица в изображении.
Выделение характеристик — механизм анализирует черты физиономии: форму глаз, носа, уст, позицию бровей.
Построение модели — создаётся особенный цифровой отпечаток (faceprint) на основе определённых признаков.
Сравнение со образцом — полученный модель сопоставляется со сохранённой при регистрации биометрической данными владельца.
Принятие выбора — если сходство достаточно высокое, смартфон разблокируется.

Всякий из этих стадий запрашивает особых процедур и усовершенствований для оперативной работы прямо на устройстве.

Аппаратные составляющие: что находится внутри

Типичная фронтальная камера.

Наиболее простой способ распознавания облика использует исключительно переднюю видеокамеру смартфона. Данный метод внедрён во многочисленных недорогих моделях Android-устройств.

Достоинства:

Необходимо потребляет дополнительных сенсоров.
Быстро действует при качественном освещённости.

Отрицательные стороны:

Просто ввести в заблуждение фотографией или видео.
Неудачно работает при слабом освещении или нестандартных углах обзора.

ИК камера и пунктирный проекционный аппарат

Более совершенные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая техпроцесс является основой Face ID от Apple.

Как это действует:

Точечный проекционный прибор проецирует на физиономию пользователя невидимую структуру из тысяч инфракрасных меток (например, Face ID использует около 30 000 пятен).
ИК устройство записывает изменение формы данной решетки по поверхности физиономии.
Создаётся трёхмерная карта глубины глубины, что практически неподвластна для имитации обычной фотографией или маскировкой.

Плюсы

Надёжная работа даже в полной тьме.
Большая защита к подделкам.
Точность идентификации выше 99%.

Добавочные датчики

В отдельных девайсах применяются также дополнительные сенсорные устройства: ToF (Time-of-Flight), которые определяют период движения света до предмета и обратно; Цветные-датчики глубины; специальные оптические лидары для формирования более аккуратной 3D-модели лица.

Эти технологии применяются чаще всего во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: искуственный интеллект в действии

Нынешние устройства идентификации лиц невозможны без применения искусственного интеллекта и machine learning. Именно вследствие таким инновациям, как адмирал х, устройство способно идентифицировать владельца даже при трансформациях внешности: новая стрижка, щетина, линзы или макияж не становятся помехой для разблокировки.

Распознавание физиономии

На начальном шаге алгоритм необходимо оперативно распознать образ лица внутри полного снимка камеры. Для этой задачи задействуются последовательные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые “обучены” находить лица людей среди множества других объектов.

Пример: алгоритм MTCNN в состоянии находить лицо даже при частичном закрытии (например, шарфом или рукой).

Выделение основных моментов

После распознавания лица механизм, такая как адмирал х, вычисляет расположение главных точек: кончики глаз, кончик носа, границы губ и так далее. Обычно применяется от 68 до 128 главных точек на лице.

Данное требуется для нормализации визуала: если пользователь держит мобильник под наклоненным, или склонил голову, программа исправляет картинку до стандартного положения для дальнейшего анализа.

Создание биометрического модели

Далее искусственная сеть строит сжатое цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой “отпечаток” лица длиной от 128 до 512 вещественных чисел.

Данный образец крайне сложно подделать: он не хранит непосредственно картинку юзера, а лишь уникальные особенности его вида, что делает его идеальным для таких площадок, как admiral-x.

Сопоставление и осуществление выбора

Когда человек намеревается открыть смартфон взором, механизм повторяет все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный порог (обычно выше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ не предоставляется.

Приспособление к изменениям внешнего вида

Интересная особенность современных систем — возможность самообучения. Если ты регулярно открываете смартфон с новой прической или очками, алгоритм постепенно модернизирует эталонный образец вашего внешности для улучшения точности функционирования без снижения уровня безопасности.

Охрана биометрии информации.

Большинство пользователи опасаются держать свои био-идентификационные данные на телефоне из-за угрозы потери данных или взлома гаджета. Иные фирмы, такие как admiral-x, предоставляют методы для улучшения защиты данных юзеров.

Локальное сохранение: Основная часть девайсов сохраняет биометричные шаблоны исключительно в пределах безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные ни разу не не выходят из гаджет и недоступны в том числе изготовителю.
Шифрование: Все данные хранятся только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция приложений: Приложения сторонних девелоперов не обладают непосредственного доступа к биометрическим данным; они могут лишь запрашивать подтверждение верификации личности через системный API.

Необходимо подчеркнуть важную деталь: в случае, если какой-то человек достанет доступ к вашему телефону физически (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство компании осуществляют защиту от “слепого” разблокирования — например, просят открыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают категории идентификации лиц на изображениях?

На сегодняшний день можно выделить определить 3 основных способа к выполнению этой функции:

Софтверное плоское определение

Применяется только фронтальная видеокамера без экстра детекторов глубины. Подобный подход встречается чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота осуществления; минимальная затраты; оперативная функционирование при хорошем освещении.
Минусы: легко одурачить фотографией; нестабильная функционирование ночью; слабая защищенность.

Аппаратное трёхмерное оцифровка

Применяет инфракрасную камеру + проекционный модуль пикселей + сенсоры глубины (Face ID от Apple; аналогичные технологии у Huawei Mate).
Достоинства: большая достоверность; нельзя обмануть изображение/видеозапись; постоянная функционирование при любом освещении.
Минусы: повышение стоимости устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Гибридные подходы с интеграцией ИИ

Используют комбинацию программных методов + техническую обработку + постобработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, например адмирал х и Google Pixel Face Unlock новейших версий, комбинируют фронтальную камеру c ИК сенсором движения Soli Radar для защиты от подделок жестами/масками/видеоэкранами чужих устройств.

Иллюстрации эксплуатации различных способов

iPhone серии X/11/12/13/14 задействуют только физическое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition в первый раз внедрил аналог Face ID среди Android.
Samsung Galaxy S10 версия/S20 имеют как программное двухмерное определение по изображению фронталкой, так и сканер ириса глаза.
Huawei Mate20 Pro применяет набор из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Вопросы безопасности и ложные сигналы

Несмотря на поразительный развитие технологий за последние лет, совершенных механизмов пока не наблюдается:

Шанс подвоха: Недорогие мобильники легко доступны четкой снимком владельца или видео с дисплея иного гаджета.
Идентичные близнецы: Даже самые совершенные системы могут спутать между однояйцевыми близнецами либо родичами с очень аналогичной внешностью.
Изменения облика: Резкое похудение/увеличение массы тела, пластические операции или повреждения порой требуют обновления данных биометрии.
Условия записи: Интенсивная подсветка солнцем или же глубокая тень могут понизить точность распознавания признаков.

Вот некоторые советов для защищённому использованию:

Для важных операций всегда применяйте дополнительную аутентификацию;
Не активируйте опцию “Разблокировка по лицу” на бюджетных аппаратах без ИК-сенсоров;
Регулярно апгрейдите ПО телефона для обеспечения безопасности от новых видов атак;
Включайте функцию “Требовать раскрытых глаз” везде, где она имеется.

В каких областях дополнительно применяется технологии кроме мобильных телефонов?

Хотя тема нашей работы сосредоточена на конкретно смартфонам и планшетам, следует отметить других сферах применения технологии:

Управление входа в рабочих помещениях и жилых домах;
Платёжные устройства банков (“Face Pay”);
Электронные паспорта современного поколения;
Системы видеомониторинга городских подразделений;
Механизация отслеживания посещаемости школ/университетов;
Аутентификация юзеров компьютеров/ноутбуков.

Например: В столичном метро уже проверяется система оплаты проезда по фейсу (“Face Pay”) — достаточно пройти через барьер без карты или телефона! Аналогичные инициативы развиваются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким способом меняется технология в нынешнее время?

Всякий годик возникают новые концепции для усовершенствования качества деятельности систем идентификации лиц:

Увеличивается разрешение сенсорных устройств — чем больше информации фиксируется видеокамерой/датчиками глубины, тем меньше шанс неточности;
Развиваются нейронные сети — современные архитектуры типа MobileNetV3 позволяют скоростно адаптироваться к свежим характеристикам облика пользователя прямо на устройстве без отправки данных в облако.
Совершенствуются способы антиспуфинга — теперь телефоны способны различать реальные движущиеся облики от неподвижных фотографий/маскировок по незаметным движениям кожи.
Взаимодействие со интеллектуальными приборами — интеллектуальные часы могут авто заблокировать смартфон, если владелец отошёл далеко.
Проявляются гибридные механизмы — в частности совмещающие голосовую аутентификацию + физиономию + отпечаток пальца.

Итак, те тренды особенно востребованы в данный момент:

1) Миниатюризация элементов

Производители стараются сократить габариты прорези (“чёлки”) для сенсоры на дисплее за счёт встраивания компактных ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Переработка прямо на аппарате

Для повышения конфиденциальности всё более вычислений происходит внутри устройства без передачи данных во внешний облачный сервис.

3) Упорядочивание стандартов

Google активно продвигает стандарт BiometricPrompt API, с целью чтобы аналогичные площадки, как admiral x, и каждые Android-аппы были совместимы с всеми формами биометрии стандартизированно.

Что выбрать сегодня?

В случае если вам нужна предельная безопасность информации, выбирайте флагманские модели с интегрированным ИК-излучателем либо ToF-сенсором глубины.

iPhone всех существующих последних поколений
Huawei Mate/P линейки
Xiaomi Professional
Vivo X модели
Oppo Найти X серий.

Если финансы невелик – лучше выбирать обычным методам безопасности (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в admiral x, использовать только как опциональную опцию комфорта.

Как повысить удобство использования опции?

Есть пара лайфхаков для людей, кто уже применяет разблокировку по лицу:

Часто обновляйте свою изображение-шаблон, если значительно изменяется внешний вид.
Не пренебрегайте очищать линзу фронтальной камеры – загрязнения могут уменьшить четкость!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам активирует фотоаппарат когда вы поднимаете его.
Во время регистрационного процесса постарайтесь удерживать лицо ровно перед камеры не допуская значительного наклона головы.
Используйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает телефон, если вы отвернулись от экрана.

Перспективы эволюции технологии

В предстоящие годы можно ожидать возникновения полностью безконтактных способов опознания индивидуума сразу по нескольким биометрическим данным параметрам одновременно: облик + звучание + манера ходьбы + манипуляции руками!

Также вероятно развитие современных методов охраны приватности – к примеру, динамическое изменение диджитал паттерна после каждой удачной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – единственная из очень захватывающих техник нашего периода! Она предоставляет общение со мобильным устройством удобнее чем когда-либо прежде, и такие аппы, как admiral-x, могут значительно улучшить ваш опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы знаете, как функционирует эта технология изнутри, – сможете более осмысленно подбирать свой будущий гаджет!