Как функционирует распознавание лиц в смартфонах

Почему мы останавливаемся на разлочивание по фейсу

В последние годы определение физиономий стало одной из самых популярных возможностей для деблокировки мобильных телефонов. Всего пару годов ранее большинство использующих удовлетворялись пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением подобных технологий, как вулкан россия, нам достаточно просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Какая вещь делает данную особенность такой востребованной? Прежде всего, это удобно: не нужно запоминать сложные пароли или отыскивать правильный палец в темноте. Кроме того, это быстро: современные алгоритмы распознают лицо буквально за мгновение. В-третью очередь, это чувство футуризма — как будто в кинолентах про казино вулкан разведчиков.

Впрочем за такой на первый взгляд легкостью скрывается целый универсум сложных технологий и инженерных концепций. Попробуем исследовать, как именно действует идентификация по лицу в новейших смартфонах, какие бывают способы, насколько они надёжны и что нас ждёт впереди.

Краткая хроника эволюции технологии

Идентификация лиц как техника существует уже более пятидесяти годов. Первые попытки машинного изучения облика были предприняты еще в 1960-х годах в исследовательских центрах США. Тогда вычислительные машины способны были лишь определять очертания черепа и определять расстояния между глазами и губами на монохромных снимках.

Первые коммерческие установки возникли в девяностых годах, но они были несовершенны: функционировали медленно и нередко ошибались. Только с прогрессом искусственных сетей и таких систем, как вулкан россии, мощных мобильных чипов идентификация лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным распознаванием лица. За этим пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие начали интегрировать свои разработки.

Основные шаги действия устройства идентификации

Процесс распознавания лица можно ориентировочно разделить на несколько ключевых этапов:

Обнаружение лица — камера выявляет наличие гуманного образа в кадре.
Определение особенностей — алгоритм анализирует особенности лица: форму зрительных органов, носа, уст, положение надбровных дуг.
Построение структуры — создаётся уникальный цифровой отпечаток (faceprint) на основе выделенных признаков.
Сравнение со стандартом — сформированный шаблон сопоставляется со записанной при внесении биометрической информацией владельца.
Принятие определения — если сходство достаточно существенное, смартфон разблокируется.

Всякий из этих этапов требует особых процедур и оптимизаций для скорой работы прямо на устройстве.

Технические компоненты: что прячется в их недрах

Стандартная передняя камера.

Самый простой вариант идентификации лица использует исключительно фронтальную видеокамеру мобильного устройства. Такой подход осуществлён во различных доступных вариантах Android-девайсов.

Положительные стороны:

Не потребляет дополнительных сенсоров.
Шустро работает при достаточном свете.

Недостатки:

Несложно обмануть изображением или роликом.
Неправильно функционирует при плохом освещённости или нестандартных углах обзора.

ИК фотокамера и точечный проектор

Более продвинутые системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология составляет базу Face ID от Apple.

Каким способом это действует:

Точечный проектор проецирует на физиономию использующего невидимую решетку из тысяч инфракрасных пятен (например, Face ID использует около 30 000 точек).
ИК устройство записывает изменение формы данной сетки по плоскости физиономии.
Получается 3D глубинная карта глубинности, которая почти что неподвластна для имитации стандартной фотографией или маской.

Преимущества

Надёжная работа даже в полной неосвещённости.
Высокая сопротивляемость к подделкам.
Точность определения более 99%.

Добавочные сенсорные устройства

В некоторых аппаратах задействуются также дополнительные сенсоры: ToF (Time-of-Flight), которые фиксируют период прохождения луча до цели и обратно; Трехцветные-датчики глубины; специальные лазерные измерители расстояния для построения более детализированной 3D-модели физиономии.

Эти технологии применяются наиболее часто во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: искуственный интеллект на работе

Нынешние системы распознавания физиономий неосуществимы без применения ИИ и машинного обучения. Именно вследствие таким разработкам, как вулкан россии, устройство может распознавать юзера даже при трансформациях внешнего вида: новая стрижка, щетина, оптика или косметика не становятся помехой для деблокировки.

Распознавание физиономии

На стартовом этапе алгоритм обязана быстро найти лицо внутри всего кадра с камеры. Для данной цели применяются последовательные классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые подготовлены идентифицировать лица людей среди множества других объектов.

Пример: процесс MTCNN в состоянии находить физиономию даже при частичном перекрытии (например, шалью или рукой).

Определение основных точек

После обнаружения лица система, такая как вулкан россии, устанавливает положение главных точек: края глаз, верхушка носа, контуры губ и так далее. Часто используется от 68 до 128 главных точек на лицевой поверхности.

Это действие необходимо для выравнивания картинки: если человек удерживает телефон под углом, или повернул голову, программа корректирует картинку до обычного угла для последующего изучения.

Создание биометрического идентификатора образца

Далее нейросеть строит уплотненное цифровое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 вещественных чисел.

Этот формат крайне затруднительно имитировать: он не удерживает непосредственно фото пользователя, а лишь уникальные черты его внешности, что делает его оптимальным для таких площадок, как vulkan russia.

Сопоставление и принятие решения

Когда юзер желает открыть телефон взором, механизм осуществляет все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает установленный уровень (обычно выше 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ блокируется.

Привыкание к метаморфозам облика

Занимательная особенность нынешних системы — возможность самообучения. Если вы регулярно разблокируете смартфон с новой укладкой или очками, система постепенно обновляет эталонный модель вашего внешности для повышения точности работы без ухудшения безопасности.

Охрана биометрических информации.

Множество юзеры опасаются сохранять свои биометрические данные на смартфоне из-за вероятности потери данных или взлома устройства. Некоторые фирмы, например vulkan russia, предлагают варианты для улучшения безопасности информации пользователей.

Локальное хранение: Основная часть аппаратов сохраняет био-идентификационные модели лишь внутри безопасного чипа Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не покидают устройство и закрыты в том числе изготовителю.
Шифрование: Все сведения хранятся только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция программ: Приложения третьих девелоперов не имеют непосредственного возможности доступа к биометрическим; они могут лишь запрашивать факт верификации личности через системный API.

Стоит упомянуть важную особенность: в случае, если кто-то сможет получить физический доступ к вашему телефону (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие изготовители реализуют защиту от автоматического разблокирования — в частности, требуют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно имеются категории определения лиц на изображениях?

В настоящее время можно выделить различить 3 ключевых подхода к выполнению этой функции:

Софтверное плоское распознавание

Используется только фронтальная видеокамера без дополнительных датчиков глубины. Этот подход наблюдается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность реализации; низкая затраты; быстрая функционирование при хорошем свете.
Минусы: просто одурачить фотографией; ненадежная функционирование ночью; недостаточная безопасность.

Техническое 3D сканирование

Применяет инфракрасную камеру + проекционный модуль пикселей + сенсоры дистанции (Face ID у Apple; аналогичные решения у Huawei Mate).
Достоинства: значительная надежность; невозможно исказить фото/видео; постоянная работа в любых условиях освещения.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Гибридные способы с ИИ-дополнением

Задействуют комбинацию программируемых методов + аппаратную обработку + дополнительную обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные товары, как вулкан россии и Google Pixel Face Unlock современных версий, комбинируют фронтальную камеру c ИК сенсором мобильности Soli Radar для предотвращения от фальсификаций жестами/масками/видеоэкранами чужих устройств.

Образцы эксплуатации разнообразных методов

iPhone модели X/11/12/13/14 задействуют только техническое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition первый раз внедрил эквивалент Face ID в ряду Android.
Samsung Galaxy S10/S20 обеспечивают как программное обеспечение двухмерное определение по фото фронтальной камерой, так и датчик ириса глаза.
Huawei Mate20 Pro задействует комплекс из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Трудности безопасности и ошибочные срабатывания

Несмотря на впечатляющий развитие инноваций за прошедшие годы, безупречных системы пока не наблюдается:

Возможность мошенничества: Недорогие смартфоны просто открываются высококачественной снимком хозяина либо видеозаписью с дисплея иного гаджета.
Идентичные близнецы: Даже самые совершенные системы могут ошибиться между монозиготными близнецами либо родичами с очень похожей внешностью.
Трансформации внешнего вида: Резкое утрата веса/увеличение массы тела, хирургические вмешательства либо травмы иногда необходимы для обновления данных биометрических данных.
Условия съёмки: Яркая освещённость солнечным светом или же глубокая затенение могут снизить верность определения признаков.

Вот некоторые подсказок по защищённому эксплуатации:

Для важных операций всегда применяйте двухэтапную аутентификацию;
Не запускайте возможность “Разблокировка по лицу” на дешёвых моделях без ИК-сенсоров;
Систематически апгрейдите прошивку смартфона для защиты от современных угроз;
Включайте опцию “Требовать открытых глаз” в тех местах, где она доступна.

Где дополнительно находится применение технологии помимо мобильных телефонов?

Несмотря на то, что тема данной публикации посвящена именно мобильным устройствам, стоит упомянуть о других сферах применения технологии:

Контроль доступа в офисах и жилых домах;
Платёжные устройства банков (“Face Pay”);
Виртуальные удостоверения личности последнего типа;
Установки видеомониторинга городских сервисов;
Автоматизация учёта посещаемости учебных заведений/университетов;
Авторизация юзеров компьютеров/ноутбуков.

Например: В московском метро уже тестируется система оплаты проезда по фейсу (“Face Pay”) — хватит пройти через турникет без пластика или мобильника! Аналогичные программы осуществляются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Как трансформируется техпроцесс в нынешнее время?

Всякий годочек проявляются свежие концепции для повышения стандарта функционирования систем лицевого распознавания:

Увеличивается чёткость датчиков — чем больше деталей фиксируется фотоаппаратом/глубинными сенсорами, тем меньше риск ошибки;
Совершенствуются нейросети — новейшие архитектуры типа MobileNetV3 позволяют быстро обучаться свежим характеристикам вида владельца прямо на устройстве без пересылки информации в облачное хранилище.
Улучшаются методы антиспуфинга — теперь мобильные устройства способны распознавать подлинные движущиеся лица от неподвижных снимков/масок по микроскопическим микродвижениям.
Синхронизация со интеллектуальными приборами — умные часы могут автоматически заблокировать смартфон, если владелец удалился на значительное расстояние.
Появляются гибридные устройства — к примеру совмещающие речевую аутентификацию + лицо + дактилоскопический след.

Здесь, какие направления особенно популярны сейчас:

1) Миниатюризация компонентов

Компании пытаются уменьшить габариты отверстия (“чёлки”) под датчики на дисплее за счёт интеграции миниатюрных ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Обработывание прямо на устройстве

Для увеличения конфиденциальности всё больше расчётов происходит внутри устройства без отправки данных во внешний облачный сервис.

3) Стандартизация норм

Гугл энергично пропагандирует эталон BiometricPrompt API, с целью чтобы подобные площадки, вроде вулкан россия, и каждые Android-аппы были совместимы с различными типами биометрии единообразно.

Что решить сегодня?

Если вам всем важна наивысшая сохранность информации, выбирайте передовые модели с интегрированным ИК-проектором или ToF-датчиком глубины.

iPhone каждого последних поколений
Huawei Companion/Series P серии
Mi Professional
Vivo X серии
Oppo Обнаружить Икс серий.

Если финансы невелик – лучше предпочесть классическим средствам безопасности (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в вулкан россия, применять только как второстепенную опцию комфорта.

Каким образом увеличить практичность использования опции?

Есть пара хитростей для тех, кто уже использует разблокировку через лицо:

Периодически обновляйте свою фото-шаблон, если кардинально изменяется облик.
Не пренебрегайте чистить объектив фронтальной камеры – пятна могут понизить точность!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам активирует фотоаппарат когда вы берёте его в руки.
В процессе регистрации постарайтесь удерживать голову ровно перед видеоустройства без резкого наклона головы.
Используйте возможность “Attention Aware” (“Реакция на внимание”) – она запирает телефон, если вы отвернулись от дисплея.

Перспективы прогресса инноваций

В предстоящие годы можно предполагать развития полностью дистанционных способов распознавания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + звучание + манера ходьбы + движения рук!

Также вероятно возникновение свежих подходов охраны приватности – к примеру, изменяющееся модификация диджитал шаблона после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее увлекательных технологий нашего эпохи! Она обеспечивает взаимодействие со смартфоном комфортнее чем до этого, и такие приложения, как vulkan russia, могут значительно улучшить ваш опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы осведомлены, как устроена эта методика изнутри, – сможете более осмысленно подбирать свой очередной девайс!

News