Каким образом действует идентификация лиц в мобильных устройствах

Для чего мы предпочитаем разлочивание по лицевому распознаванию

В прошлые времена определение лиц превратилось в одной из наиболее востребованных опций для разблокировки смартфонов. Еще несколько годков тому назад основная часть юзеров довольствовались PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но с появлением таких технологий, например admiral x, нам достаточно просто взглянуть на экран — и устройство тут же узнает своего владельца.

Какой аспект превращает эту конкретную функцию очень нужной? Прежде всего, это практично: не нужно удерживать в памяти трудные пароли или находить нужный палец в мраке. Кроме того, это мгновенно: современные программы идентифицируют лицо фактически за мгновение. В-третью очередь, это чувство футуризма — как будто в кинофильмах про admiral x разведчиков.

Впрочем за данной видимой несложностью прячется полный универсум трудных техник и инженерных разработок. Попробуем разобраться, как точно действует идентификация по лицу в актуальных смартфонах, какие существуют способы, насколько они безопасны и что нас ждёт впереди.

Краткая история прогресса инноваций

Идентификация лиц как технология присутствует уже более пятидесяти лет. Первые попытки автоматизированного изучения лиц были сделаны еще в 1960-х годы в лабораториях США. Тогда вычислительные машины умели лишь выделять силуэты черепа и вычислять промежутки между глазами и губами на черно-белых фотографиях.

Начальные бизнес установки возникли в 1990-х годах, но они были неидеальны: работали медленно и часто давали сбои. Только с развитием синтетических сетей и таких платформ, как адмирал х, высокопроизводительных мобильных микросхем определение лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным сканированием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали внедрять собственные решения.

Ключевые стадии работы системы идентификации

Процесс определения лица можно примерно сегментировать на несколько важных этапов:

1. Распознавание лица — камера определяет существование гуманного образа в кадре.
2. Извлечение характеристик — алгоритм исследует контуры физиономии: форму глаз, обонятельного органа, уст, расположение бровей.
3. Построение структуры — создаётся уникальный виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение со стандартом — сформированный модель сверяется с сохранённой при учёте биометрической информацией владельца.
5. Принятие решения — если сходство достаточно высокое, смартфон деблокируется.

Каждый из указанных шагов запрашивает специальных алгоритмов и оптимизаций для оперативной работы непосредственно на девайсе.

Технические элементы: что прячется в их недрах

Стандартная передняя камера.

Самый простой метод идентификации облика использует только переднюю камеру смартфона. Подобный способ реализован во многочисленных недорогих вариантах Android-устройств.

Сильные стороны:

• Не нуждается в дополнительные сенсоров.
• Шустро работает при достаточном освещении.

Отрицательные стороны:

• Несложно ввести в заблуждение фотографией или роликом.
• Неправильно функционирует при низком освещении или необычных ракурсах.

Инфракрасная камера и пунктирный проектор

Более продвинутые системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология лежит в основе Face ID от Apple.

Каким способом это работает:

• Точечный устройство проекции отображает на облик юзера невидимую сетку из тысяч инфракрасных меток (например, Face ID задействует около 30 000 точек).
• ИК камера записывает деформацию этой решетки по плоскости физиономии.
• Получается 3D карта глубины глубины, которая практически неподвластна для фальсификации обычной фото или маской.

Преимущества

• Надёжная функционирование даже в полной темноте.
• Сильная сопротивляемость к подделкам.
• Точность определения свыше 99%.

Дополнительные сенсорные устройства

В определённых аппаратах задействуются также экстра сенсорные устройства: ToF (Time-of-Flight), которые определяют период прохождения света до цели и обратно; Цветные-датчики глубины; специальные оптические дальномеры для построения более точной 3D-модели лица.

Эти технологии встречаются чаще всего во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: синтетический ум на работе

Текущие устройства распознавания лиц невозможны в отсутствие эксплуатации artificial intelligence и машинного обучения. Именно благодаря таким разработкам, как адмирал х, аппарат в состоянии узнавать пользователя даже при изменениях облика: новая укладка, борода, линзы или макияж не становятся барьером для открытия.

Распознавание лица

При первом стадии программа должна быстро найти ликовое изображение в пределах целого снимка камеры. Для этой задачи применяются каскадные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые “обучены” распознавать лиц человека среди множества других объектов.

Пример: процесс MTCNN в состоянии распознавать лицо даже с неполном перекрытии (например, шарфом или ладонью).

Идентификация важных моментов

После идентификации лица система, такая как адмирал х, вычисляет положение главных точек: уголки глаз, кончик носа, границы губ и так далее. Часто используется от 68 до 128 главных маркеров на лице.

Это действие нужно для стабилизации картинки: если человек удерживает смартфон под наклоненным, или наклонил головку, программа исправляет картинку до нормального состояния для последующего изучения.

Построение биометрического образца

Далее искусственная сеть строит уплотненное числовое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 флоатов.

Такой формат очень затруднительно сфальсифицировать: он не сохраняет непосредственно фото пользователя, а лишь уникальные черты его облика, что делает его оптимальным для таких систем, как admiral-x.

Сравнение и осуществление решения

Если юзер хочет разлочить телефон взором, программа воспроизводит все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный уровень (обычно превышает 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ запрещается.

Адаптация к метаморфозам внешности

Интересная характеристика нынешних систем — способность самообучения. Если ты постоянно открываете мобильное устройство с обновленной стрижкой или оптикой, система постепенно обновляет эталонный шаблон вашего внешности для увеличения точности действия без ухудшения безопасности.

Безопасность биометрических информации.

Многие клиенты беспокоятся сохранять свои био-идентификационные данные на смартфоне из-за угрозы утечки информации или взлома гаджета. Некоторые организации, например admiral-x, предлагают решения для повышения защиты сведений юзеров.

• Локальное сохранение: Преимущественно девайсов сохраняет биометричные шаблоны только в пределах защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не оставляют гаджет и закрыты даже изготовителю.

• Шифрование: Все информация хранятся только в кодированном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция приложений: Программы третьих девелоперов не имеют прямого возможности доступа к биометрическим данным; они могут лишь запрашивать факт верификации идентичности через системный API.

Необходимо отметить значимую деталь: в случае, если кто-либо достанет доступ к вашему телефону физически (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство изготовители осуществляют меры безопасности от “слепого” разблокирования — в частности, требуют раскрыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют категории идентификации лиц на изображениях?

В настоящее время можно определить три главных подхода к реализации этой задачи:

Программное плоское распознавание

Используется только фронтальная видеокамера без вспомогательных датчиков глубины. Такой способ наблюдается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота воплощения; умеренная затраты; скоростная работа при достаточном свете.
Минусы: просто ввести в заблуждение снимком; нестабильная деятельность ночью; недостаточная безопасность.

Аппаратное трёхмерное оцифровка

Использует инфракрасную видеокамеру + проекционный модуль точек + сенсоры дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Плюсы: высокая надежность; не получится подделать фото/видео; постоянная работа в любых условиях освещения.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Комбинированные методы с интеграцией ИИ

Применяют комбинацию софтверных методов + аппаратную обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие продукты, как адмирал х и Google Pixel Face Unlock современных поколений, сочетают фронтальную камеру c инфракрасным датчиком движения Soli Radar для предотвращения от подделок руками/масками/видеодисплеями посторонних устройств.

Образцы эксплуатации разнообразных способов

• iPhone линейки X/11/12/13/14 задействуют только техническое трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition первый раз предложил подобие Face ID среди Android.
• Samsung Galaxy S10/S20 обеспечивают как программное обеспечение плоское определение по снимку фронталкой, так и датчик ириса глаза.
• Huawei Mate20 Pro задействует комплекс из ИК-инфракрасного света + Dot Projector + ToF-сенсор

Трудности охраны и ошибочные тревоги

Несмотря на поразительный прогресс технологий за прошедшие лет, безупречных системы пока не наблюдается:

1. Шанс обмана: Доступные мобильники без труда “разблокируются” высококачественной изображением хозяина или видеозаписью с экрана другого устройства.
2. Идентичные двойняшки: Даже самые безупречные системы могут спутать между однояйцевыми близнецами либо родичами с очень аналогичной внешностью.
3. Трансформации внешности: Внезапное снижение веса/увеличение массы тела, хирургические вмешательства либо травмы иногда требуют перерегистрации биометрических данных.
4. Условия записи: Сильная подсветка солнцем или глубокая темнота могут снизить аккуратность определения признаков.

Ниже несколько рекомендаций по надёжному применению:

• Для критически важных операций всегда используйте дополнительную аутентификацию;
• Не активируйте опцию “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
• Регулярно обновляйте прошивку ПО мобильного устройства для защиты от современных угроз;
• Включайте функцию “Требовать распахнутых глаз” везде, где она доступна.

Где дополнительно используется технологии помимо мобильных телефонов?

Несмотря на то, что тема нашей работы посвящена конкретно смартфонам и планшетам, стоит упомянуть о прочих направлениях внедрения технологии:

• Контроль доступа в рабочих помещениях и многоквартирных зданиях;
• Платёжные аппараты банков (“Face Pay”);
• Цифровые удостоверения личности современного поколения;
• Системы видеомониторинга городских сервисов;
• Автоматизирование отслеживания присутствия учебных заведений/вузов;
• Аутентификация участников персональных компьютеров/ноутбуков.

Например: В столичном метро уже испытывается система платежа проезда по фейсу (“Face Pay”) — хватит пройти через барьер без пластика или телефона! Похожие проекты реализуются в Поднебесной (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким образом изменяется технология сегодня?

Каждый год возникают новые мысли для улучшения качества деятельности систем распознавания лиц:

1. Увеличивается разрешение датчиков — чем больше деталей фиксируется камерой/глубинными сенсорами, тем меньше шанс неточности;
2. Развиваются нейронные сети — современные структуры типа MobileNetV3 дают возможность оперативно обучаться новым чертам облика обладателя непосредственно на девайсе без отправки данных в облако.
3. Развиваются технологии антиспуфинга — теперь смартфоны могут отличать реальные живые лица от неподвижных фотографий/маскировок по мельчайшим микродвижениям.
4. Взаимодействие со умными устройствами — умные часы могут самостоятельно закрыть доступ к смартфон, если пользователь отошёл далеко.
5. Возникают смешанные системы — к примеру объединяющие речевую аутентификацию + облик + отпечаток пальца.

Здесь, какие тенденции очень популярны в данный момент:

1) Миниатюризация элементов

Производители стараются минимизировать габариты выреза (“чёлки”) для сенсоры на экране за счёт интеграции компактных ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработка прямо на устройстве

Для увеличения личной безопасности всё больше обработки данных происходит на месте без передачи данных во сторонний облачный сервис.

3) Унификация норм

Google активно продвигает эталон BiometricPrompt API, с целью чтобы подобные платформы, например как admiral x, и все Android-приложения могли взаимодействовать с всеми формами биометрии унифицированно.

Что подобрать на сегодня?

Когда вам нужна наивысшая защита информации, выбирайте флагманские модели с вмонтированным ИК-проектором или ToF-датчиком глубины.

• iPhone всех последних поколений
• Huawei Mate/P серии
• Xiaomi Pro
• Vivo X линейки
• Oppo Найти Икс серий.

Если средства невелик – лучше предпочесть традиционным методам безопасности (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в admiral x, применять только как второстепенную опцию удобства.

Каким образом увеличить комфорт работы возможности?

Есть некоторые лайфхаков для пользователей, кто уже применяет функцию распознавания лица:

1. Периодически меняйте свою фото-шаблон, если кардинально трансформируется внешний вид.
2. Не забывайте чистить линзу фронтальной камеры – пятна могут понизить четкость!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам включает камеру как только вы поднимаете его.
4. Во время регистрации пытайтесь удерживать лицевую часть неподвижно перед камеры не допуская резкого наклона головы.
5. Используйте функцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отворачиваетесь от экрана.

Будущее развития техники

В ближайшие времена можно предвкушать возникновения полностью безконтактных способов распознавания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + голос + манера ходьбы + жесты рук!

Также предполагается возникновение современных подходов обеспечения приватности – например, динамическое корректировка цифрового образца после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – единственная из наиболее интересных техник нашего времени! Она делает общение со телефоном удобнее чем раньше, и такие программы, как admiral-x, могут в разы оптимизировать ваш опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы понимаете, как устроена эта технология в деталях, – сможете вдумчиво выбирать свой будущий гаджет!