Как функционирует распознавание лицевых образов в мобильных устройствах

Почему мы предпочитаем разблокировку по фейсу

В прошлые годы идентификация физиономий стало одной из самых распространённых функций для открытия умных телефонов. Лишь некоторые лет ранее основная часть пользователей удовлетворялись PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением подобных технологий, например вулкан россия, нам достаточно лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Что делает данную функцию очень нужной? Прежде всего, это удобно: не нужно запоминать сложные пароли или искать нужный палец в темноте. Во-вторых, это быстро: современные системы идентифицируют лицо буквально за мгновения ока. В-третью очередь, это чувство футуристичности — как будто в кинолентах про вулкан автомат агентов.

Однако за данной кажущейся легкостью прячется полный универсум сложных техник и инженерных разработок. Попробуем понять, как конкретно работает идентификация по лицу в новейших гаджетах, какие существуют технологии, насколько они надёжны и что нас предстоит.

Короткая история развития инноваций

Распознавание лиц как технология существует уже более пятидесяти годов. Начальные эксперименты автоматического изучения лиц были сделаны еще в 1960-х годах в научных учреждениях США. Тогда вычислительные машины умели лишь выделять очертания головы и вычислять дистанции между глазами и ртом на черно-белых снимках.

Начальные бизнес установки возникли в 1990-х годах, но они были далеки от совершенства: работали медленно и часто ошибались. Только с развитием синтетических сетей и таких систем, как вулкан россии, мощных мобильных микросхем распознавание лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным распознаванием лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и другие стали интегрировать личные решения.

Основные этапы действия системы идентификации

Процесс идентификации лица можно примерно сегментировать на несколько ключевых этапов:

1. Распознавание лиц — устройство выявляет присутствие людского лица в изображении.
2. Определение признаков — механизм исследует контуры облика: конфигурацию зрительных органов, носа, губ, положение бровей.
3. Построение шаблона — создаётся уникальный виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение с стандартом — сформированный шаблон сопоставляется со записанной при внесении биометрической сведениями владельца.
5. Принятие решения — если совпадение достаточно значительное, смартфон деблокируется.

Каждый из данных стадий запрашивает специальных методов и оптимизаций для скорой работы прямо на устройстве.

Железные составляющие: что находится внутри

Типичная селфи камера.

Самый простой простой метод определения облика использует только лицевую камеру мобильного устройства. Подобный подход осуществлён во многочисленных бюджетных вариантах Android-девайсов.

Плюсы:

• Не нуждается в нуждается в внешних сенсоров.
• Оперативно работает при хорошем освещении.

Отрицательные стороны:

• Легко одурачить снимком или видео.
• Неправильно работает при плохом свете или необычных углах обзора.

ИК камера и точечный проекционный аппарат

Более усовершенствованные системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология лежит в основе Face ID от Apple.

Каким способом это функционирует:

• Точечный устройство проекции отображает на физиономию использующего невидимую сетку из тысяч инфракрасных пятен (например, Face ID использует около 30 000 точек).
• Инфракрасная камера фиксирует искривление этой решетки по плоскости лица.
• Получается 3D карта глубины, что практически неосуществима для имитации стандартной фотографией или маскировкой.

Плюсы

• Надёжная деятельность даже в полной темноте.
• Высокая устойчивость к имитациям.
• Точность распознавания выше 99%.

Дополнительные сенсорные устройства

В определённых устройствах используются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют период движения света до цели и обратно; Трехцветные-датчики глубины; специальные оптические дальномеры для построения более точной 3D-модели физиономии.

Эти технологии встречаются чаще всего во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: синтетический разум на действии

Нынешние механизмы идентификации лиц невозможны при отсутствии применения ИИ и машинного обучения. Именно из-за таким разработкам, как вулкан россии, гаджет способно распознавать юзера даже при трансформациях внешности: новая причёска, щетина, линзы или косметика не становятся барьером для разблокировки.

Обнаружение физиономии

В стартовом этапе алгоритм необходимо мгновенно найти лицо в пределах всего снимка камеры. Для данной цели применяются последовательные классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые подготовлены распознавать лица людей среди множества других объектов.

Пример: метод MTCNN в состоянии распознавать лицо даже при частичном перекрытии (например, шарфом или ладонью).

Выделение основных точек

После обнаружения лица механизм, такая как вулкан россии, определяет расположение главных точек: края глаз, кончик носа, контуры губ и так далее. Обычно используется от 68 до 128 главных маркеров на лицевой области.

Это нужно для стабилизации изображения: если человек находится с мобильник под наклоненным, или наклонил головку, программа корректирует изображение до стандартного положения для последующего изучения.

Построение биометрического идентификатора шаблона

Далее нейронная сеть строит компактное числовое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой след лица длиной от 128 до 512 вещественных чисел.

Этот шаблон очень затруднительно подделать: он не сохраняет непосредственно фото пользователя, а лишь исключительные черты его вида, что делает его идеальным для таких площадок, как vulkan russia.

Сравнительный анализ и осуществление выбора

Если человек желает разлочить мобильник взглядом, программа повторяет все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный уровень (обычно выше 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ блокируется.

Адаптация к изменениям внешности

Интересная характеристика нынешних системы — способность самообучения. Если ты часто открываете смартфон с обновленной стрижкой или очками, алгоритм постепенно освежает эталонный образец вашего внешности для увеличения точности действия без ухудшения безопасности.

Охрана биометрических информации.

Большинство юзеры боятся хранить свои био-идентификационные данные на телефоне из-за вероятности утечки информации или взлома устройства. Некоторые фирмы, такие как vulkan russia, предлагают варианты для увеличения сохранности данных пользователей.

• Локальное сохранение: Основная часть устройств сохраняет биометричные образцы только внутрь защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Они всегда не оставляют гаджет и закрыты включая производителю.

• Шифрование: Все сведения сохраняются только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция приложений: Приложения внешних разработчиков не обладают непосредственного доступа к биометрическим данным; они могут лишь требовать подтверждение верификации личности через системный API.

Необходимо упомянуть важную деталь: если кто-либо достанет физический доступ к вашему телефону (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство компании реализуют защиту от автоматического разблокирования — в частности, требуют разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают категории определения лиц на изображениях?

Сегодня можно определить выделить 3 главных подхода к реализации этой задачи:

Программируемое плоское определение

Используется только лицевая видеокамера без экстра детекторов дистанции. Такой метод наблюдается чаще всего в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность осуществления; минимальная цена; быстрая деятельность при хорошем свете.
Минусы: просто ввести в заблуждение снимком; нестабильная функционирование ночью; низкая охрана.

Техническое 3D оцифровка

Задействует инфракрасную видеокамеру + проектор пикселей + сенсоры глубины (Face ID у Apple; аналогичные решения у Huawei Mate).
Достоинства: высокая надёжность; не получится подделать изображение/видеозапись; стабильная работа при любом освещении.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные методы с ИИ-дополнением

Используют комбинацию программных методов + аппаратно-техническую обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие товары, как вулкан россии и Google Pixel Face Unlock современных поколений, сочетают фронтальную камеру c инфракрасным сенсором мобильности Soli Radar для защиты от фальсификаций жестами/масками/видеодисплеями посторонних устройств.

Образцы эксплуатации различных техник

• iPhone линейки X/11/12/13/14 используют только физическое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition в первый раз внедрил аналог Face ID в ряду Android.
• Samsung Galaxy S10/S20 обеспечивают как софтверное плоское распознавание по фото фронталкой, так и датчик глазного ириса.
• Huawei Mate20 Pro применяет комплекс из ИК-инфракрасного света + Dot Projector + ToF-сенсор

Вопросы охраны и ошибочные сигналы

Несмотря на поразительный успехи техники за недавние лет, идеальных систем пока не наблюдается:

1. Вероятность обмана: Бюджетные смартфоны просто доступны четкой изображением владельца или роликом с дисплея иного гаджета.
2. Идентичные близнецы: Даже самые безупречные механизмы могут перепутать между монозиготными близнецами либо родичами с очень похожей внешностью.
3. Изменения внешнего вида: Резкое снижение веса/набор веса, косметические процедуры либо травмы иногда требуют повторной регистрации биометрии.
4. Условия записи: Яркая подсветка солнечным светом или глубокая темнота могут понизить аккуратность определения признаков.

Здесь несколько советов для надёжному применению:

• Для важных операций всегда применяйте дополнительную аутентификацию;
• Не включайте функцию “Разблокировка по лицу” на бюджетных устройствах без ИК-сенсоров;
• Регулярно обновляйте прошивку программное обеспечение смартфона для обеспечения безопасности от новых видов атак;
• Включайте настройку “Требовать раскрытых глаз” в тех местах, где она имеется.

В каких областях также используется технология за исключением мобильных телефонов?

Несмотря на то, что основная мысль нашей статьи сосредоточена на именно мобильным устройствам, следует отметить альтернативных областях использования технологии:

• Контроль прохода в офисах и жилых домах;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Электронные удостоверения личности современного образца;
• Системы видеоконтроля городских сервисов;
• Автоматизирование отслеживания посещаемости школ/институтов;
• Вход участников персональных компьютеров/ноутбуков.

Например: В московском метро уже испытывается система оплаты проезда по лицу (“Face Pay”) — нужно лишь пройти через турникет без карты или телефона! Похожие проекты развиваются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким образом изменяется техпроцесс в нынешнее время?

Любой год проявляются новые концепции для повышения уровня функционирования систем лицевого распознавания:

1. Увеличивается разрешение сенсорных устройств — чем больше деталей фиксируется видеокамерой/глубинными сенсорами, тем меньше риск погрешности;
2. Совершенствуются искусственные интеллекты — современные архитектуры вида MobileNetV3 обеспечивают возможность оперативно адаптироваться к свежим особенностям облика пользователя прямо на устройстве без пересылки информации в облачное хранилище.
3. Улучшаются методы антиспуфинга — теперь телефоны могут различать подлинные анимированные лица от фиксированных фотографий/масок по мельчайшим движениям кожи.
4. Взаимодействие со смарт-гаджетами — смарт-часы могут авто заблокировать смартфон, если обладатель удалился на значительное расстояние.
5. Появляются комбинированные механизмы — например объединяющие голосовую идентификацию + лицо + отпечаток пальца.

Итак, те тренды очень востребованы сейчас:

1) Миниатюризация компонентов

Компании намереваются минимизировать габариты прорези (“чёлки”) для сенсоры на дисплее за счёт интеграции маленьких ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на устройстве

Для увеличения приватности всё более вычислений осуществляется на месте без отправки данных во дополнительный облачный услугу.

3) Унификация регламентов

Гугл активно пропагандирует эталон BiometricPrompt API, с целью чтобы подобные площадки, вроде вулкан россия, и все Android-программы были совместимы с любыми видами биометрии стандартизированно.

Что подобрать на сегодня?

Если тебе нужна предельная сохранность данных, остановите выбор на флагманские аппараты с интегрированным ИК-излучателем либо ToF-датчиком глубины.

• iPhone каждого новейших поколений
• Huawei Companion/P серии
• Xiaomi Professional
• Vivo X линейки
• Oppo Обнаружить Х линейки.

Если бюджет невелик – лучше предпочесть классическим методам защиты (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в вулкан россия, задействовать только как второстепенную возможность удобства.

Каким способом улучшить комфорт функционирования опции?

Есть некоторые лайфхаков для пользователей, кто уже пользуется разблокировку через лицо:

1. Регулярно обновляйте свою фото-шаблон, если сильно меняется внешность.
2. Не упускайте из виду чистить объектив фронтальной камеры – пятна могут уменьшить четкость!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – так телефон сам включает фотоаппарат как только вы поднимаете его.
4. Во время регистрационного процесса постарайтесь сохранять лицо неподвижно напротив камеры без сильного наклона головы.
5. Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает телефон, если вы отвели взгляд от дисплея.

Будущее развития технологии

В предстоящие годы можно ожидать развития полностью бесконтактных способов распознавания индивидуума сразу по нескольким биометрическим данным параметрам одновременно: физиономия + звучание + шаги + жесты рук!

Также возможно развитие свежих способов защиты приватности – например, переменное корректировка электронного образца после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее увлекательных техник нашего эпохи! Она предоставляет интеракцию со мобильным устройством комфортнее чем когда-либо прежде, и такие программы, как vulkan russia, могут в разы улучшить ваш юзерский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы осведомлены, как устроена эта система изнутри, – сможете осознаннее выбирать свой очередной девайс!