Как нейросети распознают лица: технология, которая знает тебя в лицо

Распознавание лиц — технология, которая позволяет установить, кому принадлежит лицо на фотографии или видео.

Её используют обычно для двух процедур:

• Верификация. Смартфон сравнивает лицо пользователя с данными, сохранёнными при настройке Face ID.
• Идентификация. Система пытается определить, кто именно изображён. Для этого она сопоставляет лицо с набором заранее известных людей.

Чтобы выполнить такое сравнение, алгоритм преобразует изображение лица в набор числовых признаков — вектор. Его иногда называют биометрическим шаблоном. По сути, это математическое представление лица, с которым программа может работать.

Упрощённо процесс состоит из нескольких этапов:

1. Находит лицо. Специальный алгоритм определяет, где на изображении находится лицо. Если людей несколько, он выделяет каждое отдельно.
2. Подготавливает изображение. Программа учитывает положение лица, его размер и другие параметры, чтобы привести разные фотографии к сопоставимому виду.
3. Создаёт числовое представление. Нейросеть анализирует особенности лица и преобразует их в вектор.
4. Сравнивает результат. Алгоритм сопоставляет полученный вектор с одним или несколькими сохранёнными. Если сходство превышает установленный порог, программа считает лица достаточно похожими.

Одним из известных ранних примеров глубоких нейросетевых систем стала DeepFace. В работе 2014 года её точность на наборе Labeled Faces in the Wild составила 97,35% в задаче верификации.

Технологию применяют много где:

• смартфоны — для разблокировки устройства и подтверждения личности;
• приложения и сервисы — для отдельных функций идентификации или проверки пользователя;
• банковские и государственные сервисы — в системах, где требуется подтвердить личность;
• аэропорты — для автоматизации некоторых процедур контроля;
• видеонаблюдение — для поиска совпадений с заранее заданной базой изображений.

В России биометрические данные могут использоваться для установления личности. Один из таких механизмов — Единая биометрическая система (ЕБС).

Правила её работы определяет Федеральный закон № 572-ФЗ. В этой системе используются изображение лица и запись голоса. На их основе формируются биометрические векторы, которые применяются при идентификации и аутентификации человека.

Закон предусматривает и возможность отозвать согласие и потребовать блокирования, удаления или уничтожения данных в предусмотренных случаях.

Результат зависит от того, какую задачу решает алгоритм и в каких условиях он работает. Есть две основные группы ошибок:

• Ложное совпадение происходит, когда система считает лица принадлежащими одному человеку, хотя это не так.
• Пропущенное совпадение — когда программа не узнаёт человека, которого должна была распознать.

Для оценки таких ошибок используют разные метрики. Например, Национальный институт стандартов и технологий США (NIST) проводит регулярные тесты алгоритмов распознавания лиц и отдельно оценивает ошибки в зависимости от сценария.

На результат влияют качество фотографии, освещение, положение головы, возраст человека, наличие очков или других препятствий для обзора лица, а также размер и состав базы, с которой идёт сравнение.

Более того, фотография человека может оказаться в интернете без его участия, а технологии анализа изображений позволяют автоматически искать и сопоставлять лица на больших массивах фотографий.

Исследователи также обращают внимание на то, что разные алгоритмы могут показывать неодинаковые результаты для людей разных демографических групп. Поэтому при оценке таких технологий важно ещё и то, как система работает в разных условиях и для разных групп пользователей.

Последствия зависят от того, где используется распознавание. Если смартфон не узнает владельца, обычно достаточно повторить попытку или воспользоваться другим способом разблокировки. Ошибка при проверке личности в банке или государственном сервисе уже может помешать получить услугу.

В системах видеонаблюдения последствия могут быть серьёзнее: ошибочное совпадение способно привести к дополнительной проверке человека.

Очки, маска, поворот головы и плохое освещение могут повысить вероятность ошибки. Но то, насколько сильно она повлияет на результат, зависит от технологии.

В России для работы с биометрическими данными действуют специальные требования закона. Если речь идёт о Единой биометрической системе, для неё предусмотрены отдельные правила передачи и использования данных.

Поэтому результат может меняться в зависимости от ситуации.

При использовании технологии важно понимать, как собирают и хранят биометрические данные, для чего их используют, кто получает к ним доступ и как поступают с результатами, если система ошибается. Эти вопросы определяют, насколько безопасным и оправданным будет применение распознавания лиц в том или ином случае.