Несчастный случай с женщиной ошибочно признан вором из системы распознавания лиц в супермаркете Новой Зеландии я не удивлен. Когда цепь Продукты питания Северный остров объявила о намерении протестировать эту технологию для борьбы с преступностью в магазинах, эксперты в области технологий и конфиденциальности выразили множество опасений. В частности, был подчеркнут риск дискриминации в отношении женщин маори и цветных женщин. Очень правильные опасения и необходимые размышления.
Контекст использования супермаркетов: за пределами алгоритмов
Автоматическое распознавание лиц часто обсуждается в абстрактных терминах, как чистое алгоритмическое сопоставление шаблонов с упором на правильность и точность. Магазины «бери и забирай» без касс. Это действительно важные приоритеты для систем управления биометрическими данными и данными безопасности. Но при столь важном акценте на результатах автоматизированных решений легко упустить из виду обеспокоенность по поводу того, как эти решения применяются.
Дизайнеры используют термин «контекст использования» для описания ежедневных условий работы, деятельности и целей продукта. Благодаря технологии распознавания лиц в супермаркетах контекст использования выходит далеко за рамки традиционных проблем дизайна, таких как эргономика или удобство использования. Это требует рассмотрения того, как автоматические уведомления о взломе вызывают реакцию в магазине, протоколы управления этими ответами и что происходит, когда что-то идет не так. Это больше, чем просто проблемы с технологиями или данными. Это человеческие, социальные проблемы.
Точность балансировки и влияние ошибок
Инвестиции в повышение точности прогнозирования кажутся очевидным приоритетом для систем распознавания лиц. Но это необходимо рассматривать в более широком контексте использования, где ущерб, причиненный небольшим количеством неверных прогнозов, перевешивает незначительное улучшение производительности в других местах.
Ошибка новозеландского супермаркета — всего лишь маленькая жемчужина в серии, способной задушить эту технологию. А ответ компании-супермаркета о том, что это был «настоящий случай человеческой ошибки», не затрагивает более глубокие проблемы, связанные с таким использованием ИИ и автоматизированных систем. Исследования показывают что люди, принимающие решения, могут унаследовать предвзятость от решений ИИ. В ситуациях высокого стресса и риска насилия сочетайте автоматическое распознавание лиц с импровизированным человеческим суждением. это потенциально опасно.
Вместо того чтобы изолировать и обвинять отдельных работников или технологические компоненты как единственные точки отказа, необходимо уделять больше внимания отказоустойчивости во всей системе. Полностью избежать ошибок искусственного интеллекта и человеческих ошибок невозможно. Протоколы безопасности искусственного интеллекта, в которых «люди в курсе», нуждаются в более тщательных мерах защиты, которые уважают права клиентов и защищают от стереотипов.
Супермаркет, к культуре наблюдения?
Австралийский случай является показательным. В Новой Зеландии на преступления в розничной торговле отреагировали открытым технологическим наблюдением: персоналу были предоставлены нательные камеры (теперь их также использует сеть Woolworths), цифровое отслеживание передвижения покупателей по магазинам, автоматические замки тележек и выходные ворота, чтобы люди не могли уйти, не заплатив. .
Супермаркеты могут стать авангардом технологического сдвига в покупательском опыте. Ужасные изменения, ведущие к культуре наблюдения, в которой за каждым клиентом следят как за потенциальным вором. Это напоминает мне о том, как изменилась глобальная безопасность аэропортов после 11 сентября.
Задача дизайна, ориентированная на человека
Комиссар Новой Зеландии по вопросам конфиденциальности вскоре прокомментирует судебный процесс по распознаванию лиц Foodstuffs. И это высказывание, поверьте мне, я перефразирую Лоренца, представляет собой классический взмах крыльев бабочки в одной части света, который может вызвать торнадо на другом конце света.
Воровство и насилие являются актуальной проблемой, которую супермаркеты, как и другие предприятия, должны решить. Но теперь они должны продемонстрировать, что цифровые системы наблюдения являются более ответственным, этичным и эффективным решением, чем возможные альтернативные подходы. А это означает признание того, что технологии требуют дизайна, ориентированного на человека. Чтобы избежать злоупотреблений, чтобы избежать предрассудков. Святые боги, чтобы избежать повреждений.
Если эти обстоятельства не будут использованы сейчас для формирования нормативной базы и стандартов, для информирования общественности о приемлемом использовании ИИ и для поддержки разработки более безопасных автоматизированных систем, то когда? Случай Новой Зеландии — это тревожный сигнал для всех, кто разрабатывает и внедряет системы искусственного интеллекта в таких деликатных сферах, как розничная торговля. Только поставив в центр человеческий фактор со всеми его сложностями и нюансами, мы сможем разработать технологии, которые действительно улучшат наше общество, не создавая при этом новых форм дискриминации и слежки.
