Вчерашнее объявление Apple о мерах по защите детей подтвердило более раннее сообщение о том, что компания начнет сканирование фотографий жестокого обращения с детьми на iPhone. Эта новость вызвала неоднозначную реакцию экспертов как в области кибербезопасности, так и безопасности детей.
До того, как стали известны подробности, уже были высказаны четыре опасения, и объявление Apple касалось двух из них …
Проблемы сканирования CSAM
Первоначальные опасения включали тот факт, что цифровые подписи для материалов о сексуальном насилии над детьми (CSAM) намеренно нечеткие, чтобы учесть такие вещи, как обрезка и другие настройки изображения. Это создает риск ложных срабатываний либо случайно (проблема один), либо злонамеренного действия (проблема два).
Apple обратилась к ним, объявив, что действие не будет запускаться одним совпадающим изображением. Те, кто собирает такие материалы, как правило, имеют несколько изображений, поэтому Apple заявила, что для создания отчета потребуется определенный порог. Компания не раскрыла, каков порог, но заявила, что снизила вероятность ложного срабатывания до менее одного на триллион. Лично меня это полностью удовлетворяет.
Однако остаются еще два риска.
Злоупотребление авторитарными правительствами
Цифровой отпечаток пальца может быть создан для любого типа материала, а не только для CSAM. Что может помешать авторитарному правительству добавлять в базу данных изображения плакатов политических кампаний или тому подобное?
Таким образом, инструмент, предназначенный для борьбы с серьезными преступниками, можно легко адаптировать для обнаружения тех, кто выступает против правительства или одного или нескольких его направлений.
Возможное расширение в обмен сообщениями
Если вы используете службу сквозного зашифрованного обмена сообщениями, такую как iMessage, Apple не сможет просмотреть содержимое этих сообщений. Если правительство приходит с постановлением суда, Apple может просто пожать плечами и сказать, что не знает, что было сказано.
Но если правительство добавит отпечатки пальцев для типов текста — скажем, даты, времени и места запланированного протеста — тогда оно может легко создать базу данных политических оппонентов.
Фонд Electronic Frontier Foundation (EFF) подчеркнул риск неправомерного использования, указав, что ни Apple, ни пользователи не могут проверить цифровые отпечатки пальцев. Правительство может сказать Apple, что оно содержит только хеш-коды CSAM, но у компании нет возможности это проверить.
Прямо сейчас процесс заключается в том, что Apple вручную проверяет отмеченные изображения, и только если проверка подтвердит оскорбительные материалы, компания передаст подробности правоохранительным органам. Но опять же, нет никакой гарантии, что компании будет разрешено продолжать следовать этому процессу.
Академик криптографии Мэтью Грин повторил этот момент после его предварительных твитов.
Тот, кто контролирует этот список, может искать любой контент на вашем телефоне, и у вас действительно нет никакого способа узнать, что в этом списке, потому что он невидим для вас (и просто набор непрозрачных чисел, даже если вы взломаете свой телефон, чтобы получить список.)
EFF утверждает, что это больше, чем теоретический риск:
Мы уже видели, как эта миссия реализуется. Одна из технологий, изначально созданных для сканирования и хэширования изображений сексуального насилия над детьми, была перепрофилирована для создания базы данных «террористического» контента, к которой компании могут вносить вклад и получать к ней доступ с целью запрета такого контента. База данных, управляемая Глобальным интернет-форумом по борьбе с терроризмом (GIFCT), к сожалению, не имеет внешнего надзора, несмотря на призывы гражданского общества. Таким образом, невозможно узнать, не зашла ли база данных слишком далеко, но мы знаем, что платформы регулярно помечают критически важный контент как «терроризм», включая документацию о насилии и репрессиях, контрречи, искусство и сатиру.
В Гонконге, например, критика китайского правительства приравнивается к терроризму и карается пожизненным заключением.
Проблемы со сканированием iMessage
Также были высказаны опасения по поводу того, что iPhone будет сканировать фотографии в iMessage на основе искусственного интеллекта. Это сканирование не полагается на цифровые подписи, а вместо этого пытается идентифицировать обнаженные фотографии на основе машинного обучения.
Опять же, Apple имеет встроенную защиту. Это только для подозрительных фотографий обнаженной натуры. Это влияет только на дочерние учетные записи, входящие в семейную группу. Ребенок получает предупреждение о том, что входящее сообщение может быть неприемлемым, а затем решает, просматривать его или нет. Внешний отчет не создается, только родитель уведомляется, если это необходимо.
Но снова возникает аргумент о скользкой дорожке. Все эти меры применяются прямо сейчас, но EFF спрашивает, что, если репрессивное правительство заставит Apple изменить правила?
Правительства, запрещающие гомосексуальность, могут потребовать, чтобы классификатор был обучен ограничивать очевидный контент ЛГБТК +, или авторитарный режим может потребовать, чтобы классификатор мог обнаруживать популярные сатирические изображения или листовки протеста.
Организация также утверждает, что ложные совпадения представляют здесь определенный риск.
Из многолетней документации и исследований мы знаем, что технологии машинного обучения, используемые без контроля человека, имеют привычку ошибочно классифицировать контент, в том числе якобы «сексуально откровенный» контент. Когда в 2018 году платформа для ведения блогов Tumblr установила фильтр для сексуального контента, она, как известно, уловила в сети всевозможные другие изображения, в том числе фотографии щенков померанского шпица, селфи полностью одетых людей и многое другое. Попытки Facebook пресечь наготу привели к удалению фотографий известных статуй, таких как Копенгагенская Русалочка.
Опять же, это не проблема текущей реализации Apple из-за включенных в нее мер безопасности, но создание технологии, которая может сканировать содержимое личных сообщений, имеет огромный потенциал для злоупотреблений в будущем.
EFF также подчеркивает проблему, поднятую некоторыми экспертами по защите детей: родитель или законный опекун не всегда является безопасным человеком, с которым можно поделиться личными сообщениями ребенка.
Эта система предоставит родителям, которые не заботятся об интересах своих детей, еще один способ контролировать и контролировать их.
Некоторые из обсуждений подчеркивают, что Apple пытается пройти по хитрому канату. Например, одна из защитных мер заключается в том, что родители не получают оповещения автоматически: сначала предупреждается ребенок, а затем ему предоставляется выбор: просматривать или отправлять изображение. Если они этого не сделают, предупреждение не будет создано. Дэвид Тиль был одним из многих, кто указал на очевидный недостаток:
Наконец, кажется очевидным, что, когда вы сталкиваетесь с диалоговым окном, в котором говорится: «Мы собираемся рассказать вашим родителям», разговор немедленно переходит на другую платформу, потенциально Facetime, где все эти механизмы бесполезны. 14 /
— Дэвид Тиль (@elegant_wallaby) 6 августа 2021 г.
Меры Apple по защите детей не могут понравиться всем
Все здесь поддерживают намерения Apple, и лично меня полностью устраивает пороговая защита от ложных срабатываний. Другие меры безопасности Apple также продуманы и должны быть эффективными. Компания заслуживает похвалы за попытку осторожного решения серьезной проблемы.
В то же время риски скользкого спуска вполне реальны. Правительство — даже относительно доброжелательное — очень распространено — отказываться от миссии. Сначала он вводит закон, против которого никто не может разумно возражать, а затем расширяет сферу его применения, иногда в стиле салями, по кусочкам за раз. Это особенно опасно при авторитарных режимах.
И наоборот, вы можете возразить, что, сделав эту систему общедоступной, Apple просто пошла навстречу. Теперь любой, у кого есть CSAM на своем iPhone, знает, что им следует выключить iCloud, а злоумышленники знают, что если они хотят отправлять обнаженные фотографии детям, им не следует использовать iMessage. Таким образом, вы можете возразить, что Apple вообще не должна этого делать, или возразите, что она должна была это сделать, никому не сообщая.
Реальность такова, что здесь нет идеального решения, и каждая позиция, которую может занять Apple, имеет как преимущества, так и риски.
Вчера, еще до того, как стали известны все подробности, подавляющее большинство из вас выступило против этого шага. Каково ваше положение сейчас, когда детали — и меры защиты — известны? Пожалуйста, еще раз примите участие в нашем опросе и поделитесь своими мыслями в комментариях.
Фото: Дэвид Уоткис / Unsplash
