Два академика из Принстонского университета утверждают, что они точно знают, что система Apple CSAM опасна, потому что они построили такую же.
Они говорят, что система, которую они прототипировали, работала точно так же, как и подход Apple, но они быстро обнаружили вопиющую проблему …
Это тот же риск, на который указывают многие: репрессивное правительство может заставить Apple использовать базу данных политических изображений.
Доцент Джонатан Майер и аспирант Анунай Кулшреста пишут в Washington Post, что у них были те же самые благие намерения, что и у Apple:
Наш исследовательский проект начался два года назад как экспериментальная система для идентификации CSAM в онлайн-сервисах с сквозным шифрованием. Как исследователи в области безопасности, мы знаем ценность сквозного шифрования, которое защищает данные от доступа третьих лиц. Но мы также в ужасе от того, что CSAM распространяется на зашифрованных платформах. И мы обеспокоены тем, что онлайн-сервисы неохотно используют шифрование без дополнительных инструментов для борьбы с CSAM.
Мы стремились изучить возможную золотую середину, где онлайн-сервисы могли бы выявлять вредоносный контент, сохраняя при этом сквозное шифрование. Идея проста: если кто-то поделится материалом, который соответствует базе данных известного вредоносного контента, служба получит уведомление. Если человек поделится невинным контентом, служба ничего не узнает. Люди не могли прочитать базу данных или узнать, соответствует ли контент, поскольку эта информация может раскрыть методы правоохранительных органов и помочь преступникам избежать обнаружения.
Они добрались до рабочего прототипа, прежде чем остановить проект.
После множества фальстартов мы построили рабочий прототип. Но мы столкнулись с вопиющей проблемой.
Нашу систему можно легко перепрофилировать для слежки и цензуры. Дизайн не ограничивался определенной категорией контента; служба может просто поменять местами любую базу данных сопоставления контента, и человек, использующий эту службу, не станет мудрее.
Иностранное правительство могло бы, например, принудить службу к людям, выступающим с неблаговидными политическими высказываниями. Это не гипотетически: WeChat, популярное китайское приложение для обмена сообщениями, уже использует сопоставление контента для выявления диссидентских материалов. В этом году Индия ввела в действие правила, которые могут потребовать предварительной проверки материалов, критикующих политику правительства. Россия недавно оштрафовала Google, Facebook и Twitter за то, что они не удалили продемократические протестные материалы.
Пара говорит, что они озадачены решением Apple развернуть это, не имея возможности должным образом устранить риски, которые они подняли.
Мы были настолько встревожены, что сделали шаг, которого раньше не видели в литературе по информатике: мы предостерегли от разработки собственной системы и призвали к дальнейшим исследованиям того, как смягчить серьезные недостатки. Мы планировали обсудить дальнейшие пути на академической конференции в этом месяце.
Такого диалога не было. За неделю до нашей презентации Apple объявила, что развернет свою почти идентичную систему на iCloud Photos, которая существует на более чем 1,5 миллиардах устройств. Мотивация Apple, как и наша, заключалась в защите детей. И его система была технически более эффективной и способной, чем наша. Но мы были сбиты с толку, увидев, что у Apple было мало ответов на возникшие у нас сложные вопросы.
Apple заявляет, что не допустит такого неправильного использования, но, как я уже говорил ранее, у нее не обязательно будет какой-либо выбор. Правительство может юридически обязать компанию сделать это, и даже в США правительство имеет право запретить Apple раскрывать информацию о том, что она соблюдает такой приказ.
Другие утверждают, что это уже возможно. Правительства уже могут заставить Apple делать все, что им заблагорассудится, и издать судебные приказы, запрещающие ей раскрывать то, что она делает, включая передачу полного доступа к данным iCloud.
Однако конкретный риск, который я здесь вижу, заключается в том, что правительства теперь знают, что Apple имеет эту возможность сканирования на устройстве, и могут видеть, насколько тривиально легко было бы адаптировать ее для своих целей.
