Раннюю версию системы Apple CSAM эффективно обманом заставили пометить невиновное изображение после того, как разработчик реконструировал его часть. Apple, однако, заявляет, что у нее есть дополнительные средства защиты от подобных ситуаций в реальной жизни.
Последняя разработка произошла после того, как алгоритм NeuralHash был размещен на сайте разработчиков с открытым исходным кодом GitHub, что позволило любому экспериментировать с ним …
Фон
Все системы CSAM работают за счет импорта базы данных известных материалов о сексуальном насилии над детьми из таких организаций, как Национальный центр пропавших без вести и эксплуатируемых детей (NCMEC). Эта база данных предоставляется в виде хэшей или цифровых отпечатков пальцев, полученных из изображений.
В то время как большинство технологических гигантов сканируют загруженные фотографии в облаке, Apple использует алгоритм NeuralHash на iPhone клиента для генерации хэшей сохраненных фотографий, а затем сравнивает их с загруженной копией хэшей CSAM.
Вчера разработчик заявил, что провел реверс-инжиниринг алгоритма Apple, разместив код на GitHub — утверждение, которое Apple фактически подтвердила.
Обмануть систему Apple CSAM
Через несколько часов после публикации GitHib исследователям удалось использовать алгоритм для создания преднамеренного ложного срабатывания — двух совершенно разных изображений, которые генерировали одно и то же значение хеш-функции. Это называется столкновением.
Коллизии всегда представляют собой риск для таких систем, поскольку хэш, конечно, представляет собой сильно упрощенное представление изображения, но было выражено удивление, что кто-то смог сгенерировать его так быстро.
Умышленно созданная здесь коллизия — просто доказательство концепции. Разработчики не имеют доступа к базе данных хэшей CSAM, которая потребовалась бы для создания ложного срабатывания в действующей системе, но это доказывает, что коллизионные атаки в принципе относительно просты.
Apple заявляет, что у нее есть две защиты от этого
Apple фактически подтвердила, что алгоритм является основой для ее собственной системы, но сообщила материнской плате, что это не окончательная версия. Компания также заявила, что это никогда не планировалось хранить в секрете.
Apple сообщила Motherboard в электронном письме, что эта версия, проанализированная пользователями на GitHub, является общей версией, а не единственной окончательной версией, которая будет использоваться для обнаружения CSAM iCloud Photos. Apple заявила, что также обнародовала алгоритм.
«Алгоритм NeuralHash [… is] включен как часть кода подписанной операционной системы [and] исследователи безопасности могут убедиться, что он ведет себя, как описано », — говорится в одной из частей документации Apple.
Далее компания заявила, что есть два дальнейших шага: вторичная (секретная) система сопоставления, запускаемая на ее собственных серверах, и ручная проверка.
Apple также заявила, что после того, как пользователь преодолеет порог в 30 совпадений, второй закрытый алгоритм, который работает на серверах Apple, будет проверять результаты.
«Этот независимый хэш выбран, чтобы исключить маловероятную возможность того, что порог совпадения был превышен из-за не-CSAM-изображений, которые были злонамеренно нарушены, чтобы вызвать ложные совпадения NeuralHash с зашифрованной на устройстве базой данных CSAM».
Наконец, как обсуждалось ранее, существует проверка изображений человеком, чтобы подтвердить, что они являются CSAM.
По словам одного исследователя в области безопасности, единственный реальный риск заключается в том, что любой, кто хочет возиться с Apple, может завалить рецензентов ложными срабатываниями.
«Apple на самом деле разработала эту систему, поэтому хеш-функция не должна оставаться в секрете, поскольку единственное, что вы можете сделать с« не-CSAM, который хеширует как CSAM », — это раздражать группу реагирования Apple некоторыми изображениями мусора, пока они не внедрили фильтр для устранять эти ложные срабатывания мусора в их конвейере анализа », — сказал Motherboard в онлайн-чате Николас Уивер, старший научный сотрудник Международного института компьютерных наук Калифорнийского университета в Беркли.
Вы можете узнать больше о системе Apple CSAM и возникающих проблемах в нашем руководстве.
Фото: Алексей Чумак / Unsplash
