Алгоритмы черного ящика Apple Watch ненадежны для медицинских исследований [u]

article thumbnail

Использование Apple алгоритмов для анализа данных может стать проблемой для медицинских исследований после того, как профессор Гарварда обнаружил несоответствия в данных с одного Apple Watch, доступ к которому осуществлялся в разное время.

Одно из преимуществ мобильных устройств и носимых устройств, таких как Apple Watch, заключается в том, что в программное обеспечение можно вносить улучшения. В медицинских исследованиях это не обязательно хорошо, и одно исследование побудило пересмотреть свою методологию.

По словам Дж.П. Оннела, доцента биостатистики Гарвардской школы общественного здравоохранения Т.Х. Чана, эти изменения могут привести к несогласованности в сборе данных. Это может быть даже в случае анализа одних и тех же данных, но в разные моменты времени.

В то время как Оннела обычно предпочитает использовать устройства исследовательского уровня для сбора данных для исследований, The Verge сообщает, что сотрудничество с отделением нейрохирургии в Бригаме и женской больнице привело к изучению потребительского оборудования. В частности, команда исследования хотела проверить, насколько могут отличаться результаты от коммерческих продуктов, таких как Apple Watch, с точки зрения точности.

Были собраны два набора одних и тех же ежедневных данных вариабельности сердечного ритма, собранные с одного Apple Watch, за один и тот же период с декабря 2018 года по сентябрь 2020 года. Хотя наборы были собраны 5 сентября 2020 года и 15 апреля 2021 года, данные должны иметь были идентичны, поскольку имели дело с одинаковыми таймфреймами, но различия были обнаружены.

Считается, что изменения, внесенные Apple в алгоритмы, используемые в Apple Watch, изменили способ интерпретации данных перед сбором.

«Эти алгоритмы — это то, что мы назвали бы черными ящиками — они непрозрачны. Поэтому невозможно узнать, что в них содержится», — сказал Оннела. «Что было удивительно, так это то, насколько они разные. Это, наверное, самый ясный пример этого явления, который я когда-либо видел».

Эти изменения беспокоят научных исследователей, которые хотят, чтобы в том, как устройства сообщают или записывают одни и те же наборы данных, были минимальные изменения или отклонения. Небольшие изменения могут не быть проблемой для обычных пользователей, но для исследователей, которым требуется согласованность, оннела говорит, что «это проблема».

Полученные данные заставили команду отказаться от использования потребительского оборудования и вернуться к устройствам медицинского класса. Оннела предлагает использовать Apple Watch и другие носимые устройства только в том случае, если доступны необработанные данные или если исследователи могут быть проинформированы о том, когда происходят изменения в алгоритме.

Apple Watch и другое оборудование Apple использовалось для медицинских исследований в прошлом, а иногда и в качестве основного устройства. В апреле Apple в партнерстве с Вашингтонским университетом изучила, как Apple Watch можно использовать для прогнозирования таких заболеваний, как грипп или коронавирус.

Стэнфордский университет также изучил возможность использования iPhone и Apple Watch для удаленной оценки слабости пациента, страдающего сердечным заболеванием, в исследовании, финансируемом Apple. Исследователи обнаружили небольшое снижение точности домашних тестов по сравнению с клиническими версиями, хотя это было связано с «внеклинической изменчивостью», а не с датчиками Apple.

Обновление: Apple позже сообщила The Verge, что изменения алгоритма не применяются к прошлым данным задним числом. У компании не было объяснений расхождения, обнаруженного Onnela, но предполагаемые проблемы могут возникнуть при использовании сторонних приложений для экспорта данных.

Соцсети