Клиентское приложение FaceTime Navi добавляет субтитры и живые переводы через SharePlay

Когда Apple выпустила macOS 12.1 с поддержкой SharePlay, разработчик Джорди Брюин только что запустил Navi, универсальное приложение, которое помогает людям с нарушением слуха и другими ограниченными возможностями легко участвовать в звонках FaceTime, используя субтитры и живые переводы.

Брюин, который недавно создал Cibo, приложение для iOS, которое помогает сканировать и переводить меню ресторанов, когда вы путешествуете за границу, рассказывает , как он создал Navi:

В апреле я участвовал в хакатоне и поигрался с API mixToTelephonyUplink, чтобы позволить людям отключать звук во время телефонных звонков с помощью преобразования текста в речь (…) Во время WWDC я наблюдал за сеансом SharePlay и начал придумывать способы, чтобы снова воплотить идею транскрипции в реальность.

С помощью Navi клиент FaceTime помогает пользователям:

Мгновенное добавление субтитров для вызовов FaceTime Переводите входящие субтитры в реальном времени на более чем 20 языков.Повышение опыта построено специально на основе изображения в картинке. В macOS субтитры накладываются непосредственно на окно видео.

Вот 20 языков, доступных для перевода: польский, турецкий, тайский, украинский, немецкий (Австрия), французский (Швейцария, Франция и Канада), финский, вьетнамский, итальянский, шведский, немецкий, японский, португальский (Бразилия и Португалия). , Испанский (Мексика и Испания), норвежский, датский, хорватский, китайский (традиционный и упрощенный), голландский и английский (Канада, Южная Африка, Филиппины и Великобритания) и арабский (Саудовская Аравия).

Хотя Брюин создал это приложение, чтобы помочь людям с нарушением слуха и другими ограниченными возможностями, которые мешают им легко участвовать в видеозвонках, приложение также полезно для людей, которые не говорят на одном языке, но все же нуждаются в общении в режиме реального времени. беседа:

SharePlay добавляет очень простой API для разработчиков для передачи информации между людьми при вызове FaceTime, все в зашифрованном виде и с очень низкой задержкой. (…)! У меня было более 500 человек, участвовавших в TestFlight, но, поскольку тестирование потребовало, чтобы я позвонил всем им, мне пришлось искать лучшие способы, поэтому в конце концов мне пришлось сам пользоваться FaceTime с разных устройств. (…) И я все еще поражаюсь временами, когда использую функцию живого перевода и могу поговорить с кем-то, на языке которого я не говорю. Иногда это действительно похоже на научно-фантастический фильм.

Помня об этих двух сообществах, разработчик по-прежнему хочет продолжать улучшать Navi для людей с нарушением слуха и другими ограниченными возможностями, поскольку Navi только что запущен:

«Я получил ответ от некоторых слабослышащих пользователей TestFlight, что это уже очень полезно, поэтому прежде всего я хочу услышать от них, есть ли что-нибудь, что я могу добавить, чтобы приложение лучше работало для их конкретных нужд».

Чтобы использовать Navi, просто начните вызов FaceTime, откройте Navi, нажмите кнопку «Включить субтитры», чтобы пригласить других людей, участвующих в вызове FaceTime, в Navi, а затем им просто нужно принять приглашение SharePlay.

Navi можно бесплатно загрузить в App Store здесь. Пользователи могут разблокировать возможность использовать субтитры во всех своих звонках за единовременный платеж в размере 6,99 долларов США.

Чтобы включить функцию Live Translation, пользователи могут приобрести пакеты Translate Tokens, которые используются для перевода входящих субтитров, с более дешевым вариантом — 26,99 долларов США за 250 000 токенов.