Apple научила Vision Pro управлять инвалидными колясками

В преддверии Всемирного дня осведомлённости о доступности, который ежегодно отмечается 21 мая, компания Apple представила значительное обновление своих операционных систем, акцентировав внимание на специальных возможностях. Основным технологическим достижением стало внедрение интеллектуальных алгоритмов в устройства смешанной реальности и мобильные гаджеты. Генеральный директор Apple Тим Кук отметил, что интеграция платформы искусственного интеллекта Apple Intelligence позволила вывести инклюзивные функции на новый уровень, при этом сохраняя высокие стандарты конфиденциальности пользовательских данных.

Одним из ключевых нововведений стала система управления моторизованными инвалидными колясками с помощью пространственного компьютера Apple Vision Pro. Эта функция использует встроенную систему точного отслеживания взгляда, предлагая отзывчивый метод ввода для совместимых альтернативных систем привода. Технология стабильно функционирует в различных условиях освещения и не требует частой повторной калибровки. Она совместима с приводными комплексами и поддерживает подключение как через беспроводной протокол Bluetooth, так и через проводные аксессуары. Пэт Долан, основатель организации GeoALS, борющейся с боковым амиотрофическим склерозом, отметил, что возможность самостоятельно управлять креслом имеет огромную ценность.

Значительные изменения коснулись и традиционных функций доступности для незрячих и слабовидящих пользователей. Встроенный экранный доступ VoiceOver теперь использует нейросети для создания детальных текстовых описаний любых изображений в системе. Это касается как фотографий без сопроводительного текста, так и отсканированных документов, счетов или личных записей. В режиме распознавания в реальном времени пользователь может удерживать кнопку действия на корпусе iPhone, навести камеру на объект и задавать уточняющие вопросы голосом, получая подробные ответы.

Искусственный интеллект также интегрирован в приложение «Лупа», которое помогает людям с низким зрением. Пользователи могут управлять интерфейсом с помощью простых голосовых команд, таких как «приблизь изображение» или «включи фонарик». Голосовое управление стало более естественным, позволяя пользователям не запоминать точные названия кнопок или номера элементов на экране. Чтобы взаимодействовать с интерфейсом, достаточно произнести команды вроде «нажми на путеводитель по лучшим ресторанам» или «открой фиолетовую папку».

Для работы со сложными текстами, такими как научные статьи с таблицами и графиками, обновлён инструмент «Доступное чтение». Нейросеть может мгновенно создать краткую аннотацию сложного материала, чтобы читатель мог быстро ознакомиться с его сутью. Кроме того, инструмент получил функцию перевода на родной язык пользователя с сохранением оригинального форматирования, шрифтов и цветовой палитры документа.

В завершение, инженеры обновили систему генерации субтитров. В отличие от стандартных алгоритмов видеохостингов, новая функция создаёт автоматические текстовые расшифровки для личных видеороликов и медиафайлов из семейного архива. Процесс распознавания речи и наложения текста происходит локально на устройстве, обеспечивая безопасность данных. Функция автоматического создания субтитров будет встроена в новые версии операционных систем для смартфонов, планшетов, компьютеров, телевизионных приставок и гарнитур Apple.

Источник