Как пользоваться I Have A Voice

Два способа общаться

I Have A Voice поддерживает два режима. Большинство семей начинают с режима с помощником; отслеживание взгляда подходит, когда человек сам может управлять приложением.

Режим помощника в деталях

На бумаге режим помощника кажется медленным, на практике он глубоко эффективен. Два вопроса повторяются в устойчивом ритме.

1. Найдите нужный экран клавиатуры

Спросите: "Буква на этом экране?" Дождитесь согласованного сигнала. Если сигнала нет, коснитесь, чтобы перейти к следующему экрану клавиатуры, и спросите снова. У клавиатуры пять экранов, охватывающих все буквы - возможно, придётся пролистать несколько.

2. Найдите нужную букву

Когда у вас правильный экран, спрашивайте каждую букву по очереди: "Это А?" - ждите - "Это Б?" - ждите - пока не получите сигнал. Затем коснитесь этой буквы.

3. Составьте предложение

Повторяйте букву за буквой, слово за словом. Neural Model предлагает слово после нескольких букв - спросите, оно ли это, и коснитесь Accept, если да. Принятие подсказок - это то, что со временем обучает приложение голосу человека. Когда предложение готово, коснитесь Speak, чтобы устройство прочитало его вслух.

Несколько вещей, которые помогают

Договоритесь о сигнале до начала - моргание, взгляд вверх, осознанный вдох, что угодно, что вы оба можете повторить. Ритм важнее скорости. Делайте паузы; общаться так - реальный физический труд.

Совместимые устройства

Отслеживание взгляда использует камеру Apple TrueDepth - то же оборудование, что и Face ID. Режим с помощью опекуна работает на любом iPhone и iPad; TrueDepth требуется только для отслеживания взгляда.

Требуется iOS или iPadOS 17.6 либо новее. Также можно установить на Mac с Apple Silicon (M1 или новее) как приложение для iPad - отслеживание взгляда недоступно на Mac.

Настройка отслеживания взгляда

Положение - самый важный отдельный фактор того, работает ли отслеживание взгляда плавно. Сделайте это правильно, и остальное последует.

Ориентация не имеет значения

Устройство может стоять вертикально, горизонтально или под любым углом между ними - как подходит к положению человека. Если оно закреплено боком или под углом, включите блокировку поворота iOS (смахните вниз из правого верхнего угла, чтобы открыть Пункт управления, затем коснитесь иконки замка со стрелкой), чтобы экран не переворачивался, когда подставка или кронштейн смещаются.

Сначала попробуйте сами

Прежде чем настраивать устройство для человека, который будет им пользоваться, проведите несколько минут, используя приложение самостоятельно. Пройдитесь по отслеживанию взгляда, попробуйте калибровку, отправьте пару букв жестом рта. Знание из первых рук того, как ощущается приложение, гораздо облегчает объяснение происходящего и определение, что нужно настроить, когда вы делаете это для них.

Как работает отслеживание взгляда

Глаза ведут, шаг за шагом

Движение глаз при отслеживании должно быть намеренным, не тонким - чёткий взгляд влево и обратно в центр, чёткий взгляд вверх и обратно. Один намеренный взгляд сдвигает выделение на один шаг. Вы не смотрите пристально на целевую букву, вы ведёте курсор к ней. Точность не важна; намеренное движение важно. Поскольку смотреть прямо вниз для многих физически трудно, моргание может заменить взгляд вниз.

Подтверждение выбора

Откройте рот или высуньте язык

Когда выделение находится на нужной кнопке, откройте рот или высуньте язык. Приложение читает это как выбор. Взгляды сдвигают + жест рта выбирает - это полный цикл ввода.

Две самые важные кнопки

Большая часть клавиатуры - буквы, но две не-буквенные кнопки делают настоящую работу общения.

Приложение учится тому, кто вы

Принятие предложенных слов и нажатие Speak учит Neural Model голосу человека - его словам, фразам, манере выражаться. Это работает одинаково в режиме помощника и при отслеживании взгляда. Чем больше приложение используется, тем точнее предсказания и тем меньше букв нужно. Каждая принятая подсказка и каждое произнесённое предложение делают следующее легче.

Всё готово

Всё настроено

Подстройте чувствительность в любой момент в Options > Eye Tracking. Если что-то не так, это первое место, куда смотреть.

Настройки отслеживания взгляда

У отслеживания взгляда есть отдельный экран настроек в Options > Eye Tracking. Три вещи, которые нужно знать: как включить, как откалибровать и три значения, которые можно настроить.

Включение

Отслеживание взгляда неактивно при первом открытии приложения. Коснитесь серой кнопки "TRACKING OFF", чтобы включить его. Кнопка Calibrate ниже позволяет настроить диапазон отслеживания под движение глаз человека.

Чувствительность и время

Три значения позволяют адаптировать приложение к человеку, который им пользуется: чувствительность глаз, чувствительность рта и длительность cooldown. Каждое можно настроить кнопками Decrease и Increase. Начните со значений по умолчанию и подстройте на основе того, что видите в реальном использовании.

Чувствительность глаз (0.1 - 1.0)

Насколько сильно взгляд сдвигает выделение. Более высокие значения реагируют на меньшие движения глаз; меньшие требуют большего, более намеренного взгляда. Если курсор кажется дёрганым или срабатывает случайно, уменьшите. Если человеку приходится сильно смотреть, чтобы сдвинуть выделение, увеличьте. 0.7-0.8 - хорошая отправная точка для большинства людей.

Чувствительность рта (0.1 - 1.0)

Насколько легко распознаётся жест открытия рта или высовывания языка. Выше - значит маленькое движение считается выбором; ниже требует более намеренного, удерживаемого жеста. Если выборы срабатывают случайно (зевок, разговор, глотание), уменьшите. Если жест приходится держать слишком долго, увеличьте. 0.6-0.7 - разумная отправная точка.

Длительность cooldown (0.1 - 2.0 секунды)

Пауза между последовательными выборами. Действует как защита от двойных нажатий. Больший cooldown означает больше паузы между буквами и меньше случайных дублирований; меньший cooldown позволяет быстрее составлять, но рискует дублированиями. 0.5 секунды - сбалансированное значение по умолчанию.

Ручная калибровка

Движение глаз не одинаково во всех направлениях. Многие могут легко смотреть влево и вправо, но им трудно смотреть вниз; у некоторых сильнее движение в одну сторону; некоторые могут открыть рот лишь немного. Ручная калибровка позволяет задать пять индивидуальных порогов - влево, вправо, вверх, вниз и открытие рта - чтобы каждое направление было настроено под то, что человек реально может сделать. Найдите её в Options > Eye Tracking > Calibration > Manual Calibration.

Как это читать

Каждый порог - это "насколько далеко в этом направлении глаз (или рот) должен двинуться, прежде чем жест будет зарегистрирован." Меньшие числа означают, что срабатывают меньшие, более лёгкие движения. Большие числа требуют более намеренного движения. Подзаголовок экрана говорит ясно: "Насколько далеко смотреть, прежде чем направление сработает. Меньше - легче."

Влево и вправо

Look Left Threshold и Look Right Threshold (по умолчанию 0.30 каждый). Понизьте их для человека с ограниченным горизонтальным диапазоном глаз - он может быть не в состоянии посмотреть так далеко, как ожидает значение по умолчанию. Если одна сторона двигается легче другой (часто после инсульта), задайте их асимметрично: например, 0.20 на более трудной стороне, 0.30 на более лёгкой.

Вверх, вниз и рот

Look Up Threshold (по умолчанию 0.25), Look Down Threshold (по умолчанию 0.20), Open Mouth Threshold (по умолчанию 0.30). Down установлен ниже по умолчанию, потому что смотреть вниз физически труднее для большинства людей. Если смотреть вниз невозможно, поставьте очень низко - или опирайтесь на моргание как замену (согласно указаниям отслеживания взгляда выше). Open Mouth Threshold задаёт, насколько широко нужно открыть рот, чтобы это считалось выбором - ниже для человека с ограниченным движением челюсти.

Советы по настройке

Настраивайте по одному порогу за раз и тестируйте минуту или две, прежде чем менять следующий. Если направление срабатывает случайно (человек слегка смотрит в ту сторону непроизвольно), повысьте его порог. Если направление не срабатывает даже при чётком, намеренном взгляде, понизьте его. Цель - наименьший порог, который не срабатывает случайно.

Речь и голос

В Options > Speech можно настроить, насколько быстро устройство говорит и какой голос использует. Оба важны для того, чтобы человек чувствовал, что произносимая речь - его.

Скорость речи

Speech Speed (по умолчанию 1.0x) управляет тем, насколько быстро устройство читает составленные предложения вслух. Меньшие скорости (0.6-0.9x) легче следить в разговоре, особенно помощникам, которые ловят предложение на слух. Большие скорости (1.1-1.5x) подходят беглым пользователям, которые хотят быстрый обмен. Настраивается кнопками Decrease и Increase.

Голос

Два уровня голосов. Pro voices - премиум-голоса Google - более естественная интонация, более плавное фразирование - и требуют интернет-соединения. Offline voices - встроенные голоса iOS, более низкого качества, но всегда доступны. Оба бывают в мужской и женской версии там, где язык это поддерживает.

Онлайн против офлайн

При подключении к интернету автоматически используется Pro-голос. Офлайн приложение переключается на встроенный iOS-голос того же рода, поэтому речь продолжает работать даже без сигнала. У некоторых языков нет обоих родов голоса, доступных на каждом устройстве - приложение использует то, что установлено.

Подсказки слов

В Options > Text Suggestions вы выбираете, как работает предсказание слов. Три режима плюс возможность сбросить выученный профиль.

Intelligent

Персонализированные подсказки из собственного профиля человека. Neural Model строится со временем из принятых подсказок и произнесённых предложений. Это рекомендуемый режим - именно он делает так, что приложение звучит как собственный голос человека, а не общий словарь.

Simple

Общие подсказки без использования профиля. Полезно, когда человек предпочитает нейтральные, распространённые предсказания и не хочет, чтобы приложение училось от него. Также хороший запасной вариант, если персонализированная модель ушла в неожиданном направлении.

Off

Подсказки слов вообще не показываются. Каждую букву нужно набирать. Полезно для пользователей, которым подсказки мешают, или которые предпочитают дисциплину полного посимвольного набора.

Reset learning

Очищает все персонализированные подсказки, которые Neural Model выстроил из прежних сеансов на устройстве. Это необратимо - выученный профиль стирается и строится с нуля. Используйте, если модель подхватила шаблоны, которые вы предпочли бы не сохранять (устройством пользовался другой человек, словарь ранних экспериментов и т. п.) или когда передаёте устройство новому пользователю.

Нужна помощь?

Используйте форму обратной связи ниже, чтобы связаться с нами. Также можно использовать форму внутри приложения в About > Contact Us. Тестировщики Beta могут писать на beta@ihaveavoice.app - мы читаем всё.

Перейти к форме контакта