Креативное агентство The Family поделилось с AD мнением о перспективах естественных пользовательских интерфейсах.
Одной из основных функций мозга является составление прогнозов на основе прошлого опыта, поэтому, в большинстве своем, новые технологии используются для решения тех же задач, что и старые. С их развитием появляется все больше возможностей для улучшения процесса взаимодействия между человеком и программой.
Понятие естественных пользовательских интерфейсов (Natural User Interface или NUI) появилось достаточно давно, но по-настоящему о них заговорили с появлением и популяризацией touch-девайсов, touch-поверхностей, а также устройств, использующих распознавание жестов, лиц и речи.
Наиболее распространенные из таких:
Kinect. Определяет до шести человек в пространстве и 25 суставов каждого из них; распознает лица, эмоции, пульс. Аудиосистема в последней модели теперь может определить двух одновременно говорящих людей и распознать два потока речи.
Leap Motion. Отслеживает движение пальцев и рук, карандашей и ручек с большой точностью на близком расстоянии.
Intel RealSense. Эта камера по диапазону действия что-то среднее между Leapmotion и Kinect. Определяет лица, эмоции, тречит зрачки, отслеживает руки. В конце этого года появятся планшеты, в которые она интегрирована, как фронтально, так и бэк.
Все эти устройства предназначены для упрощения взаимодействия, стирания границ между цифровым и физическим пространством. То, что совсем недавно существовало лишь в научно-фантастических книгах, сейчас входит в нашу жизнь, предопределяя коммуникации будущего. О естественных интерфейсах
(NUI) и пойдет речь.
Прежде всего понятие естественного интерфейса относится к процессу взаимодействия пользователя с системой, насколько оно комфортно и понятно. Управление должно быть одинаково простым, интуитивным, как для опытного пользователя системы, так и для новичка.
Чтобы все это не звучало абстрактно представьте себе идеальную модель «умного дома», пусть даже в самом простом варианте: зашли в комнату — включился свет, поднесли руки — открылся кран с водой, компьютер узнал вас и поприветствовал по имени. Все это хороший пример NUI — управление происходит без «прослоек»-контроллеров (когда, например, для того, чтобы просто включить лампочку нужно запускать приложение на планшете, который еще и под рукой нужно держать). Или вот неплохой пример управления системами в салоне автомобиля (несмотря на визуально перенасыщенный интерфейс):
Основные принципы NUI
- Быстрое погружение. Прикладывая минимальное количество усилий и времени человек сам овладевает системой. Отсюда не следует, правда, что обучения вообще не должно быть, но оно должно быть минимальным и без посторонней помощи. Важно понимать, что мы говорим именно про интерфейс, естественный интерфейс может быть и у промышленного робота и у баллистической ракеты и у шахмат, но овладение им в данных контекстах не сделает вас опытным пользователем с точки зрения системы. Недостаточно понять базовые элементы и правила их комбинирования, нужно изучить их идиоматическое использование.
- Легкое управление — компьютер должен приспосабливаться к пользователю, а не наоборот. Человек через некоторое время перестает «думать» о том, что ему надо сделать, чтобы произошло нужное действие.
- Впечатление (игровой момент) — эффект новизны пользовательского опыта. Как следствие — положительные эмоции от самой системы. Со временем и частотой использования это, конечно, будет сходить на нет.
Тест Тьюринга
Немного в измененной форме к данным системам применим Тест Тьюринга: наиболее естественным интерфейсом будет тот, который все — и новички и опытные пользователи — сочтут наиболее удобным по сравнению с остальными.
Барьеры в проектировании
Ничто так не обманчиво, как слишком очевидные вещи. Поэтому, важно помнить, что есть взаимодействия, которые легко получаются у одних и совсем не получаются у других. Интуиция — опасная штука. Причина может быть разной, от банальных физиологических отличий (например, разный рост) до сложных когнитивных.
Разработчикам бывает сложно оценить адекватность системы, так как они хорошо погружены в технологии и делают многие вещи на автомате, что нельзя сказать про обычных пользователей, поэтому многократное пользовательское тестирование с разнообразными группами пользователей является обязательным в работе над NUI (это касается не только роста или возраста, опыта использования, но и, например, одежды и прически человека). Система должна работать одинаково, либо корректировать свое поведение.
Однако есть все же и некоторые минимальные требования — например, для управления жестами вам необходимо иметь хотя бы одну конечность.
Существует много проблем, которые нужно иметь ввиду при проектировании данных систем. Самые главные из них:
- Fat fingers, big hands. Людям сложно попадать в маленькие области. Не следует перенимать опыт работы с мышкой, которая фактически является просто пикселем-прицелом и попадание в небольшие области не составляет труда. Рука, свободно перемещаемая в пространстве — это очень неточный манипулятор.
- Live mic problem. Проблема систем распознавания жестов, лиц и голоса — анализ происходит в течении всего времени работы приложения. Все эти процессы непрерывны и могут вызвать большое количество ошибок. Тут возникают два вида неточностей: false positive — это определение системой жеста (лица или голосовой команды), когда его не было, и false negative — неопределение жеста, когда пользователь его инициировал. Также возможно просто неправильное распознавание или случайное срабатывание. В этом смысле touch-системы проще контролировать, так как в основном все их жесты дискретны — имеют фазы начала и конца.
Nintendo Power Glove
Бывают и более глобальные проблемы, например, неготовность рынка к технологии. Переместимся на 25 лет назад и посмотрим на интересную штуковину. Одной из первых попыток сделать что-то «естественное» в игровой индустрии была Nintendo Power Glove.
Перчатка была представлена миру в 1989 году и давала игроку несколько степеней свободы: девайс определял повороты руки и каждого пальца. Разработчики обещали пользователю новую эру взаимодействия в играх, вот-вот должен был открыться новый дивный мир, но данная инновация катастрофически провалилась.
А потом проходит четверть века и представленный в 2005 Nintendo Wiimote контроллер, который работает по такому же принципу, имеет огромный успех! Почему в 1989 году это не вызывало такого wow-эффекта?
Основное отличие Wii в том, что это новая платформа и все игры, весь дизайн и сценарии взаимодействия были разработаны в соответствии с этой платформой, в то время как перчатка была попыткой управлять уже существующими играми Nintendo. Игры того времени не были разработаны для управления жестами.
Это была не ошибка технологии, а ошибка того, как технология применялась. Просто подсоединить данную абстракцию к контроллеру Nintendo (Up, Down, Left, Right, B, A, Select и Start) оказалось малоинтересным и даже скучным. Возможно, если бы разработчики попробовали сделать игру, механика которой соответствует управлению жестами, то потребительская реакция была бы другой. Вопрос о том что можно сделать с помощью перчатки, но не нельзя с помощью клавиатуры, мышки или стандартного джойстика на то время имел ответ — ничего! Гаджет не привносил новую функциональность в процесс, а давал лишь еще один способ взаимодействия.
Забавно, но эта перчатка намного популярнее сейчас, когда технологии «догнали» ее. Вот, например, успешный проект на Kickstarter —
документальный фильм об истории Power Glove.
А вот история про то, как аниматор из «Робоцыпа» приспособил перчатку для своих нужд stop-motion анимации:
Ошибки при разработке NUI
Наиболее радикальное возможное решение при создании программ — вообще не создавать их.
— Ф. Брукс
Ошибки совершаются, часто совершаются. Рассмотрим наиболее типичные:
- Копирование или адаптация принципов GUI — что-то из неприемлемого. Нужно понимать, что это два совершенно разных типа взаимодействия. GUI может быть частью NUI, но строится он должен по правилам последнего, а не наоборот.
- Неуместный механизм взаимодействия, несоответствие возможностей пользователя в данный момент к решаемой задаче. Например, ввод контактной информации жестами. Или представьте себе автомобиль с голосовым управлением движения («прямо», «тормози» и тому подобное). Это утрированные примеры, достаточно просто придумать неудобный жест, который испортит все впечатление от использования.
- Чрезмерное количество жестов и контролов, которые просто невозможно запомнить и использовать. Как следствие: пользователь начинает путаться и обвинять себя в неспособности управлять такими интерфейсами.
- Непонимание ограничений устройства. Область действия, скорость определения и трекинга, ситуации, которые могут привести к плохому, нестабильному распознаванию.
- Cложные действия, от которых пользователь попросту устает и теряет интерес к системе. Нужно понимать, что долго стоять и махать руками перед экраном — это для многих серьезное физическое упражнение и это далеко не тоже самое, что двигать маленький кусок пластмассы по столу.
Best practices
Количество разнообразных устройств и датчиков с каждым годом увеличивается. Стандарт здесь выработать еще сложнее, чем в привычных нам «экранных» интерфейсах, потому что технологии концептуально отличаются по физическому взаимодействию. «Догадается ли пользователь?» — хороший вопрос при проектирования системы, но этого мало. Смотрим:
- Читайте guidelines. Многие препятствия уже были преодолены за вас, изучите сначала готовый опыт, разработчики устройств разбираются в нем намного лучше и работа по улучшению коммуникаций ведется постоянно. Тот самый случай, когда инструкцию нужно читать до.
- Обращайте внимание на специфику девайса. У многих уже найдены удобные решения. Например, магнитные кнопки у Kinect, которые помогают в прицеливании, притягивая руку-курсор.
- Еще пример: специальные меню для Leapmotion. Область активируется удержанием пальца рядом с пунктом меню, либо жестом swipe из центра. Такие взаимодействия уменьшают вероятность случайных срабатываний.
- Пользователь должен получать постоянный feedback от системы (прелоадеры, оповещения, визуальные индикаторы, визуализация контакта, прогресс жеста, hovers, звук), иначе может возникнуть ощущение, что система зависла.
- Правильные метафоры для жестов. Держите в голове то, что руки движутся по дугам, а не по прямым линиям, поэтому, совсем не обязательно, что при изменении Z-координаты руки пользователь собирается сделать какой-то жест. Это необходимо отслеживать.
- Правильные метафоры для анимаций. Кроме эстетической роли, анимации должны служить помощниками в понимании системы. Хороший пример таких правил: material design от google. Система должна представлять единый организм.
- Если вы предложите двум людям изобразить управление машиной, то они изобразят это по разному, но если вы покажете руль, то это вряд ли произойдет. Используйте наводки, мини анимации, дайте намек как использовать тот или иной элемент управления. Например: плашка, «приподнимающаяся» при наведении, дает понять пользователю, что для ее использования необходимо потянуть руку на себя.
- Обработка ошибок, нестандартного поведения пользователя может оказаться сравнимой с разработкой всей функциональности.
- Из предыдущего вытекает — избегайте похожих жестов, не создавайте почву для небрежности
- Некоторые действия могут быть одинаково естественны для разных устройств. Zoom, swipe для touch, Kinect и Leap одинаково естественно делать пальцами и рукой и в воздухе и на поверхности.
- Блокируйте любые элементы управления как только началось взаимодействие с каким-либо элементом.
- RITE — rapide interactive testing and evaluating. Вводите улучшения циклами, а не в самом конце, когда выяснится, что придется менять почти все. Проверяйте несколько метафор взаимодействия.
- Устройства пока что несовершенны, при потере активного пользователя (если это важно), нужно подождать несколько секунд, быть может он не ушел, просто сенсор перестал его распознавать. Такое возможно даже на доли секунды, это нужно иметь ввиду.
Все это создает плодотворную почву для творчества, для развития и совершенствования таких взаимодействий. Очень важно дорабатывать детали.
The future ain’t what it used to be
Подводя итоги, просто перепишем вступление другими слова. Роль новых инструментов мы видим в том, чтобы они выполняли знакомые нам функции быстрее, эффективнее и дешевле. Поначалу люди называли железную дорогу «железным конем», а автомобиль — «повозкой без лошади». Знаете ли вы, почему в первых кинотеатрах был занавес для экрана? Кинематограф воспринимали, как новый способ постановки представлений, прежде разыгрываемых на театральных подмостках.
Создание в 1970 году первого микропроцессора было вызвано желанием ученых усовершенствовать работу настольных калькуляторов. На этом примере мы также видим, что первичное применение научного открытия поначалу ограничивается лишь заменой существующих технологий.
Хороший пример развития интерфейса — музыкальные инструменты. Возьмем, к примеру, клавесин — предшественник пианино. Струны создают одинаковое звучание независимо от того резко или плавно вы нажимаете клавишу. Желание влиять на это привело к новому механизму — пианино. То есть получился клавесин с динамикой. Цифровая версия привела к еще большим свободам. Сейчас многие музыкальные интерфейсы слишком просты и доступны для любого уровня музыкального образования:
Предсказать пределы возможностей новых технологий чрезвычайно трудно. Но что точно понятно, они эволюционируют и улучшаются, как и все в мире. Несколько примеров. Leap Motion не так давно сделал кейс для
Oculus. Теперь в виртуальной реальности можно видеть свои настоящие руки.
Хотя последние приобрели
Nimble и, похоже, в следующей версии эта особенность будет встроена в Oculus, а трекинг у Nimble действительно хорош.
Развитие виртуальных интерфейсов в самом начале пути, но уже есть все основания предполагать, что прорыв в этой области уже за углом.
Например, ходули, которые обеспечивают чувство наклона при контакте с виртуальным объектом:
Платформа для перемещения по виртуальному миру, никаких джойстиков и клавиатуры:
Присылайте свои интерфейсные кейсы на interface@siliconrus.com
About the author
