В лаборатории есть два сайта, которые «видят» посетителя. Echo следит за положением головы и превращает экран в окно в другое пространство. Touchless — галерея скульптур, которыми управляют жестами в воздухе. Самый частый вопрос о них: как это работает и не опасно ли включать камеру.
Как сайт находит лицо и руки
Распознавание идёт прямо в браузере, на устройстве посетителя. Для этого есть открытые библиотеки компьютерного зрения, которые работают без сервера:
- лицо — сотни точек на лице и поворот головы, а ещё простые выражения: улыбка, поднятые брови;
- руки — 21 точка на каждой руке, до двух рук сразу;
- жесты — например, открытая ладонь; щипок считается по расстоянию между большим и указательным пальцем.
Почему это безопасно
- Видео никуда не отправляется. Каждый кадр обрабатывается на устройстве и сразу выбрасывается — сервера, который мог бы его получить, просто нет.
- Ничего не записывается.
- Камера включается только по кнопке. Браузер сам спрашивает разрешение, и его можно отозвать в любой момент.
- Есть режим без камеры. Тот же сайт управляется мышью или касанием.
Что делает управление удобным
Сделать так, чтобы камера «видела» руку, — половина задачи. Вторая половина — чтобы это не раздражало.
Дрожание
Точки на лице и руках слегка дрожат от кадра к кадру. Если двигать сцену напрямую, она трясётся. Поэтому движение сглаживается специальным фильтром — в Echo и Touchless он стоит между камерой и сценой.
Ложные срабатывания
Если сайт реагирует на всё, на что вы показали, им невозможно пользоваться. Поэтому жестов мало, а главное действие — одно: щипок, как будто берёшь предмет пальцами.
Усталость
Держать руку на весу долго утомительно. Хорошее управление жестами — короткое: несколько движений, чтобы удивиться, а не работа на полчаса. И всегда есть запасной путь — мышь или касание.
Где это пригодится
- Выставки и офлайн-стенды — посетитель управляет экраном, не касаясь его.
- Промо-страницы — «вау-момент», который хочется показать друзьям.
- Бренды с характером — где сайт должен запомниться.
Для обычного сайта эксперта камера не нужна. Но мягкие приёмы из этих экспериментов — отклик на движение мыши, «живые» объекты — делают даже простую страницу заметнее. Обзор всех экспериментов — в статье про лабораторию.