⚡️HTC Vive Flow: Big Failure or Big Step?

Сперва кратко об устройстве:
- Разрешение устройства — 3,2K ( по 1600×1600 на линзу).
- Поле зрения 100 градусов, частота обновления 75 Гц.
- Две передние камеры поддерживает сквозную передачу видео для отслеживания окружающего пространства.
- Чипсет — Qualcomm XR1.
- Память — 64ГБ.
- Стереодинамики с поддержкой пространственного звука, двойные микрофоны с шумоподавлением.
- Вес 189 граммов.
- В будущем устройство будет поддерживать отслеживание рук.

HTC презентовали Flow, как "устройство для домашнего использования", но почему-то с уклоном в медитации 🤷🏻‍♂️ На самом деле это лишь вершина айсберга реального применения.

Его компактность и легкость дает новый толчок для популяризации VR-индустрии. Устройство имеет возможность закрепится среди людей, которые не являются геймерами, но искали доступное устройство для иных целей.

HTC сообщили, что к концу года запустят более 100 приложений для Flow, а также добавят поддержку для более 150 существующих.

AR/VR Designer

🏋️‍♂️ Вот так выглядят спорт будущего. Точнее, уже настоящего — это процесс тренировок в AR-очках Spectacles от Snapchat, о них я писал в мае. Очки достаточно большие и увесистые, а под капотом — яркий дисплей, поле зрения в 26 градусов, минимальная задержка, сенсорная панель и батарея на 30 минут.

Судя по видео, тренировки очень практичные и удобные — приложил ладошку к нужной точке, очки зафиксировали движение и моментально перенесли следующую точку на другое место. Так же классно фиксируются прыжки и отжимания, а голограммы делают экспириенс в разы занимательнее. Дайте две!

#AR #Device #Fun | Not Boring Tech

⚡️Facebook планирует сделать ребрендинг и сменить название компании

Все еще сомневаетесь в утопическом будущем в метавселенных? А у Марка похоже вообще нет сомнений, и он делает огромнейшую ставку!

В статье The Verge сообщили, что вскоре Facebook объявит о планах по ребрендингу своей компании, чтобы «отразить свое внимание на построении метавселенной». Возможно, они это сделают во время или до презентации Facebook Connect, которая пройдет 28-го числа.

Согласно The Verge, новое название компании является «тщательно охраняемым секретом ... и не широко известно даже среди ее высшего руководства», но предполагается, что оно может быть связано с Horizon, брендом, который объединяет будущую социальную платформу Facebook, Horizon Worlds (ранее назывался Facebook Horizon), а также VR-платформу для удаленной работы Horizon Workrooms.

AR/VR Designer

😍Весьма залипательный арт!

Разработано с помощью камер orbbec3d студиями Augmenta, THÉORIZ и TouchDesigner.

AR/VR Designer

Дубликатор людей
#LensStudio #Snapchat

Наконец завершил проект, который начал еще очень давно: https://lens.snapchat.com/2b6e883aa5bf4effaf2a09b792847720

Как вы наверняка знаете, в Снепчате есть 3D body reconstruction — алгоритм, который строит трехмерную репрезентацию тела пользователя в реальном времени. Короче, как фейсмеш, только для тела и не очень точно.

В общем, я придумал способ это дело немного стабилизировать и извлекать из него проекцию текстуры так, чтобы ее можно было потом натягивать на других людей.

Итог по ссылке выше. Можно отсканировать человека и натянуть его на другого (с головой или без). Самое веселое, что можно сканить не только живого человека - подойдет даже фотка.

🚀 Leak: Oculus Quest Pro

Промо видео с Oculus Pro, которые были размещены на сайте Oculus и найдены пользователем твиттера @Basti564, отображают возможный дизайн и функционал устройства. Все слитые видео вы найдете в комментариях.

Основной акцент сделан на многопользовательский опыт ( Metaverse хэллоу! ), на нескольких видео мы можем заметить совместную работу или совместный игровой опыт. На одном из видео изображена имитация реальных движений тела и лица цифровым аватаром, об этой фиче уже ранее ходили слухи, и выглядит она многообещающе.

Дизайн устройства очень похож на тот, который я недавно опубликовал в этом посте. Также на одном видео можно заметить измененный дизайн самого контроллера, который больше похож на контроллер от Oculus Go и не имеет колец, как Oculus Quest Touch.

Никаких комментариев со стороны команды Oculus об этой утечке пока не поступало. Вероятно карты будут раскрыты на конференции Connect 2021, которая пройдет 28-го октября.

AR/VR Designer

⚡️Marvel Studios’ Eternals: AR Story

К запуску фильма "Вечные" ( "Eternals" ) Marvel выпустили AR приложение. По сути это небольшой приквел к фильму, в котором один из героев ( "Sprite" ) проведет вам экскурсию по вселенной, и познакомит с героями и миром ожидаемого фильма.

Уже доступно в AppStore

AR/VR Designer

⚡️Слухи подтвердились

Facebook меняет название компании на Meta.

Об этом они сообщили на конференции Facebook Connect.

AR/VR Designer

⚡️Project Cambria

Помимо новостей о смене названия компании, Facebook Meta сделали множество различных анонсов, о которых мы кратко расскажем сегодня.

На очереди Project Cambria, устройство смешанной реальности ( Mixed Reality ). Марк Цукерберг описал ее как новую линейку продуктов, отдельную от линейки Quest - «совершенно новый продвинутый и высококачественный продукт, который будет находиться в более высоком ценовом диапазоне.».

Возможно Cambria будет включать ожидаемую фичу с отслеживанием глаз и лиц для управления аватарами в  виртуальной реальности.

Устройство выйдет на рынок в 2022 году.

AR/VR Designer

⚡️Project Nazare

Следующий анонс от Meta, это Project Nazare, потребительские AR очки.

Говоря о Project Nazare, генеральный директор Meta Марк Цукерберг назвал эти очки «первыми полноценными очками дополненной реальности», но также указал, что они все еще находятся в стадии разработки:

«Чтобы получить ожидаемый внешний вид и функционал, необходимо проделать большую техническую работу. Мы должны разместить голографические дисплеи, проекторы, аккумуляторы, радиоприемники, нестандартные силиконовые чипы, камеры, динамики, датчики, чтобы отображать мир вокруг вас и многое другое, в очки толщиной около 5 мм. Так что у нас еще есть над чем поработать с Project Nazare, но мы уже добиваемся значительных успехов ».

Дата выхода устройства неизвестна.

AR/VR Designer

Продолжаем песню "не виаром единым".
Никакой виар-шмиар не может передать тактильных ощущений.
Но у Meta AI уже есть ответы на эти вопросы.
Точнее протоколы о намерениях.

Лаборатория Meta AI, известная ранее как Facebook AI, сделала пост, в котором команда поделилась своими последними достижениями в обучении роботов восприятию, пониманию и взаимодействию с помощью прикосновений. По словам команды, тактильное восприятие, развивающаяся область робототехники, которая направлена на понимание и воспроизведение прикосновений на уровне человека в физическом мире, имеет важное значение для повышения эффективности взаимодействия роботов с окружающим миром.

Сдается мне роботы тут не на первом месте. Точнее привычные нам роботы.
Новые нормальные роботы будут окружать нас в реальном мире и трогать нас нужным образом, пока мы ныряем в метаверс, чтобы дать нам "полноту ощущений".

У Meta AI пока три технологии в разработке:

Digit: Недорогой, компактный тактильный датчик с высоким разрешением, предназначенный для "тонких" тактильных операций на "кончиках пальцев" робота. У него нет датчиков давления, он полагается только на свои камеры и алгоритмы компьютерного зрение.

ReSkin: Сенсорная “оболочка”, тонкая притом, грубо говоря искусственная кожа,  которая учит роботов высокочастотному тактильному восприятию на больших поверхностях.
TACTO: Симулятор для тактильных датчиков, позволяющий ускорить платформу для экспериментов и поддерживать исследования ML даже при отсутствии аппаратного обеспечения.

А вообще, я уже не первый год твержу, что пора делать умную одежду. Там и датчиков можно вшить сколько надо, и данные снимать тоннами (и почище чем с браслетов), но и трогаться пользователя тоже можно, формируя нужные сигналы.

Сегодня вечером на стриме поговорим подробнее.
https://ai.facebook.com/blog/teaching-robots-to-perceive-understand-and-interact-through-touch

⚡️Snap Spectacles x Nike

Nike экспериментирует с AR опытом для бега в очках дополненной реальности Spectacles от Snap.

Некоторые эффекты выглядят действительно иммерсивно и трекинг достаточно стабильный.

AR/VR Designer

⚡️8th Wall запустили Reality Engine

На волне хайпа многие компании пытаются так или иначе подтянуться в метаверс. 8th Wall тоже не остались в стороне и запустили Reality Engine - движок, который автоматически адаптирует WebAR опыт под разные устройства, включая смартфоны, планшеты, компьютеры и AR/VR/MR гарнитуры.

На самом деле это очень большой апдейт, который включает в себя следующий фичи:

- Кроссплатформенный интерфейс - интерфейс Web AR приложений будет автоматически подстраиваться под устройство пользователя.

- Кроссплатформенный Input System - с любого устройства пользователь сможет управлять AR опытом, как с помощью VR контроллеров, так и жестов, компьютерной мыши или же касаний экрана.

- Адаптивная среда - теперь контент будет отображаться в разной среде, в зависимости от устройства, то есть в AR, либо просто в 3D.

Пока что Reality Engine оптимизирован для смартфонов и планшетов на iOS и Android, PC, Microsoft HoloLens и Meta Quest.

Больше информации о релизе в блоге 8th Wall.

AR/VR Designer

⚡️ Тактильные перчатки от Meta Reality Labs

Команда Reality Labs предоставила демку со своей реализацией тактильных перчаток для применения в виртуальной реальности. Они использовала решения из областей мягкой робототехники и микрофлюидики - технологий, обычно используемых в протезах конечностей и диагностических устройствах.

Для управления этими мягкими приводами они создают высокоскоростной микрожидкостный процессор - крошечный микрожидкостный чип на перчатке, который управляет воздушным потоком и перемещает приводы, сообщая клапанам, когда и как далеко открываться или закрываться.

В основном вся перчатка собирается руками инженеров, только некоторые базовые процессы автоматические. Производство перчаток в больших масштабах требует изобретения новых производственных процессов, так что на рынке мы их увидим не скоро.

Больше информации в блоге Tech Facebook.

А видео с процессором вы найдете в комментариях, выглядит эпично 👇🏻

AR/VR Designer

Фотошоп недавно выкатил обновление нейронных фильтров, о чем я писал тут, где вы можете в пару кликов сменить время года и всякое такое. 

А тут умелец с Reddit пошел дальше, он взял запись игры в Skyrim и применил этот же алгоритм на каждый кадр записи, получился довольно клевый эффект где графика игры стала еще реалистичнее. Нужно тоже будет поиграться, с каким-нибудь фильмом старым.

⚡️Редактирование 2D текстур 3D моделей в Procreate

Возможно вы уже слышали про апдейт Procreate'a, который дает возможность работать с 3D моделями, а также изменять 2D текстуры и просматривать модели в дополненной реальности.

freya.arts сделала наглядный пример работы этой фичи, и это действительно супер юзабельно.

Подробнее о фиче в хэндбуке Procreate.

AR/VR Designer

⚡️Unity Slices: Table

Вчера на Facebook Connect команда Unity Labs поделилась офигительным экспериментом с Oculus Passthrough 👀

Задача этого проекта изучить потенциальное будущее интерфейсов в смешанной реальности, учитывая возможность социального контакта. Они очень круто визуализировали переход между дополненной и виртуальной реальность, я в восторге 😍

Проект пока недоступен в сторах, но команда Unity Labs работает над этим.

Советую почитать статью об этом проекте в блоге Unity, там больше о процессе ресерча и разработки.

AR/VR Designer

⚡️Invisible Roommates - Everyday Experiments

Решил снова заглянуть на Everyday Experiments и увидел много классных проектов, вот собственно один из них.

Invisible Roommates - это AR приложение от Nicole He и Eran Hilleli, которое визуализирует, как устройства в вашем доме взаимодействуют друг с другом. Приложение отображает различные устройства, подключенные к вашей сети, в виде маленьких живых персонажей. Тем самым иллюстрируя невидимую взаимосвязь этих устройств, и давая понять пользователю, что происходит в его доме.

В комментариях найдете больше видео 👇🏻

AR/VR Designer

В метавселенной поженилась первая пара. К виртуальному алтарю пошли аватары Трейси и Дэйв Ганьон из Флориды, которые познакомились в метавселенной. Параллельно в физическом мире также проходила церемония #metaverse
https://www.nytimes.com/2021/12/08/fashion/metaverse-virtual-wedding.html

⚡️Geenee WebAR Full-Body Tracking SDK

Здесь знакомые ребята из Geenee выкатили офигительную обнову с WebAR Full-Body Tracking. Да-да, вы не ослышались, речь идет о WebAR 🙀. И это первое подобное решение!

SDK будет доступен для агенств и разработчиков, для этого необходимо подать соответствующую заявку здесь и вам будет предоставлено 3 бесплатных месяца некоммерческого использования. Немного позже интеграция с Full-Body Tracking также появится в Geenee WebAR NoCode Builder.

Почитать подробнее можно в блоге Geenee.

Попробовать сам WebAR опыт можно здесь:
https://lab.geen.ee/avatar/

AR/VR Designer