O Niantic Spatial SDK traz VPs ao ar livre e longa distância ao vivo para a Quest 3

Niantic Spatial SDK v3.15 agora suporta Quest 3 e Quest 3s.

O SDK oferece aos desenvolvedores recursos avançados de realidade mista: VPs ao ar livre com precisão de centímetro, malha de cena ao vivo de longa distância e segmentação semântica.

Tudo isso é possível porque desde no início deste ano, meta agora vamos Os aplicativos Horizon OS de terceiros acessam as câmeras de passagem de Quest 3 e Quest 3s, e a Niantic alavanca isso para executar os modelos de visão computacional que está se desenvolvendo há cerca de uma década.

Niantic vende Pokémon Vá para a Arábia Saudita para financiar a transição espacial da IA

A Niantic Spatial está dividindo seu braço AI do Pokemon Go e vendendo o último ao grupo de investimentos da Arábia Saudita.

O lançamento ocorre cinco meses após a Niantic, que é mais conhecida como desenvolvedor de Pokemon Go, essencialmente dividido em dois. O negócio da Niantic Games, incluindo o Pokemon Go, foi vendido ao escopo da Arábia Saudita, enquanto o lado da tecnologia espacial do negócio foi divulgado a uma nova empresa chamada Niantic Spatial.

Aqui está um colapso dos recursos de realidade mista, o Niantic Spatial SDK agora oferece aos desenvolvedores da missão:

VPs com precisão de centímetro

Todo mundo sabe o que é o sistema de posicionamento global (GPS). É uma parte central da vida moderna, é como navegamos pelo mundo, e sua inclusão em smartphones até gerou uma nova categoria de software, transporte sob demanda e entrega. Mas o GPS normalmente é preciso apenas para cerca de 1 metro nas condições ideais. E em ambientes urbanos, onde os edifícios obstruem os sinais, isso pode cair para dezenas de metros, enquanto você assiste irremediavelmente aquele pequeno ponto azul na tela saltando pelo bairro.

Um sistema de posicionamento visual (VPS), por outro lado, é um sistema de software que usa a visão computacional para determinar sua posição, identificando padrões visuais exclusivos na visão em tempo real de uma câmera e comparando-os a um mapa 3D de alta fidelidade existente do mundo.

Como tal, o VPS funciona apenas em áreas onde a geometria física densa persistente foi mapeada em 3D. Mas dentro dessas áreas, ele pode localizar sua posição exata com precisão de centímetro.

Google Maps teve um recurso VPS para navegação a pé por seis anos, aproveitando os dados do Google Street View, e o Google disponibiliza esse recurso aos desenvolvedores de aplicativos para smartphone como parte do Arcore.

Mas o VPS é sem dúvida muito mais interessante quando usado para fones de ouvido de realidade mista e óculos de AR. E enquanto os VPs da Niantic também funcionam em smartphones, o que o torna único é que agora ele suporta o Quest 3 e o Quest 3s da Meta, bem como o Magic Leap 2.

O mapa VPS da Niantic cobre mais de 1 milhão de locais, construídos usando as varreduras de jogadores de jogos como Pokemon Go e SCANIVERSE. Além disso, a Niantic afirma que seu VPS oferece “precisão líder do setor” e fornece malhas 3D para locais públicos digitalizados.

As primeiras 10.000 chamadas de API VPS a cada mês são gratuitas e o restante custa cerca de US $ 0,01 por chamada.

Cena ao vivo malha

Quest 3 e Quest 3s permitem que você digitalize seu quarto para gerar uma malha de cena em 3D que os aplicativos de realidade mista podem usar para permitir que objetos virtuais interajam com a geometria física ou resginem seu ambiente. Mas existem dois grandes problemas com o sistema atual da Meta.

O primeiro problema é que ele exige que você tenha executado a varredura em primeiro lugar. Isso leva de cerca de 20 segundos a vários minutos de olhar ou até andar por aí, dependendo do tamanho e da forma de sua casa, adicionando atrito significativo em comparação com apenas o lançamento diretamente em um aplicativo.

O outro problema é que essas varreduras de malha de cena representam apenas um momento no tempo, quando você executou a varredura. Se os móveis foram movidos ou os objetos foram adicionados ou removidos da sala desde então, essas alterações não serão refletidas na realidade mista, a menos que o usuário atualize manualmente a varredura. Por exemplo, se alguém estava na sala com você durante a varredura, a forma do corpo é assada na malha da cena.

Um desenvolvedor resolveu o maior problema com a realidade mista de Quest 3

O desenvolvedor de Lasertag implementou a malha de cena contínua no Quest 3 e 3s, eliminando a necessidade do processo de configuração da sala e evitando seus problemas.

Em maio, nós destacado Como o desenvolvedor de Lasertag, Julian Tririveri, implementou a malha de cena contínua no Quest 3 e 3s usando a API de profundidade da Meta. Como mencionamos nisso artigoTririveri disponibilizou o código -fonte para sua técnica disponível no GitHub para outros desenvolvedores usarem e Hauntify planos para levar Tririveri em sua oferta.

No entanto, a API de profundidade só funciona com cerca de 4 metros. A malha ao vivo da Niantic Spatial SDK, por outro lado, inclui suporte para malha de longa distância.

Ele usa os algoritmos de visão computacional da Niantic, apreciando a vista das câmeras de passagem para construir a malha.

A abordagem de Niantic é até agora mais adequada para uso ao ar livre e funciona bem em combinação com seus VPs.

Segmentação semântica e detecção de objetos

O Niantic Spatial SDK também pode identificar e rotular objetos e superfícies, em tempo real.

O reconhecimento de objetos é semelhante ao acesso à câmera de passagem de missão amostras de desenvolvedorenquanto a segmentação parece ser mais avançada.

Preços e o que vem a seguir?

O recurso VPS da Niantic tem preço de chamada de API, enquanto os recursos de visão computacional no dispositivo do Niantic Spatial SDK são ilimitados, mas exigem pagando Cerca de US $ 0,10 por mês por usuário ativo mensal (MAU).

A malha ao vivo da Niantic Spatial SDK é algo que esperamos ver muitos aplicativos de realidade mista da Quest 3, e seu recurso VPS torna o Quest 3 mais adequado para experiências públicas ao ar livre, embora o hardware não seja projetado para isso.

A Niantic diz que está “continuando a expandir o suporte em dispositivos de cabeça adicionais, melhorar o desempenho e introduzir novos recursos como oclusão aprimorada e compreensão persistente da cena”, observando que o feedback do desenvolvedor moldará o que vem a seguir.