A Apple lançou o visionOS 26.4 esta semana, trazendo o desejado streaming de VR e uma melhoria importante para o áudio espacial em realidade mista.
Streaming Apaixonado
O novo recurso principal, o folheado streaming, foi anunciado no mês passado quando o primeiro visionOS 26.4 beta foi lançado para desenvolvedores do Vision Pro.
Antes de continuar lendo, observe que foveed transmissão não é o mesmo que foveado renderizaçãoembora as duas técnicas possam ser usadas lado a lado. Como os nomes sugerem, embora a renderização desejada envolva o dispositivo host realmente renderizando a área de cada quadro que você está vendo atualmente com resolução mais alta, o streaming desejado refere-se ao envio dessa área para o fone de ouvido com qualidade de imagem mais alta do que o resto do quadro.
É um termo que você pode ter ouvido no contexto de Estrutura Steam da Valveonde é um recurso fundamental sempre ativo de sua oferta de streaming de VR para PC, fornecido por meio do adaptador sem fio USB para PC por padrão.
Dado que os decodificadores de vídeo em fones de ouvido têm resolução e taxa de bits máximas limitadas, o streaming recomendado ajuda a priorizar a resolução e a qualidade de compactação onde você está procurando no momento.
Válvula representação de streaming foveado.
Ao contrário do Renderização Espacial do macOS introduzido no lançamento principal do visionOS 26 no ano passado, que é um sistema de nível relativamente alto que suporta apenas um Mac local como host, o Foveated Streaming é uma estrutura independente de host de baixo nível, que qualquer servidor PC VR poderia, em teoria, implementar. Para desenvolvedores que desejam uma implementação pronta, a Apple trabalhou em estreita colaboração com a Nvidia para adicionar suporte para seu SDK do CloudXR. E apesar do nome, o CloudXR pode ser usado tanto para PCs locais quanto na nuvem.
Normalmente, para aplicativos visionOS nativos, o sistema operacional não fornece aos desenvolvedores nenhuma informação sobre para onde o usuário está olhando – a Apple diz que isso ocorre para preservar a privacidade. Em vez disso, os desenvolvedores recebem apenas eventos, como qual elemento o usuário estava olhando ao realizar o gesto de pinça. Mas, crucial para o funcionamento do streaming desejado, a API informa ao desenvolvedor a região “áspera” do quadro que o usuário está olhando. É a primeira vez que os desenvolvedores do visionOS obtêm esse tipo de informação.
Isso deve permitir que o host também renderize em resolução mais alta nesta região, e não apenas transmita em resolução mais alta. Como sempre, isso exigirá que o jogo VR específico suporte a renderização desejada ou que suporte ferramentas que injetam renderização foveada.
X-Plane e iRacing obtendo suporte oficial do Apple Vision Pro via PC VR Streaming
X-Plane 12 e iRacing poderão ser reproduzidos oficialmente no Apple Vision Pro, transmitido de seu PC via Nvidia CloudXR, com seus acessórios físicos combinados usando passagem de realidade mista.
Autodesk VRED obtém modo imersivo que transmite para Apple Vision Pro
O Autodesk VRED agora tem um modo imersivo que transmite para o Apple Vision Pro por meio do CloudXR da Nvidia, e Kia, BMW, Volvo e Rivian já o estão usando.
Clear XR traz o streaming favorito do Apple Vision Pro para jogos OpenXR PC VR
Clear XR, disponível no TestFlight, permite que proprietários das séries Nvidia RTX 40 e 50 usem o recurso de streaming do Apple Vision Pro para jogos OpenXR PC VR.
Nas últimas semanas, várias empresas anunciaram suporte ao streaming desejado do Vision Pro por meio do SDK CloudXR da Nvidia:
- X-Plane 12 e iRacing estão lançando clientes visionOS dedicados que se conectam automaticamente ao sim em seu PC, alinham automaticamente seu cockpit aos seus periféricos físicos por meio de visão computacional e segmentam esses periféricos com passagem para que você possa vê-los em VR.
- Autodesk VRED já adicionou um modo imersivo que transmite recursos de alta fidelidade em pixels para o Vision Pro, e já está sendo usado por Kia, BMW, Volvo e Rivian.
- Um desenvolvedor solitário lançado Limpar XR no TestFlightque permite transmitir qualquer jogo OpenXR VR do seu PC com streaming favorito.
Uma limitação notável é que o SDK CloudXR da Nvidia suporta apenas as arquiteturas de GPU Ada e Blackwell da Nvidia, ou seja, placas gráficas das séries RTX 40 e 50.
Áudio espacial aprimorado em realidade mista
Desde o lançamento, o Apple Vision Pro oferece suporte não apenas ao áudio espacial posicional básico, mas também ao áudio que examina os recursos e materiais do seu espaço para combinar com precisão o som ao seu ambiente físico. A Apple chama isso de Audio Ray Tracing.
Com o visionOS 26.4, a Apple diz que o Vision Pro agora armazena e lembra as propriedades acústicas das salas em que você usa o fone de ouvido, de modo que o recurso Audio Ray Tracing pode inicializar mais rapidamente e ter um modelo mais holístico do seu ambiente sem que você precise se mover primeiro.
