O 4DV AI da China lançou uma demonstração do Webxr de vídeos volumétricos 6DOF criados a partir de 20 visualizações de câmera, e você pode experimentá -lo no seu fone de ouvido VR no momento.
A tecnologia da 4DV usa divisões gaussianas, é claro, ajustando milhares de bolhas coloridas (gaussianas) no espaço 3D, para que novos pontos de vista possam ser renderizados de forma realista. Nos últimos anos, a divisão gaussiana foi feita para renderização volumétrica realista do que os grandes modelos de idiomas (LLMS) fizeram para chatbots, impulsionando a tecnologia de um nicho caro para produtos de envio como Varjo Teleport e Niantic’s Scaniverse.
Enquanto Gracia enviou um Demonstração em movimento em movimento no ano passadoesse sistema levou seis minutos para treinar um único quadro. Por outro lado, o artigo da 4DV afirma que sua tecnologia é 30 vezes mais rápida, treinando um segundo de vídeo inteiro naquele tempo.
Além disso, as cenas de Gracia exigem estúdios caros e não portáveis com dezenas de câmeras em uma esfera ao redor dos assuntos, que são capturados sem a maior parte do fundo, enquanto o 4DV está focado em capturar todo o arco frontal da cena de cerca de 20 câmeras regulares de um lado. Ainda está longe de ser uma solução apontada e disparada, mas um cinegrafista profissional pode facilmente configurar uma solução de captura como essa.
Gravando pelo UploadVR no navegador da Web do Safari do Apple Vision Pro.
A eficiência de dados da 4DV AI também é impressionante, com cada segundo de filmagens tomando cerca de 12,5 megabytes, o que significa teoria por uma conexão de 100 megabits por segundo, levaria um segundo tempo de carregamento por segundo de filmagens.
O resultado, como você pode ver por si mesmo na demonstração do Webxr, é como um 180° Vídeo 3D, mas com o 6dof, o que significa que você pode se inclinar sem a cena inteira se movendo como se estivesse fixada na sua cabeça.
Quanto mais você se move da área central de sobreposição das câmeras, inclusive em áreas totalmente ocluídas, mais desfoque e artefatos você verá. A reconstrução aqui é impressionante, embora ainda não seja perfeita. E, no entanto, a capacidade de se inclinar é uma grande melhoria em relação ao vídeo imersivo tradicional.
Você pode tentar Demoção Webxr da 4DV AI No navegador da web do seu fone de ouvido independente, como miss, pico ou apple vision pro, ou no PC VR por meio de um navegador com suporte a Webxr, como o Chrome.
A demonstração apresenta uma série de oito clipes de 10 segundos, além de algumas cenas estáticas também. Todas as cenas também são visíveis em tela plana, se o seu fone de ouvido não for útil agora.
No Apple Vision Pro e PC VR, achei a demonstração ter um desempenho relativamente bem, com Judder Menor, enquanto no Quest 3 vi artefatos no espaço de tela e problemas significativos de desempenho, para que sua milhagem variará entre os dispositivos.