Na reverência, pude continuar com Uma nova maneira de realizar o rastreamento ocular, que é com câmeras de eventos do PropheSe.
O que são câmeras de eventos?
Antes de compartilhar minhas impressões práticas, é uma boa ideia Discuta quais são as câmeras de evento. Se essa pergunta não soa nova para você, é porque no ano passado, sempre nos admiração, eu já pude fazer câmeras de eventos: não para rastreamento ocular, mas para rastreamento manual. Era ultraleap que estava propondo uma demonstração muito legal usando -os… é a última demonstração antes de morrer.
Desde que eu já escrevi um artigo sobre isso, Eu posso copiar alegremente colar minha definição de câmeras de evento a partir daí (que já era uma cópia da Wikipedia … CopyPastEception!):
Uma câmera de evento, também conhecida como câmera neuromórfica, retina de silício ou sensor de visão dinâmica, é um sensor de imagem que responde às mudanças locais no brilho. As câmeras de evento não capturam imagens usando um obturador como as câmeras convencionais (quadros). Em vez disso, cada pixel dentro de uma câmera de evento opera de forma independente e assíncrona, relatando alterações no brilho à medida que ocorrem e permanecendo em silêncio de outra forma.
Os pixels da câmera do evento respondem independentemente a mudanças de brilho à medida que ocorrem. Cada pixel armazena um nível de brilho de referência e o compara continuamente ao nível de brilho atual. Se a diferença de brilho exceder um limite, esse pixel redefine seu nível de referência e gera um evento: um pacote discreto que contém o endereço do pixel e o timestamp. Os eventos também podem conter a polaridade (aumentar ou diminuir) de uma mudança de brilho ou uma medição instantânea do nível de iluminação, dependendo do modelo de sensor específico. Assim, as câmeras de eventos geram um fluxo assíncrono de eventos desencadeados por mudanças na iluminação da cena.
Longa história curta: uma câmera de evento Não captura um quadro de imagem como uma câmera padrão, mas captura a diferença entre dois quadros consecutivos.
Uma das empresas líderes na criação de câmeras de eventos é ProfetioAssim, E aqui abaixo você pode ver um vídeo da empresa explicando câmeras de eventos e mostrando qual é a saída desse tipo especial de câmeras:
Por que usar câmeras de eventos?
Após essa explicação, você pode ficar bem intrigado: por que você deve usar uma câmera que não permita que você veja adequadamente o que está acontecendo, mas está basicamente apenas mostrando as áreas de movimento? Bem, acontece que existem algumas razões interessantes.
A primeira e mais importante razão é que Seu consumo de energia é ridiculamente baixo. A quantidade depende da câmera: a usada por Ultraleap consome 23MW, enquanto O para o rastreamento ocular consome tão baixo quanto 2MW (sim, Milliwatts) quando em uso e 16µW (sim, microwatts) quando estiver em espera. Todos sabemos que um dos pontos -chave para ter óculos inteligentes confortáveis é reduzir o consumo de energia ao mínimo possível. As câmeras de evento conseguem fazer exatamente isso: Eles são incrivelmente eficientes em termos de energia.
O outro ponto forte que eles têm é que, como eles não precisam capturar a imagem completa em uma grande variedade de pixels, Eles podem ser muito rápidos ao capturar um quadro. As câmeras de eventos do profetio usadas para rastreamento ocular têm Mais de 1 kHz de quadros. Considere que com as câmeras padrão, já estamos felizes com 60 Hz, e aqui temos 1000. Isso significa que, se você for rápido o suficiente com seu algoritmo, Você pode ter a latência de rastreamento com menos de 1ms.
Depois, há o fator de privacidade. As câmeras padrão, quando usadas para rastreamento ocular, revelam tudo sobre o seu olho e um ator malicioso pode usar a imagem de seus olhos para inferir todos os dados possíveis sobre você. Desde As câmeras de evento nunca capturam completamente a imagem completa do seu olho, Eles tornam muito mais difícil executar esta operação. Então Você pode ter a detecção do movimento dos seus olhos, mas de uma maneira segura à privacidade.
Rastreamento de olhos prático com câmeras de eventos do profetio
Quando cheguei ao estande do profetio, recebi Alguns quadros de óculos nos quais foram instalados os sensores de rastreamento ocular. Desde que o Prophese anunciou recentemente uma colaboração com a famosa empresa de rastreamento ocular Tobii, pensei que o sistema era feito por Tobii. Etienne, o funcionário do profetio no estande, me corrigiu e disse que A demonstração foi feita em colaboração com 7inVensuna empresa chinesa que é líder em tecnologias de rastreamento ocular (eles são amigos meus, eu até Conheci -os durante minha primeira viagem à China).
Os óculos não eram um produto comercial, mas Apenas alguns armações de óculos com os sensores de rastreamento ocular instalados neles. Eu reconheci uma câmera frontal nelas, mas isso não foi usado para o rastreamento: foi útil para transmitir o ponto de vista do usuário para um PC próximo, para mostrar como o rastreamento dos olhos estava se saindo (mais sobre isso mais tarde). Por dentro, havia dois sensores, um para cada olho. Para ser exato, para cada olho Havia dois LEDs de RI para iluminar o olho e uma câmera de evento para capturar as “imagens” dos olhos. Eu acho que os sensores foram fornecidos pelo profetio, e o 7inVensun desenvolveu a montagem e todo o software para executar a operação de rastreamento ocular.
Como sempre, ao fazer rastreamento ocular, Eu tive que realizar uma operação de calibração. Etienne usou um pedaço de papel com um alvo: ele o moveu em três posições diferentes na minha frente e me pediu para olhá -lo nessas posições. Após esta operação muito rápida, o sistema estava pronto. Fiz muitas calibrações de rastreamento ocular em minha carreira, mas é a primeira vez que fiz isso com um humano movendo ativamente o ponto de parecer (que estava em um pedaço de papel!) Na minha frente. Mas ei, desde que funcione …
Após a calibração, comecei a olhar para várias coisas, como a minha ponta de dedo indicador, meu polegar, etc … e pude ver isso no laptop espelhando minha visão, O ponto laranja da minha posição nos olhos estava sempre indo para onde eu estava olhando. Isso provou que o sistema estava funcionando.
Foi muito legal ver o trabalho de rastreamento ocular com esse novo tipo de hardware e com um conjunto tão pequeno de recursos consumidos. Infelizmente, não posso fazer nenhuma reclamação sobre a precisão: a empresa diz que o A latência é menor que 1ms e a precisão é inferior a 1 graumas com um teste tão rápido e sujo, é impossível para mim dizer se isso é verdade. Eu poderia ter um sabor melhor da qualidade se recebesse uma interface AR para olhar, como o Menu Vision Pro, mas apenas um grande ponto de laranja em uma imagem espelhada em um PC não é bom para avaliar a qualidade (também porque o espelhamento em si adiciona latência). Mas eu posso dizer isso, Pelo que pude tentar, o sistema estava funcionando muito bem: Foi reativo e estava detectando o objeto que eu estava olhando sempre.
Você pode assistir minha sessão prática completa, gravada no estande do profetio no AWE, no vídeo abaixo
Considerações finais
Se eu misturar os resultados desta sessão prática no estande do profetio (+ 7invensun) e os do ano passado no estande Ultraleap (+ profetio), posso dizer Estou bastante intrigado com as câmeras de eventos e pelo trabalho que o profetio está fazendo.
Se as empresas puderem criar algoritmos de rastreamento usando -os, Podemos ter rastreamento ocular e rastreamento manual nos óculos com um quadros muito alto e um consumo de energia muito baixo. E tudo isso, ao mesmo tempo em que garante mais privacidade ao usuário. Isso é incrivelmente promissor, é exatamente o que precisamos para construir os óculos AR do futuro.
Com certeza, existem algumas deficiências, e acho que é “mais fácil” executar rastreamento quando você tem todos os dados dos quadros de imagem completa, mas se os algoritmos de rastreamento usando câmeras de eventos continuarem melhorando, Eles poderiam começar a substituir os padrão ao longo do tempo. Com certeza vou ficar de olho (trocadilho) no profetio nos próximos meses.
Isenção de responsabilidade: Este blog contém links de propaganda e afiliados para se sustentar. Se você clicar em um link de afiliado, ficarei muito feliz porque ganharei uma pequena comissão em sua compra. Você pode encontrar minha divulgação completa chata aqui.
Relacionado