Virtual Vikings: como a captura volumétrica está tornando a realidade virtual uma realidade

Nunca houve um momento melhor para ser um entusiasta da realidade virtual. Com o aumento da presença de fones de ouvido sem fio independentes, além de rastreamento avançado de movimento e resoluções de tela para tornar as experiências de realidade virtual mais ou menos sincronizadas com os sentidos do nosso corpo, estamos chegando a um ponto em que simulações de A realidade virtual começa a sentir, se não for real. Certamente mais realista do que costumava ser.

No entanto, ainda estamos longe de Matrix. Os desenvolvedores ainda estão tentando contornar problemas físicos básicos, como enjôo e fadiga visual, enquanto os tipos de modelos de personagens humanos gerados para mecanismos de jogos de realidade virtual (ou qualquer outro mecanismo de jogo, na verdade) são nada menos realista.

No entanto, com a captura volumétrica, isso pode começar a mudar.

Fiz uma visita à Dimension, um estúdio de produção de RV que trabalha com a nova tecnologia de captura de vídeo, para descobrir como uma simulação de uma nave de batalha Viking poderia indicar o futuro das experiências interativas de realidade virtual.

O que é captura volumétrica?

A captura volumétrica é uma tecnologia de captura de vídeo relativamente nova para recriar pessoas e objetos na realidade virtual. Patenteada pela Microsoft, com apenas dois estúdios que atualmente licenciam tecnologia em todo o mundo, a Dimension é uma delas, tem o potencial de mudar o nível de imersão e comprometimento emocional que obtemos da realidade virtual.

Em vez de usar uma câmera de 360 ​​graus que captura imagens da vida real em todas as direções ou recria uma cena completa em um mecanismo de física do computador, a captura volumétrica usa uma ampla gama de câmeras em um estudo de captura. dedicado: gravação de múltiplos ângulos para capturar uma incrível quantidade de detalhes, quando então é escaneado em um ambiente CGI.

O cenário de captura Dimension possui 106 câmeras individuais (53 RGB, 53 infravermelhos) e oito microfones direcionais para capturar áudio em tempo real, em vez de serem adicionados separadamente na pós-produção. A matriz inteira é capaz de capturar mais de 10 GB de detalhes por segundo, a 30 quadros por segundo, ou 20 GB / s a ​​60 quadros por segundo.

Steve Jelly, diretor executivo da Hammerhead (proprietária e operadora da Dimension), explicou como o processo funciona:

"Metade das câmeras está acendendo a luz visível, ea outra metade está disparando luz infravermelha, que é iluminada por esses lasers aqui … e isso ajuda nossos algoritmos a descobrir a forma ea cor.

"Pegamos essas imagens e depois as passamos por uma enorme fazenda de computadores na estrada, que basicamente calcula cada posição de cada pixel no espaço, cria uma malha e envolve o vídeo na parte superior."

A precisão do método de mapeamento, que usa "milhares de pequenos pontos" para capturar objetos 3D, significa que as câmeras podem até mesmo recriar detalhes tão pequenos quanto as dobras de suas roupas, muito mais do que com os métodos tradicionais de captura. de movimento, que são baseados na recriação de gestos e movimentos dentro de um fantoche & # 39; gerado por computador.

"Esse é o problema (com a captura do movimento)", disse Jelley. "Isso pode fazer com que pareça fantástico, se tiver muito dinheiro e estiver gerando um quadro 2D, mas sempre perderá algo na tradução."

O que os vikings têm a ver com alguma coisa?

Chegamos ao estúdio Dimension para tentar uma prévia do Virtual Viking: The Ambush. Uma colaboração entre o estúdio de produção de Ridley Scott, RSA Films e o centro de entretenimento interativo The Viking Planet, em Olso, é um dos exemplos mais recentes de quão imersiva a experiência de realidade virtual de amanhã poderia ser.

A emboscada é uma recriação historicamente precisa de um navio de guerra Viking em realidade virtual, que usa a experiência de um grande número de museus apropriados para a época: "Fomos informados" onde quer que existam barcos vikings "e textos de pesquisa como Vikings Em Guerra, de Kim Hjardar, produzido para o The Viking Planet Center, em Olso, Noruega, a demo fará parte de uma exibição mais ampla da vida dos marinheiros nórdicos, usando vários headsets de realidade virtual para levar os historiadores iniciantes a um Navio Viking em plena batalha.

Dado o envolvimento da Microsoft, não é de surpreender que o The Ambush seja executado em um fone de ouvido de realidade mista do Windows: o HP Reverb.

No entanto, a Reverberation tem uma das telas mais nítidas do mercado, com 2.160 x 2.160 por olho, oferecendo o dobro da resolução de tela do HTC Vive Pro e Samsung Odyssey +. Para não mencionar seis graus de liberdade para o movimento de fluidos em 360 graus.

Dizem-nos que a experiência final terá um feedback táctico completo para as poltronas em que também se encontra, recriando a rocha suave do barco para minimizar a doença de movimento, outro obstáculo recorrente à perfeita realidade virtual.

Fazendo o virtual parecer real

Já estivemos em muitas demonstrações de realidade virtual, de capacetes Batman 8K a parapeitos que causam náusea, mas a Emboscada se sentiu incrivelmente legal.

Dimensão criou uma narrativa simples ao longo da costa oeste da Noruega, com recriações historicamente precisas de barcos, armas e vikings para dar algum peso à cena. .

A comparação mais próxima que posso imaginar é sentar no palco de um teatro, com os atores a poucos passos de você. Eu podia ver os vikings na minha frente levantando seus peitos enquanto remavam seu barco pelo rio à noite, apertando os olhos para enxergar melhor no escuro, os nós dos dedos esticados ao redor de seus remos CGI e piscando quando os projéteis começavam a chover. eles. aliados

Enquanto muitos dos objetos, e o próprio navio, foram gerados no motor Unreal, foram os atores que realmente fizeram o espaço virtual se sentir povoado, e que a destruição resultante da tripulação do navio foi ainda mais afetada. .

São esses pequenos detalhes, num piscar de olhos, um aperto firme em um remo, ou a contração de um músculo facial, que fazem a pessoa se sentir real, sem o efeito "vale estranho" com personagens digitais que não são tão expressivos assim. como um rosto humano

No entanto, o desafio de capturar o desempenho humano é que você não pode culpar a tecnologia pelo mau desempenho. Lisa Joseph, produtora da RSA Films, começou sua carreira no teatro e está muito consciente da importância desse aspecto.

"Você está pegando pessoas reais e colocando-as em um mundo gerado por computador", diz Joseph. "Então eles realmente precisam ser capazes de agir."

A Dimension teve que executar o "casting rigoroso" por vários dias para garantir que o resultado valesse o novo método de captura. O que facilitou o processo foi adicionar NPCs (personagens não-jogadores) em segundo plano, usando apenas pessoas reais para aqueles que estão próximos do espectador, onde a diferença nos detalhes realmente contaria.

Certamente, existem ótimas aplicações em jogos de realidade virtual: imaginar um mundo aberto de Fallout ou Skyrim com expressões humanas complexas em vez de animações faciais de memória poderia transformar completamente o quão atraentes podem ser nossas interações em jogos.

Aqueles em Dimensão não serão perseguidos sobre o assunto, mas o uso de Unreal Engine, que oferece títulos que vão desde Fortnite e Gears of War até o remake de Final Fantasy VII, nos dá esperança de que não demorará muito para as capturas. volumétrico. na indústria em geral. Temos muito mais demonstrações de RV à nossa frente e queremos que você se sinta muito mais assim.