Video volumétrico - Volumetric video

El video volumétrico es una técnica que captura un espacio tridimensional, como una ubicación o una actuación. Este tipo de volumografía adquiere datos que se pueden ver en pantallas planas, así como mediante pantallas 3D y gafas de realidad virtual . Los formatos orientados al consumidor son numerosos y las técnicas de captura de movimiento requeridas se basan en gráficos por computadora , fotogrametría y otros métodos basados ​​en computación. El espectador generalmente experimenta el resultado en un motor en tiempo real y participa directamente en la exploración del volumen generado.

Historia

La grabación de talento sin la limitación de una pantalla plana se ha representado en la ciencia ficción durante mucho tiempo. Los hologramas y las imágenes del mundo real en 3D han ocupado un lugar destacado en Star Wars , Blade Runner y muchas otras producciones de ciencia ficción a lo largo de los años. A través de los crecientes avances en los campos de los gráficos por computadora, la óptica y el procesamiento de datos, esta ficción se ha convertido lentamente en una realidad. El video volumétrico es el siguiente paso lógico después de las películas estereoscópicas y los videos de 360 ​​°, ya que combina la calidad visual de la fotografía con la inmersión e interactividad del contenido espacializado y podría llegar a ser el desarrollo más importante en la grabación de la actuación humana desde la creación de cine contemporáneo. El primer informe de mercado de video volumétrico se publicó en mayo de 2018 y la primera publicación en línea dedicada al video volumétrico se lanzó en noviembre de 2019: " Noticias de video volumétrico ".

Gráficos por computadora y VFX

La creación de modelos 3D a partir de videos, fotografías y otras formas de medir el mundo siempre ha sido un tema importante en los gráficos por computadora . El objetivo final es imitar la realidad con todo lujo de detalles y, al mismo tiempo, dar a los creativos el poder de construir mundos sobre esta base para que coincidan con su visión. Tradicionalmente, los artistas crean estos mundos utilizando técnicas de modelado y renderizado desarrolladas durante décadas desde el nacimiento de los gráficos por computadora. Los efectos visuales en películas y videojuegos allanaron el camino para los avances en fotogrametría , dispositivos de escaneo y el backend computacional para manejar los datos recibidos de estos nuevos métodos intensivos. En general, estos avances se han producido como resultado de la creación de elementos visuales más avanzados para el entretenimiento y los medios, pero no han sido el objetivo del campo en sí.

LIDAR

El escaneo LIDAR describe un método de levantamiento que utiliza puntos muestreados por láser densamente empaquetados para escanear objetos estáticos en una nube de puntos. Esto requiere escáneres físicos y produce enormes cantidades de datos. En 2007, la banda Radiohead lo utilizó ampliamente para crear un video musical para "House of Cards", capturando interpretaciones de nubes de puntos del rostro del cantante y de ambientes selectos en uno de los primeros usos de esta tecnología para la captura volumétrica. El director James Frost colaboró ​​con el artista de medios Aaron Koblin para capturar las nubes de puntos en 3D utilizadas para este clip musical, y aunque el resultado final de este trabajo seguía siendo una representación plana renderizada de los datos, la captura y la mentalidad de los autores ya estaban por delante. es la hora. Las nubes de puntos , al ser muestras distintas de espacio tridimensional con posición y color, crean una representación de alta fidelidad del mundo real con una gran cantidad de datos. Sin embargo, aún no era posible ver estos datos en tiempo real.

Luz estructurada

En 2010 Microsoft trajo el Kinect al mercado, un producto de consumo que utiliza luz estructurada en el espectro infrarrojo para generar una malla 3D de su cámara. Si bien la intención era facilitar e innovar en la entrada y el juego del usuario, se adaptó muy rápidamente como un dispositivo de captura genérico para datos 3D en la comunidad de captura volumétrica. Al proyectar un patrón conocido en el espacio y capturar la distorsión de los objetos en la escena, la captura de resultados se puede calcular en diferentes salidas. Los artistas y aficionados comenzaron a crear herramientas y proyectos en torno al dispositivo asequible, lo que generó un interés creciente en la captura volumétrica como medio creativo.

Luego, los investigadores de Microsoft construyeron una etapa de captura completa utilizando múltiples cámaras, dispositivos Kinect y algoritmos que generaron una captura volumétrica completa a partir de la información óptica y de profundidad combinada. Este es ahora el Estudio de captura de realidad mixta de Microsoft , utilizado hoy como parte de su división de investigación y en ciertas experiencias comerciales seleccionadas, como la experiencia de realidad virtual Blade Runner 2049 . Actualmente hay tres estudios en funcionamiento: Redmond, Washington; San Francisco, CA y Londres, Inglaterra. Si bien esta sigue siendo una configuración muy interesante para el mercado de alta gama, el precio asequible de un solo dispositivo Kinect llevó a más artistas experimentales y directores independientes a participar activamente en el campo de la captura volumétrica. Dos resultados de esta actividad son Depthkit y EF EVE ™ . EF EVE ™ admite uno o dos sensores en una PC, lo que brinda una captura volumétrica completa con una configuración sencilla. También tiene calibración automática de sensores y funcionalidad VFX. Depthkit es un paquete de software que permite la captura de datos geométricos con un sensor de luz estructurado que incluye Azure Kinect, así como detalles de color de alta calidad de una cámara testigo adjunta.

Fotogrametría

La fotogrametría describe el proceso de medición de datos basados ​​en referencias fotográficas. Si bien es tan antiguo como la fotografía en sí, solo a través de los avances a lo largo de los años en la investigación de captura volumétrica, ahora es posible capturar más y más detalles de geometría y textura a partir de una gran cantidad de imágenes de entrada. El resultado generalmente se divide en dos fuentes compuestas, geometría estática y captura de rendimiento completo. Para la geometría estática, los conjuntos que se capturan con una gran cantidad de imágenes digitales superpuestas se alinean entre sí utilizando características similares en las imágenes y se utilizan como base para la triangulación y la estimación de profundidad. Esta información se interpreta como geometría 3D , lo que resulta en una réplica casi perfecta del conjunto. Sin embargo, la captura de rendimiento completo utiliza una serie de cámaras de video para capturar información en tiempo real. A continuación, esas cámaras sincronizadas se utilizan fotograma a fotograma para generar un conjunto de puntos o geometría que se pueden reproducir a gran velocidad, lo que da como resultado la captura de rendimiento volumétrico completo que se puede componer en cualquier entorno. En 2008, 4DViews instaló un primer sistema de captura de video volumétrico en el estudio DigiCast en Tokio (JP). Más tarde, en 2015, 8i contribuyó en el campo, y recientemente Intel, Microsoft y Samsung se han unido para crear sus propias etapas de captura para la captura de rendimiento y fotogrametría.

Realidad virtual

A medida que el video volumétrico se convirtió en un enfoque comercialmente aplicable a la captura del entorno y el rendimiento, la capacidad de moverse por los resultados con seis grados de libertad y la verdadera estereoscopía requirió un nuevo tipo de dispositivo de visualización. Con el aumento de la realidad virtual orientada al consumidor en 2016 a través de dispositivos como Oculus Rift y HTC Vive , esto fue posible de repente. La visualización estereoscópica y la capacidad de rotar y mover la cabeza, así como moverse en un espacio pequeño, permite la inmersión en entornos mucho más allá de lo que era posible en el pasado. La naturaleza fotográfica de las capturas combinada con esta inmersión y la interactividad resultante es un paso de gigante más cerca de ser el santo grial de la verdadera realidad virtual. Con el aumento del contenido de video de 360 ​​°, la demanda de captura 6-DOF está aumentando, y la realidad virtual en particular impulsa las aplicaciones de esta tecnología, fusionando lentamente el cine, los juegos y el arte con el campo de la investigación de captura volumétrica.

Campos de luz

Los campos de luz describen en un punto de muestra dado la luz entrante desde todas las direcciones. Luego, esto se usa en el procesamiento posterior para generar efectos como la profundidad de campo , además de permitir que el usuario mueva la cabeza ligeramente. Desde 2006, Lytro está creando cámaras orientadas al consumidor para permitir la captura de campos de luz. Los campos se pueden capturar de adentro hacia afuera en la cámara o de afuera hacia adentro a partir de representaciones de geometría 3D, lo que representa una gran cantidad de información lista para ser manipulada. Actualmente, las velocidades de datos siguen siendo un gran problema y la técnica tiene un gran potencial para el futuro, ya que muestra la luz y muestra el resultado de diversas formas.

Otro subproducto de esta técnica es un mapa de profundidad razonablemente preciso de la escena. Lo que significa que cada píxel tiene información sobre su distancia a la cámara. Facebook está utilizando esta idea en su familia de cámaras Surround360 para capturar imágenes de video de 360 ​​° que se están uniendo con la ayuda de mapas de distancia. La extracción de estos datos sin procesar es posible y permite una captura de alta resolución de cualquier etapa. Una vez más, las velocidades de datos combinadas con la fidelidad de los mapas de profundidad son enormes cuellos de botella, pero pronto se superarán con técnicas de estimación de profundidad más avanzadas, compresión y campos de luz paramétricos.

Flujos de trabajo

Actualmente están disponibles diferentes flujos de trabajo para generar video volumétrico. Estos no son mutuamente excluyentes y se utilizan eficazmente en combinaciones. A continuación, se muestran algunos ejemplos que muestran algunos de ellos:

A base de malla

Este enfoque genera una malla triangular 3D más tradicional similar a la geometría utilizada para juegos de computadora y efectos visuales. El volumen de datos suele ser menor, pero la cuantificación de datos del mundo real en datos de menor resolución limita la resolución y la fidelidad visual. Las compensaciones generalmente se realizan entre la densidad de la malla y el rendimiento de la experiencia final.

La fotogrametría se usa generalmente como base para mallas estáticas, y luego se aumenta con la captura de desempeño del talento a través de la misma tecnología subyacente de videogrametría . Se requiere una limpieza intensa para crear el conjunto final de triángulos. Para extenderse más allá del mundo físico, las técnicas de CG se pueden implementar para mejorar aún más los datos capturados, empleando artistas para construir sobre y dentro de la malla estática según sea necesario. La reproducción generalmente se maneja mediante un motor en tiempo real y se asemeja a una tubería de juego tradicional en la implementación, lo que permite cambios de iluminación interactivos y formas creativas y archivables de componer mallas estáticas y animadas.

Basado en puntos

Recientemente, el foco de atención se ha desplazado hacia la captura volumétrica basada en puntos . Los datos resultantes se representan como puntos o partículas en el espacio 3D que llevan atributos como el color y el tamaño del punto. Esto permite una mayor densidad de información y contenido de mayor resolución. Las velocidades de datos requeridas son grandes y el hardware de gráficos actual no está optimizado para renderizar esto, y está optimizado para una canalización de renderización basada en malla.

La principal ventaja de los puntos es la posibilidad de una mayor resolución espacial. Los puntos se pueden dispersar en mallas triangulares con iluminación precalculada o se pueden usar directamente desde un escáner LIDAR. El desempeño del talento se captura de la misma manera que con el enfoque basado en malla, pero se puede usar más tiempo y poder computacional en el momento de la producción para mejorar aún más los datos. En la reproducción, el "nivel de detalle" se puede utilizar para administrar la carga computacional en el dispositivo de reproducción, aumentando o disminuyendo el número de polígonos. Los cambios de luz interactivos son más difíciles de realizar ya que la mayor parte de los datos están precocinados. Esto significa que, si bien la información de iluminación almacenada con los puntos es muy precisa y de alta fidelidad, carece de la capacidad de cambiar fácilmente en cualquier situación dada. Otro beneficio de la captura de puntos es que los gráficos por computadora se pueden renderizar con una calidad muy alta y también almacenarse como puntos, lo que abre la puerta a una combinación perfecta de elementos reales e imaginarios.

Después de capturar y generar los datos, la edición y composición se realiza dentro de un motor en tiempo real, conectando las acciones grabadas para contar la historia deseada. El producto final puede verse como una representación plana de los datos capturados o de forma interactiva en un visor de realidad virtual .

Si bien un objetivo, con el enfoque basado en puntos para la captura volumétrica, es transmitir datos de puntos desde la nube al usuario en el hogar, permitiendo la creación y difusión de mundos virtuales realistas bajo demanda, un segundo objetivo considerado más recientemente sería un objetivo real. flujo de datos de tiempo de eventos en vivo. Esto requiere un ancho de banda muy alto ya que la información de píxeles incluye datos de profundidad (es decir, se convierten en vóxeles)

Promesas

Con la comprensión general de la tecnología en mente, este capítulo describirá los avances en el horizonte para el entretenimiento y otras industrias, así como el potencial que tiene esta tecnología para cambiar el panorama de los medios.

Verdadera inmersión

A medida que el video volumétrico evoluciona hacia la captura global y el hardware de la pantalla evoluciona para igualar, entraremos en una era de verdadera inmersión donde los matices del entorno capturado combinados con los de las interpretaciones capturadas transmitirán emocionalidad en un medio completamente nuevo, difuminando los límites entre lo real. y mundos virtuales. Este pionero en el mundo de los trucos sensoriales provocará una evolución en la forma en que consumimos los medios, y mientras las tecnologías para otros sentidos como el olfato, el olfato y la propiocepción todavía están en la etapa de investigación y desarrollo, un día en un futuro no muy lejano. viajaremos de manera convincente a nuevos lugares, tanto reales como imaginarios. Las industrias del turismo y el periodismo encontrarán una nueva vida en la capacidad de transportar a un espectador o visitante de manera segura a un lugar, mientras que otras, como la visualización arquitectónica y la ingeniería civil, encontrarán formas de construir estructuras y ciudades enteras y explorarlas sin la necesidad de un solo golpe de un martillo.

Captura y reutilización completas

Una vez que se crea y se guarda una captura, se puede reutilizar e incluso posiblemente reutilizar hasta la saciedad para circunstancias más allá del alcance previsto inicialmente. La creación de un escenario virtual permite a los videógrafos y directores de fotografía volumétricos crear historias y planificar tomas sin necesidad de un equipo o incluso estar presentes en el escenario físico en sí, y una visualización adecuada puede ayudar a un actor o intérprete a bloquear una escena o acción con comodidad. que su práctica no está a expensas del resto de la producción. Los conjuntos antiguos se pueden capturar digitalmente antes de ser derribados, lo que les permite persistir eternamente como un lugar para volver a visitar y explorar en busca de entretenimiento e inspiración, y se pueden combinar varios conjuntos de tal manera que se aprieten los bucles de iteración del diseño del escenario, el sonido diseño, coloración y muchos otros aspectos de la producción.

Conjuntos de habilidades tradicionales

Un área de preocupación con el creciente campo de la captura volumétrica es la reducción de la demanda de habilidades tradicionales como modelado, iluminación, animación, etc. Sin embargo, mientras que en el futuro la pila de tecnologías de captura volumétrica orientadas a la producción crecerá y crecerá, también lo hará la demanda de habilidades tradicionales.

La captura volumétrica sobresale en la captura de datos estáticos o imágenes animadas pre-renderizadas. Sin embargo, no puede crear un entorno imaginario o permitir de forma nativa ningún nivel de interactividad. Aquí es donde los artistas y desarrolladores calificados tendrán una mayor demanda, creando eventos y activos interactivos sin interrupciones para complementar los datos de geometría existentes, o utilizando los datos existentes como base sobre la cual construir, de manera similar a cómo un pintor digital podría pintar sobre un básico. Render 3D. La responsabilidad recaerá en el artesano para garantizar que se mantengan al día con las herramientas y los flujos de trabajo que mejor se adapten a sus habilidades, pero los prudentes encontrarán que la línea de producción del futuro involucrará muchas oportunidades para agilizar la creación de trabajadores intensivos en mano de obra y que permitan para invertir en mayores desafíos creativos.

Lo más importante es que las habilidades que actualmente se vuelven semi-obsoletas por los avances en gráficos por computadora y renderizado fuera de línea volverán a ser relevantes, ya que la fidelidad de cosas como decorados reales hechos a mano, trajes hechos a medida de calidad representados como capturas de alto volumen casi siempre lo serán. mucho más inmersivo que cualquier cosa completamente generada por computadora. Al combinar estas capturas de escenarios de la vida real con las capturas volumétricas de elementos CG adicionales, podremos combinar la vida real y nuestra imaginación de una manera que solo antes habíamos podido hacer en una pantalla plana, creando nuevos campos. en áreas como composición y VFX.

Desafíos

El proceso de captura y creación de datos volumétricos está lleno de desafíos y problemas sin resolver. Es el siguiente paso en cinematografía y viene con problemas que se eliminarán con el tiempo.

Lenguaje visual

Como cada medio crea su propio lenguaje visual, reglas y enfoques creativos, el video volumétrico todavía está en la infancia de esto. Esto se compara con la adición de sonido a las imágenes en movimiento. Debían crearse y probarse nuevas filosofías de diseño. Actualmente, el lenguaje del cine, el arte de la dirección se ha endurecido durante más de 100 años. En un mundo completamente interactivo y no lineal de seis grados de libertad, muchos de los enfoques tradicionales no pueden funcionar. Cuantas más experiencias se creen y analicen, más rápido podrá la comunidad llegar a una conclusión sobre este lenguaje de experiencias.

Interrupción de la tubería

Los canales y producciones actuales de producción de videos y películas no están listos para ser volumétricos. Cada paso del proceso de realización de películas debe repensarse y reinventarse. La captura en el set, la dirección del talento en el set, la edición, la fotografía, la narración de historias y mucho más son campos que necesitan dedicar tiempo para adaptarse a los flujos de trabajo volumétricos. Actualmente, cada producción utiliza una variedad de tecnologías, además de probar las reglas de enfrentamiento.

Tasas de transferencia de datos

Para almacenar y reproducir los datos capturados, es necesario transmitir al consumidor conjuntos enormes. Actualmente, la forma más eficaz es crear aplicaciones personalizadas que se entreguen. Todavía no existe un estándar que genere video volumétrico y lo haga experimentable en casa. La compresión de estos datos está comenzando a estar disponible con el Grupo de expertos en imágenes en movimiento en busca de una forma razonable de transmitir los datos. Esto haría que los proyectos inmersivos verdaderamente interactivos estén disponibles para ser distribuidos y trabajados de manera más eficiente y deben resolverse antes de que el medio se convierta en la corriente principal.

Aplicaciones futuras

Además de la aplicación en el entretenimiento, varias otras industrias han adquirido interés en la captura de escenas con el detalle descrito anteriormente. Los eventos deportivos se beneficiarían enormemente de una repetición detallada del estado de un juego. Esto ya está sucediendo en el fútbol americano y el béisbol, así como en el fútbol británico. Esas repeticiones de 360 ​​° permitirán a los espectadores en el futuro analizar un partido desde múltiples perspectivas.

Documentar espacios para hechos históricos, capturados en vivo o recreados beneficiará enormemente al sector educativo. Las conferencias virtuales que representan los grandes eventos de la historia con un componente inmersivo ayudarán a las generaciones futuras a imaginar espacios y aprender de manera colaborativa sobre los eventos. Esto se puede resumir y utilizar para visualizar escenarios de microescala a nivel celular tanto como eventos épicos que cambiaron el curso del experimento humano. La principal ventaja es que los viajes de campo virtuales es la democratización de escenarios educativos de alto nivel. Poder participar en la visita de un museo sin tener que estar físicamente allí permite una audiencia más amplia y también permite a las instituciones mostrar todo su inventario en lugar de la subsección que se exhibe actualmente.

Los bienes raíces y el turismo podrían obtener una vista previa de los destinos con precisión y hacer que la industria minorista sea mucho más personalizada para el individuo. La captura de productos para zapatos ya se ha realizado y los espejos mágicos se pueden usar en las tiendas para visualizar esto. Los centros comerciales han comenzado a adoptar esto para repoblarlos atrayendo clientes con VR Arcades y presentando mercadería virtualmente.

Referencias

Lista de experiencias que contribuyen

• House of Cards, Radiohead, Video musical
• Carne Y Arena, Alejandro G. Iñárritu, LACMA Art Exhibit
• Blade Runner 2049: Memory Lab, VR Experience (filmado en Microsoft Mixed Reality Capture Studio, Redmond, WA)
• William Patrick Corgan: Aeronaut, experiencia de realidad virtual y video musical (filmado en Microsoft Mixed Reality Capture Studio, Redmond, WA)
• Awake: Episode One , Start VR & Animal Logic, Interactive Cinematic VR Experience (filmado en Microsoft Mixed Reality Capture Studio, Redmond, WA)