La última demostración de IA de Nvidia es bastante impresionante: una herramienta que convierte rápidamente unas «pocas docenas» de instantáneas en 2D en una escena renderizada en 3D.
En el siguiente vídeo puedes ver el método en acción, con un modelo vestido como Andy Warhol que sostiene una cámara Polaroid antigua. (No pienses demasiado en la conexión con Warhol: es sólo un poco de adorno de relaciones públicas).
La herramienta se llama Instant NeRF, en referencia a los «campos de radiación neural», una técnica desarrollada por investigadores de la UC Berkeley, Google Research y la UC San Diego en 2020.
Si quieres una explicación detallada de los campos de radiancia neural, puedes leer una aquí, pero en resumen, el método mapea el color y la intensidad de la luz de diferentes tomas 2D, luego genera datos para conectar estas imágenes desde diferentes puntos de vista y renderizar una escena 3D terminada.
Además de las imágenes, el sistema requiere datos sobre la posición de la cámara.
Los investigadores llevan un par de años mejorando este tipo de modelo de 2D a 3D, añadiendo más detalles a los renders acabados y aumentando la velocidad de renderizado.
Nvidia afirma que su nuevo modelo Instant NeRF es uno de los más rápidos que se han desarrollado hasta ahora y reduce el tiempo de renderizado de unos pocos minutos a un proceso que se termina «casi instantáneamente».
A medida que la técnica se hace más rápida y fácil de implementar, podría utilizarse para todo tipo de tareas, dice Nvidia en una entrada del blog que describe el trabajo.
«La NeRF instantánea podría utilizarse para crear avatares o escenas para mundos virtuales, para capturar a los participantes en videoconferencias y sus entornos en 3D, o para reconstruir escenas para mapas digitales en 3D», escribe Isha Salian, de Nvidia. «La tecnología podría utilizarse para entrenar a los robots y a los coches de autoconducción para que comprendan el tamaño y la forma de los objetos del mundo real mediante la captura de imágenes 2D o secuencias de vídeo de los mismos.
También podría utilizarse en arquitectura y entretenimiento para generar rápidamente representaciones digitales de entornos reales que los creadores puedan modificar y construir.» (Parece que el metaverso nos llama.)
En un artículo que describe el trabajo, los investigadores de Nvidia afirman que fueron capaces de exportar escenas a una resolución de 1920 × 1080 «en decenas de milisegundos».
Los investigadores también compartieron el código fuente del proyecto, lo que permite a otros implementar sus métodos.
Parece que los renders NeRF están progresando rápidamente, y podrían empezar a tener un impacto en el mundo real en los próximos años.
