El supervisor de efectos visuales de los efectos visuales del director James Cameron y Wētā FX, Joe Letteri, no perdió el tiempo sentando las bases para "el camino del agua". Después de que el "avatar" que cambia el juego revolucionó la producción virtual y la captura de rendimiento en 2010, Cameron y Letteri se reunieron en un retiro para evaluar lo que podrían hacer mejor. Afortunadamente, Wētā estaba en marcha para refinar sus capacidades de captura de rendimiento y animación facial, junto con la escritura del software para su motor de renderizado basado en físicos, manuka y herramienta previa a la iluminación en tiempo real, Gazebo, Gazebo, Gazebo, Gazebo, Gazebo.
Lo que Cameron tenía en mente para "el camino del agua" requería una tecnología innovadora aún mayor de Wētā y su propio estudio de tormentas de luz. El director quería que el aspecto de un Doc Natgeo para su secuela de ciencia ficción, que expandiría el mundo de Pandora para incluir al clan Metkayina Reef y su magnífica cultura submarina. Para esto, Cameron y Letteri se asociaron en su empresa más ambiciosa hasta la fecha. Mientras el director encabezó el diseño de una cámara 3D Sonecia 3D de 180 libras para disparar captura de rendimiento submarino por primera vez, el equipo de VFX en Wētā amplió sus soluciones de flujo de trabajo para ingerir la gran cantidad de activos que se animarán en Nueva Zelanda. Al mismo tiempo, Letteri se dio cuenta de que necesitaba revisar el software de animación facial de Wētā para satisfacer las demandas realistas de las actuaciones de los actores. Entonces, el estudio VFX creó un nuevo sistema facial revolucionario basado en músculo llamado APFSA (sistema facial anatómicamente plausible). Esto reemplazó el solucionador de forma de mezcla (FACS) anticuado con algo más amigable para el animador manipulando los músculos directamente en los modelos para obtener actuaciones más matizadas.
El liderazgo de Letteri no se detuvo allí. Además, Wētā reconstruyó todo su enfoque de simulación utilizando una metodología global que permitió un nuevo nivel de realismo e interacción para el cabello, la tela, la piel y las superficies duras. Esto también abarcó una nueva herramienta de simulación FX llamada Loki para agua y fuego. Cameron tenía demandas muy específicas de apariencia y comportamiento del agua, tanto en la superficie como en las profundidades, y quería que el fuego de CG se viera lo más cerca posible de fuego práctico. Esto requirió una mayor comprensión de la combustión por parte del equipo de tecnología, y Letteri les hizo comenzar con una prueba de velas antes de abordar la destrucción más compleja causada por los lanzadores de llamas.
El cinco veces ganador del Oscar ("Avatar", "King Kong", "El señor de los anillos: el regreso del rey" y "las dos torres", además de un premio compartido Wētā Sci-Tech para la reproducción de la piel) discutió esto y más en una conversación amplia con Indiewire poco antes del lanzamiento de "The Way of Water".
Indiewire: ¿Cuándo comenzó técnicamente a trabajar en "Avatar: The Way of Water"?
Joe Letteri:Una vez que comenzamos a mirar el guión y desarrollar los activos, creo que fue sobre 2013. El trabajo pesado con las pérdidas de balón que entró y todo fue 2017. Aunque, después de["Avatar"], hicimos todo este postmortem - Jim[Cameron]Quería saber: "¿Qué podríamos hacer mejor la próxima vez?" Así que realmente hemos estado trabajando desde entonces, desarrollando todo el sistema de producción virtual, escribiendo el software.
Escribimos a Manuka para el motor de renderizado que hemos usado desde el tercer "Hobbit" y "Apes", eso ha estado ahí fuera por un tiempo. Pero, también, al mismo tiempo, escribimos Gazebo, que era la contraparte en tiempo real, que podría usarse en el escenario y darle paridad visual, y los sombreadores funcionarían de la misma manera. Todo lo que ha estado en marcha desde 2010, tratando de construir un sistema que integrara lo que Lightstorm estaba haciendo en el escenario con lo que estamos haciendo.
¿Qué tan útil fue el trabajo que siguió haciendo para películas como "Apes", "Alita: Battle Angel" y "Gemini Man"?
Siempre es realmente útil porque nos permitió progresar, progresar y progresar con lo que estábamos haciendo.
Después de "Alita", me di cuenta de que todo el sistema facial que habíamos estado haciendo era fin de línea, por lo que necesitábamos cambiar eso. Entonces escribimos un nuevo sistema facial para["El camino del agua": APFSA]. Utilizamos una red neuronal para encontrar una base para los músculos, ese es el motor que ahora está impulsando todo. Podemos tratar de resolver los músculos del actor, transferirlo al personaje y luego los animadores tienen control directo de los músculos.
También tienen controles de pose de nivel superior. Nos permitió trabajar en cualquier nivel en el que el animador necesita trabajar, que el antiguo sistema FACS no podía. Solo puede trabajar con las formas de mezcla, por lo que si tiene que modificar el rendimiento, porque los solucionadores nunca son 100 por ciento correctos de todos modos, los animadores siempre tienen que hacer algo, o poner dos actuaciones juntas, esta es una herramienta mucho mejor.
Siempre es un proceso iterativo. Siempre te estás basando en lo que tenías antes, pero luego estás construyendo las cosas nuevas que no tienes, y esas se convierten en las herramientas que usas la próxima vez.
"Avatar: The Way of Water" cortesía de los estudios del siglo XX
¿Dirías que esto es tanto un cambio de juego como el primer "avatar"?
El primero realmente se sintió más como un cambio de juego, solo porque, para mí, saliendo de "Lord of the Rings" y "King Kong", era una oportunidad para decir: "Ok, ahora necesitamos construir el mundo entero. ¿Qué hacemos? "Hicimos un balance de todo lo que hicimos e integramos con las ideas de Jim de la cámara virtual. Era como, "Ok, esta es una nueva plataforma".
Aquí, estamos construyendo sobre eso. Si necesita disparar bajo el agua o integrar personajes con acción en vivo, muchas de las técnicas que se nos ocurrieron, como la composición de profundidad, serían realmente útiles. Algunos directores usarán eso, otros no. Pero, para nosotros, es completamente lo que necesitamos hacer estas películas.
Lo principal en "The Way of Water" es que introduces el Metkayina y el mundo submarino.
Los personajes fueron interesantes porque tratamos de tratarlo como si fueran otra especie de la misma criatura. Tal vez ni siquiera son una especie diferente: son Na’vi, pero tienen sus propias diferencias porque se han adaptado al agua. Tienen esas colas más grandes y más fuertes, las membranas nictitantes, las membranas adicionales en la piel para hacerlas más hidrodinámicas, los llamamos "hebras". Queríamos diferenciarlas para demostrar que realmente estaban adaptadas a este entorno, pero también porque mejora las diferencias entre la familia de Sully.[y la Metkayina].[Ellos son]básicamente inmigrando a este lugar y buscando refugio, sabiendo que están[Risas.]peces fuera del agua.
¿Cuáles fueron algunas de las casillas que Cameron quería marcar para esto, según el guión?
Creo que para Jim, lo más importante fue hacer el agua y la captura de agua porque no quería hacer esto de una manera en la que tenías un montón de pantomima, y luego solo animamos encima. Realmente quería que la actuación se sintiera natural en el agua.
Detrás de escena de "Avatar: The Way of Water" Mark Fellman/Walt Disney Studios Motion Pictures/Cortesía de Everett Collection
¿Qué estaba involucrado con eso?
Todo eso se manejó en el lado de la tormenta de luz porque ahora poseen estudios gigantes, así que tenías a Ryan Champney[Supervisor de producción virtual de tormenta de luz]Y esos tipos allí trabajando en ello. Y creo que mucho de eso habría llegado a que necesitáramos dos volúmenes: uno debajo y otro sobre el agua. Tuvieron que trabajar simultáneamente. Y solo funciona cosas como, "¿Qué espectro de luz usamos para las cámaras y para los reflectores?" De vuelta en "Apes", se nos ocurrió esta idea de usar luces infrarrojas para poder grabar durante el día. Y esa resultó ser una técnica muy útil para la captura en general porque es menos propenso a reflexiones extraviadas y cosas así. No puede usar luz infrarroja bajo el agua porque la luz roja se absorbe casi al instante. Así que cambiaron a usar una luz ultra azul para el submarino pero infrarrojo arriba, y luego tuvieron que armar los dos en tiempo real para que vea el rendimiento virtual.
¿Cómo la integración de las imágenes submarinas de acción en vivo en el trabajo de simulación?
Algo de eso estaba bajo el agua, como con la araña[El niño humano jugado por Jack Champion]Natación, pero mucho de eso sucedió en la superficie. Construyeron estas rocas en el borde del tanque y tenían cavadores haciendo las olas. Entonces, cuando Spider entra y sale de la orilla con los otros personajes, tuvimos todo. Pero este sistema de composición de profundidad que construimos resultó funcionar bastante bien para el agua.
En la primera película, creamos este concepto de composición de profundidad, porque era una película estéreo, trabajar en capas era imposible. Además, moverse a través de la jungla, tratar de dividir esas cosas en compuestas tradicionales basadas en capas, fue demasiado difícil. Así que tuvimos esta idea de una profundidad de composición donde cada píxel lleva su propia información de profundidad, por lo que la composición se hace píxel por píxel. Y eso se convirtió en una técnica estándar.
Para esta película, utilizamos el aprendizaje profundo y construimos una red neuronal para analizar la escena a medida que se filmaba. Agregamos un estéreo Basler[cámara]Combina encima de la cámara principal, y eso nos permitió resolver para profundidad en tiempo real, Pixel by Pixel. Para que cualquier cosa que compusiéramos, como si Edie Falco estuviera hablando con Quaritch[Stephen Lang], teníamos su profundidad de píxeles, por lo que Quaritch podía caminar alrededor de ella, ella podía caminar alrededor de él, y Jim o quien estaba operando podía ver eso en la alimentación del video. Y eso también funcionó para el agua. Cuando teníamos personajes en el agua cuando estábamos disparando en vivo, en realidad podríamos rastrear la superficie del agua en profundidad. Realmente nos ayudó a integrar el agua cuando tuvimos que combinar entre el agua de primer plano de acción real y todo el agua circundante y los personajes de captura de rendimiento.
Entiendo que revisó la simulación como parte del proceso, incluido el agua y el fuego. Y Jim, que entiende tanto bajo el agua como cualquier persona, tenía ideas sobre cómo quería que se desempeñara el agua. Cuéntame sobre esa colaboración y convertir eso en agua simulada. ¿Creo que se llama Loki?
[Loki es]Un conjunto de solucionadores que funcionan juntos. Debido a que el agua existe en todas estas escamas diferentes: tienes el gran agua a granel, pero luego, si tienes un chapuzón, comienza a romperse, luego se rompe más en spray y luego se rompe en la niebla. Físicamente, todos tienen diferentes formas de interactuar con el aire y el arrastre.
Lo que hace Loki es que tenemos una cosa llamada Máquina de Estado que analiza los estados que el agua está y maneja la transición, y luego básicamente pasa, según el estado, a un sub-solucionador que está optimizado para cada uno de esos estados y luego los reintegra para que obtenga un pase que tenga todo en él. Pero todo está teniendo en cuenta la física de lo que debería estar haciendo cada escala de agua.
"Avatar: The Way of Water" cortesía de los estudios del siglo XX
Cuéntame sobre los entornos simulados para las selvas y todo el mundo submarino.
Ambos tenían un enfoque similar porque tienes que construir todas las piezas. Jim Art dirigió mucho en la etapa de captura, poniendo cosas donde quería cuando lo estaba viendo a través de la cámara virtual.
Mucho de esto se reduce a la interacción: tienes viento o tienes personajes que se mueven a través de la jungla, interactuando con las cosas. Así que estás haciendo muchas colisiones y dinámicas para que eso funcione. Pero bajo el agua, tiene una corriente, como las olas inducen una corriente debajo del agua que va de arriba a abajo. Entonces, no es una gran corriente como, digamos la transmisión del Golfo, no algo a escala global, pero localmente las olas afectarán lo que está sucediendo debajo. Entonces simulamos eso también.
Generamos un campo actual a partir del patrón de onda, y eso causaría el movimiento de los corales submarinos. Pero también usamos eso para afectar a los artistas porque tuvieron que reaccionar de la misma manera: si está nadando en la corriente, tendrá un movimiento diferente que si está nadando fuera de la corriente. Y esa corriente no siempre coincidía con lo que estaba sucediendo en el tanque. Por lo tanto, tomaríamos el movimiento y lo modificaríamos para que se ajuste al flujo de corriente adecuado. Y lo mismo con la cámara. Si tiene un operador de cámara bajo el agua, los transportan por la misma corriente: no se separan de ella. Así que necesitábamos asegurarnos de que la cámara hiciera lo mismo para que todo estuviera integrado.
En el lado de la animación, poder cultivar la fauna y la flora debajo del agua: ¿usó un sistema existente? En "Apes", tenías la herramienta de árbol orgánico, Totara.
Adaptamos ese sistema para hacer el coral. Se escribieron cosas nuevas sobre cómo crece Coral. Pero pudimos usar los mismos componentes básicos porque cuando lo construimos, ya teníamos todo eso en mente.
¿Y lo mismo para la jungla y el pueblo?
Fue una combinación. El pueblo era diferente. La jungla, tienes una combinación de árboles dirigidos por arte que están básicamente esculpidos, como estarían en el escenario, y tuviste otros que se cultivaron. Pero luego, en el pueblo, aparte de los árboles, todo fue construido con este material tejido.[Weth]El taller hizo estas grandes miniaturas que tejieron utilizando técnicas de tejido tradicionales, y construyeron todo y construyeron un marco, y podríamos usar eso no solo para estudios de iluminación sino para comprender cómo crear estos materiales tejidos. Lo mismo fue para los disfraces, y luego escribimos un nuevo software que imitaría los patrones de tejido para las canastas, para lo que llevaban, para la pasarela en la que están, para las paredes. Todo eso está tejido de miles y miles de hilos de una especie de fibra de cáñamo.
La iluminación también es importante. Para la cinematografía de Russell Carpenter, tuvo que pasar mucho tiempo con la iluminación virtual y la coincidencia. Y luego tienes toda la iluminación bioluminiscente bajo el agua. Sé que tenías el sistema de luz Phys para simular la iluminación en el set, ¿construiste sobre eso?
Estaba prácticamente usando eso. Creo que el verdadero truco fue, porque Jim estaba haciendo la cámara virtual trabajando en la iluminación a medida que avanzamos, todos seguíamos lo que estableció, ya sea que fuera de acción en vivo con Russell o nosotros para todos los CG o si era una mezcla.
Pero la ventaja allí es que habíamos escrito Gazebo, lo que significaba que cualquier luces que estuvieran usando en el escenario eran físicamente precisas para una primera aproximación. Obviamente, tomas muchos atajos para obtener en tiempo real, pero al menos sabíamos que había paridad allí. Eso nos ayudó, y también ayudó a Russell porque las luces no estaban haciendo demasiado extrañas que no podía obtener una mirada similar al estudiar eso e iluminarlo de verdad. Creo que de ahí fue la mayor parte de eso: el hecho de que habíamos construido esta plataforma integrada de la que todos estaban trabajando.
Hable más sobre la plataforma integrada para la cinematografía porque puede ser confuso: lo que se considera la cinematografía tradicional, qué es la cinematografía virtual y cómo se fusionan?
La forma en que funciona el proceso es que Jim comienza a diseñar mientras escribe. Tiene un departamento de arte que está haciendo bocetos y construyendo modelos CG e intentando preparar algo para la sesión virtual. Jim hace lo que llamamos una plantilla, donde para comenzar una versión virtual de la película. Eso comienza con algo llamado Scout, que es muy parecido a un explorador tradicional donde se levanta en el escenario por primera vez, obtienes todos los elementos en el entorno que deberían estar allí, y hay una compañía de actores complementarios que están haciendo la captura de rendimiento, y todo se hace para bloquear. Por lo tanto, realiza un juego para asegurarse de que "sí, estos son los activos correctos, esta es la forma en que debe verse el conjunto", llame a cualquier cambio y se remonta para obtener más detalles.
Una vez hecho todo esto, construyen una versión física utilizando estos como bloques de construcción de LEGO en el escenario, y la actuación los captura en eso. Entonces, los actores están trabajando en un conjunto que imita lo que va a ser en el mundo virtual final. Y luego Jim toma todo eso y comienza a seleccionar las actuaciones que le gustan de los actores. No hay una cámara en ese momento que no sea una cámara general de bloqueo, por lo que sabes en qué lado de la línea se supone que debes estar, por lo que Editorial tiene algo con lo que comenzar a trabajar.
Entonces Richie Baneham[Supervisor creativo de efectos visuales de Lightstorm]Toma todo eso de Jim Selects y los arregla todos y hace lo que llamamos un RCP, que es un pase de cámara difícil. Eso es ahora lo que Jim cree que va a disparar, como los ángulos de los que han hablado. Los editores están allí: las cosas se alimentan al ávido a medida que sucede, y los editores están llamando: "Sí, esto funciona" o "Podríamos necesitar otro ángulo desde aquí". Por lo tanto, están trabajando con Richie para bloquearlo para asegurarse de obtener toda la cobertura. Entonces eso va a Jim, y si todo está bien, entonces Jim sabe lo que tiene que comenzar a disparar. Y entrará y pondrá sus cámaras y hará los toques finales: cualquier ajuste que quiera hacer, selecciona una dirección de toma o arte o iluminación o cualquier cosa. Lo hace en ese paso final, dándonos la plantilla. Él trabaja toda la película de esa manera.
Antes de eso, comenzamos a desglosar lo que será de acción en vivo, lo que será todo CG y dónde va a suceder la mezcla. Le da a todos una plataforma común para trabajar. Todos tenemos algo que es más que un guión gráfico que nos da lo que esta película va a necesitar.
Y esta integración, que forma parte de la producción virtual, abarca todos los departamentos.
Lo hace. Y el software con el que hemos estado escribiendo y para Lightstorm desde 2010, lo llamamos Atlas, que es una especie de descripción de la escena combinada y un motor de evaluación. Por lo tanto, puede construir sus escenas, su entorno, su diseño, pero también puede tener una animación integrada, lo cual es obviamente importante cuando está haciendo algo en vivo porque está capturando la animación y dónde están las cosas.
¿Cómo describirías cómo era Jim durante todo esto?
Tuvimos una buena base de la primera película, y hemos estado trabajando en esto durante casi 10 años juntos, así que creo que todos tuvimos una buena comprensión, lo hicimos, de cuáles serían las fortalezas, lo que aún no se había agrietado. Y ya sabes, lo que pasa con Jim es que le gustan los efectos visuales y conoce los efectos visuales. Así que está feliz de entrar en las malas hierbas contigo si hay un problema e intenta descubrir qué está pasando y cómo podríamos resolverlo. Es genial porque entiende cuando golpeamos una pared, por qué golpeamos una pared
¿Fueron los mayores problemas formas de hacer un mayor realismo?
No, el mayor problema fue probablemente el agua. Cuando estamos filmando con la cámara virtual, estamos tratando de hacer todo lo más rápido posible porque queremos que se sienta como un cine de acción en vivo. Entonces hay una representación rápida de la superficie del agua. Pero si sabemos que algo como una criatura va a chapotear en el agua, simplemente tomarán una tarjeta con una película de salpicaduras y lo dejarán caer para indicar: "Ok, Splash sucede aquí. Jim cree que va a ser sobre esto grande y tan amplio", y esa es la cobertura en el marco. Luego, cuando haces la simulación real, es probable que salga diferente. Realmente no puedes saber cómo una gran criatura va a chapotear en el agua. Así que descubres de repente que Wave está cambiando tu composición porque está cubriendo la acción que necesitabas ver para la toma. Todo esto está tan bien planeado que si algo así rompe la toma, entonces la secuencia se rompe.
Eso fue probablemente lo más difícil de entender: ¿cómo domesticamos la simulación y los datos para hacer lo que queremos? Estás haciendo cosas como hacer trampa, estás engañando a misa, pero a veces realmente se requirió cambiar la cámara. Solo teníamos que decirle a Jim: "Esto no va a funcionar". Porque para empujarlo lo más lejos que necesitemos, para mantener todos los elementos de disparo allí, el agua se verá falso.
Detrás de escena de "Avatar: The Way of Water" Mark Fellman/Walt Disney Studios Motion Pictures/Cortesy Everett Collection
Entiendo que Jim realmente los puso a prueba con querer emular fuego real y decir: "No estoy seguro de que puedas hacer esto. Tomemos los pequeños pasos de una vela a través de lanzadores de llamas".
Bueno, la vela fue mi idea, no la de Jim, porque eso fue más y "OK, ¿cómo entendemos realmente el fuego?" Bueno, tienes que bajar al nivel más pequeño. Y resulta que incluso una vela es increíblemente compleja. Hay como miles de reacciones químicas que ocurren dentro de un nanosegundo. Es como, "Muy bien, nunca vamos a simular eso. Entonces, ¿cómo obtenemos el aspecto correcto que queremos?"
Pero fue muy instructivo hacer eso porque eso nos ayudó a construir el sistema más grande. Hicimos una prueba de lanzallamas en una gran parte de un Marui tejido, porque queríamos ver cómo se vería eso. Pero esas pruebas que hicimos con la vela ayudaron a informar incluso algo tan grande. Se habló mucho sobre tratar de hacer esa acción en vivo, pero simplemente no era práctico. Pensé que podríamos romperlo. Tener esa sesión como realmente buena referencia hizo el trabajo por nosotros.
¿Dónde estás con las otras películas?
Tres han sido disparados. Y realmente para nosotros, acabamos de comenzar con tres. Hubo algún plan que íbamos a comenzar más temprano en las tres, pero la realidad es que siempre terminas en el que estás primero.
¿Y cuatro?
Se dispararon un poco de cuatro. Debido a que en cuanto a la historia, hubo una superposición con los sets que debían construirse. Pero nos vamos a centrar en tres primero.
¿Sigues desarrollando software?
Siempre.
¿Habrá nuevas áreas de Pandora para ser exploradas además de bajo el agua?
Sabes de quién hacer esa pregunta.[Risas.]No soy yo.
Jim se burló de que el último pudiera tener lugar en la tierra.
Todo lo que puedo decir es que los he leído a todos. Son buenas historias.