El buque insignia de Adobe es Firefly, una herramienta de texto a imagen que alimenta el relleno generativo para Photoshop y texto a vector en Illustrator. Sin embargo, el modelo Firefly 2024 alimentará tres herramientas de video AI dentro del software de edición de video Premiere Pro: Extensión generativa, adición y eliminación de objetos, y texto a video.
Premiere ya permite a los editores de video integrar el software Adobe Creative Cloud como After Effects (Motion Graphics) y Audition (Sound Mezcle). El anuncio de hoy deja en claro que Adobe adoptará el mismo enfoque con AI. La compañía también anunció que está en "Exploraciones tempranas" integrar la generación de videos de OpenAI (), Runway y Pika Labs en estreno.
La semana pasada, Adobe demostró estas nuevas herramientas Gen AI para Indiewire y ejemplos compartidos (ver video en la parte superior de la página) de lo que estará disponible dentro de Premiere Pro antes de fin de año.
Extender generativo
Vista previa de la extensión generativa llegando a Premiere Pro
Cada editor ha deseado_Solo unos pocos más_marcos para permitir una edición o transición más suave. La herramienta Gen Extend permitiría a los editores usar IA para crear nuevos marcos de hasta unos "pocos segundos" que Adobe promete "agregará a la perfección los marcos para que los clips sean más largos".
En el video de vista previa, la herramienta extiende la actuación estoica de la actriz en un par de segundos para llenar un vacío en la línea de tiempo del editor. Mientras que extender el rendimiento introduce problemas éticos y sindicales, los cineastas han usado los trucos de VFX durante mucho tiempo para combinar imágenes para comprar algunos marcos adicionales. Esta herramienta podría permitir a los editores crear soluciones en tiempo real dentro del estreno.
Adición y eliminación de objetos
Una vista previa de la herramienta de objetos add llegando a Premiere Proadobe
Agregar y eliminar objetos del marco a menudo implica un trabajo minucioso de VFX, pero la herramienta Firefly permitiría que un editor lo haga en tiempo real. La clave será si Gen AI puede mantener el fotorrealismo. Los ejemplos ofrecidos en la vista previa de Adobe (agregando una pila de diamantes al maletín y eliminar una caja eléctrica del marco) aparecen fotorreales, manteniendo la imagen y la consistencia de la iluminación. Tanto en su comunicado de prensa como en una sesión informativa con Indiewire, Adobe insistió en que estos píxeles fueron generados por el próximo modelo de video Firefly sin una mayor manipulación.
Los primeros resultados parecen prometedores, pero hasta que los editores prueben lo impulsen en una amplia gama de imágenes, no sabremos cuán aplicables serán estas herramientas en el futuro cercano.
Texto a video
Una vista previa de agregar video de Gen AI de Operai Sora en Premiere Pro
Firefly no es nueva en términos de la capacidad de usar herramientas de texto a video para crear tomas. Lo fascinante es que Adobe les dará a los cineastas la capacidad de acceder a texto a video desde el estreno interior, e incluirá a los competidores de Firefly Sora, Runway y Pika Labs. Está claro que Adobe anticipa que los editores utilizan estas herramientas en sus flujos de trabajo diarios.
Credenciales de derechos de autor y contenido
Muchos modelos de imagen y video de Gen AI se basan en material con derechos de autor. En una entrevista vergonzosa, el CTO directo de OpenAi Sora se pregunta sobre lo que capacitó su modelo de video generativo.
Sin embargo, los cineastas han elogiado a Adobe por usar solo imágenes con licencia para entrenar Firefly. Los ejecutivos de Adobe confirmaron a Indiewire que el modelo de video Firefly que pronto será lanzado continuará respetando estas mismas reglas.
Es curioso, entonces, que Adobe integrará a las compañías de IA de terceros que son mucho menos éticas con respecto a los derechos de autor. Sin embargo, Adobe dijo que continuará el uso de credenciales de contenido.
\_ “\_ Como uno de los fundadores de la iniciativa de autenticidad de contenido, Adobe se compromete a adjuntar credenciales de contenido: tecnología gratuita y de código abierto que sirve como una etiqueta nutricional para el contenido en línea-a los activos producidos dentro de sus aplicaciones para que los usuarios puedan ver cómo se realizó el contenido. Y qué modelos de IA se usaron para generar el contenido creado en las plataformas Adobe ”, dice el comunicado de prensa de hoy.
Queda por ver la permanencia de estas etiquetas nutricionales, y con qué facilidad se pueden despegar del frasco.
Herramientas de audio de IA
En mayo, el flujo de trabajo de audio de Premiere obtendrá un conjunto actualizado de herramientas, algunas de las cuales están alimentadas por IA y han estado disponibles en beta por un tiempo. Estos incluyen:
Manijas de desvanecimiento interactivo:Los editores pueden crear transiciones de audio personalizadas arrastrando manijas de clip para crear desvanecimientos de audio.
Insignia de sonido esencial con etiquetado de categoría de audio:AI etiqueta automáticamente los clips de audio como diálogo, música, efectos de sonido o ambiente.
Insignias de efecto:Los indicadores visuales muestran qué clips tienen efectos, agrega rápidamente otros nuevos y abre automáticamente los parámetros del efecto de la secuencia.
Formas de onda rediseñadas en la línea de tiempo:Las formas de onda cambian de tamaño de manera inteligente a medida que la altura de la pista cambia en clips, mientras que los nuevos colores hacen que las secuencias sean más fáciles de leer.
Herramienta de habla mejorada de IA:Elimina el ruido no deseado y mejora el diálogo mal registrado; Este ha estado generalmente disponible desde febrero.