Een video creëren op basis van tekst of een afbeelding? Het Adobe Firefly Video Model maakt dit mogelijk voor een brede groep gebruikers.
Binnen de Adobe-software stelt Firefly Image gebruikers al in staat om op basis van een tekstopdracht een afbeelding te genereren. Firefly ondersteunt creatievelingen inmiddels al zo’n anderhalf jaar, onder andere ook via Firefly Vector (voor vectorafbeeldingen) en Firefly Design (voor templateontwerp). Nu worden de mogelijkheden aanzienlijk uitgebreid met de lancering van het “eerste publiek beschikbare videomodel dat ontworpen is om veilig te zijn voor commercieel gebruik”.
Het videomodel is als bèta beschikbaar in de Firefly-webapp. Via een tekstprompt kan het model binnen enkele minuten een korte videoclip maken. Bijvoorbeeld zoals in onderstaande beelden, waarbij de prompt was: “Miniature adorable monsters made out of wool and felt, dancing with each other, 3d render, octane, soft lighting, dreamy bokeh, cinematic“.
Capaciteiten
Voor het bewerken van de beelden biedt de Adobe-tool verschillende opties, waaronder aanpassingen voor de kijkhoek, beweging en zoomen. Ook kan gebruik worden gemaakt van referentiebeelden voor B-Roll-generatie, om gaten in een videotijdlijn te vullen. Indien gewenst kan de gebruiker ook de image-to-video optie inzetten, waarmee van een stilstaand beeld een clip wordt gemaakt.
In de bèta, waartoe een beperkte groep toegang heeft, wil Adobe feedback verzamelen van creatieve professionals. Deze feedback zal door de softwareleverancier worden gebruikt om het model verder te verfijnen.
Adobe gebruikte voor eerdere Firefly-functies een dataset met gelicentieerde content en publiekelijk beschikbaar materiaal. Deze aanpak lijkt te worden voortgezet met het nieuwe videomodel. De nu getoonde clips zijn kort van duur, rond de 5 tot 10 seconden.
Tip: Onduidelijkheid over trainingsdata Sora-model voor genereren video’s