🤯⚡️Ditt egna personliga Hollywood

Nu kan text generera realistisk video. Detta förändrar ju allt!

Jun 15, 2023

Det här är nyhetsbrevet där Tomas Seo, innovationsstrateg på Phorecast, avslöjar händelser, upptäckter och ny teknik som får honom att utbrista: Detta förändrar ju allt! Du prenumererar på det här för att fortsätta vara steget före med de senaste trenderna och få konkreta tips för att framtidssäkra dig och din organisation. Har du fått det här av en vän? Då vill du nog ha en egen prenumeration.

Vad: ChatGPT som arbetsverktyg. Tomas Seo [det är ju jag] live-streamar.
När: Tisdag den 20/6 kl 9:00-10:00
Jag kommer berätta hur jag tänker för att få bättre resultat och ta emot frågor i chatten. (Gratis för dig som är prenumerant!).
🙋 Anmäl dig här, så jag vet ungefär hur många vi blir! 🙋

Visst kommer tv-serier bli ännu roligare när generativ AI ersätter skådisarna med dina megalomaniska kollegor?

Vad har hänt?

RunwayML gör Gen-2, deras text-till-video generativa AI, tillgänglig för alla och öppnar därmed upp nya möjligheter för videoproduktion.

Text-till-video-teknologi låter användaren generera en rörlig bild genom att endast ange en beskrivning i textform. RunwayML har tagit en ledande position inom detta område genom sin Gen-1 modell, och nu i onsdags blev Gen-2 (som uppvisat väldigt realiskta resultat under beta-perioden) tillgänglig för alla.

Den globala marknaden för AI-videogenerering uppskattades till $473 miljoner år 2022, med en beräknad årlig tillväxttakt (CAGR) på 19.7% från 2023 till 2030.

Detta förändrar ju allt!

Jag har personligen väntat på att se vad den här modellen klarar av. Det känns otroligt spännande att kunna göra film bara genom att skriva. Så klart är det inte riktigt så enkelt att få till det resultat som jag ser i huvudet. Så har det varit med alla generativa AI-verktyg. Numera har jag rutin på att testa nya generativa AI-verktyg. Så mitt testprotokoll för generativa AI-verktyg är ungefär så här:

Testa att försöka skapa det jag skulle ha nytta av.
Förbättra min förståelse av verktyget för att se om jag kan uppnå 1.
Utvärdera om det som verktyget enkelt klarar av är något jag har nytta av.

Steg 1.
Jag tänker att arbetsflödet borde vara: generera ett manus i ChatGPT, låt ChatGPT göra ut bildmanus för alla klipp som behövs och generera sedan ut dessa i Gen 2. Men även om den är hyperhajpad så klarar Gen-2 inte att vara så exakt som det krävs för att följa ett komplicerat bildmanus. Så fail på 1.

Steg 2.
Gen-2 har funnits ute för ett fåtal testare några veckor så jag kollar runt lite på Youtube för att se vilka prompter som funkar bra och dåligt. Träningsdatan är stock footage video vilket betyder att den lättare kommer generera bra resultat för kvinna som går på en gata, medan Spider-Man som slänger sig ner från en skyskrapa kommer vara svårare att få till. Jag ser även att den klarar av filmgenrer till viss del. Ljussättningar går att prompta. Men även om många säger att det går att få till vilken typ av tagning (close-up, mid-shot, wide-shot osv.) du vill ha så verkar det vara lite hit eller miss med det. Och så var det ansikten, ja det blir ansikten, men det är horribla syner. Så halv-fail på 2.

Steg 3.
Så Gen-2 är ännu inte för dig som vet exakt vad du vill ha. Då kommer du göra av med dina credits fortare än det skulle ta att fota själv. Men att utgå ifrån färdiga manus är ju inte den enda processen som finns för att skapa film. Istället går det att tänka mer dokumentärt, det vill säga filma först, storytellingen händer i klippningen. Check!

Jag hade ungefär 2 timmar på mig innan jag måste börja jobba med annat, och manusskrivningen (som jag nu inte kommer använda) och utvärderingen tog en timme så med bara en timme kvar så bestämmer mig för att göra det som alla lågbudget-filmskapare alltid gör. Jag gör en skräckfilm (eller rättare sagt en trailer för en skräckfilm för det är vad mina gratis credits på RunwayML kommer räcka till). Skräckfilm är alltid förlåtande för det bygger på mörka miljöer där sämre kostymer eller scenografi inte syns. Det passar också utmärkt för AI-genererat då konstiga resultat bara kommer förstärka den suggestiva stämningen. Dessutom slipper jag byta ut ansiktena, en uppgift som jag skulle behöva ett annat AI-verktyg för. (Det har kommit en AI-modell som ska vara riktigt bra, men den kräver installation av kod så det får bli en annan dag.)

Här är resultatet:

Så här är vad jag lärt mig: Gen-2 är inte färdigt nog för Hollywood än, det är inte heller färdigt nog för krävande reklamfilmskunder som efterfrågar exakthet och detaljprecision. Men för skisserande är det definitivt ett nytt verktyg att ta in i produktionsprocessen.

Jag drömmer om när juristerna har löst avtalsbiten för att kunna träna en sådan här motor på all spelfilm. Det kanske förblir en dröm ☠️. I vilket fall kommer den här tekniken bli bra nog för att vi ska få se etablerade manusförfattare ta fram sina omöjliga manus ur byrålådan. De kommer äntligen berätta de historierna de brinner för, manusen de inte fått budget att göra för att de inte följer amerikanskt Hollywood narrativ. Wannabe-filmskaparna som inte redan är etablerade kommer inte vänta tills tekniken blir bra nog, de kommer börja nu. De kommer lära känna styrkorna med de här nya verktygen för att veta hur de ska prompta fram nya indie-mästerverk.

Under tiden kommer HBO, Netflix men även andra företag fundera över hur den här tekniken skulle kunna användas för personalisering av underhållning. Skulle det inte vara roligare att titta på Succession om alla skådisarna var utbytta till kollegorna på jobbet? Skulle det vara en skönare shoppingupplevelse om du fick se en fashion show med dig själv i den nya kollektionen från HM på deras sajt? Dynamiskt genererat videoinnehåll för en personaliserad upplevelse kommer ju förändra allt.

Vad kan du göra idag?

Förstå

Den här tekniken kommer påverka alla branscher. Priset för att skapa video går ner, så de som inte använder video idag för att det är för dyrt kommer börja använda video. Video går från att vara förinspelad till att vara dynamiskt generad så de som redan använder video kommer hitta personliseringsscenarion (som när webben gick från statisk html till att sidor skapas utifrån användaren).

Planera

Här finns så många nya användarscenarion att det kan vara bra att bestämma sig för vad er organisation behöver göra först. Sök stöd i er bärande huvudstrategi. Den bör visa vägen för alla nya initiativ så även med AI-generering. Är ni produktionsfokuserade kolla av hur ni kan förbättra produktionsprocesser, är er strategi att vinna genom kundupplevelse då bör ni titta på personalisering. Det kommer dröja något år till innan du kan ersätta den exakta filmproduktionen med den här mer generella. Så det kan vara intressant att istället fundera över hur den här tekniken kan skapa nya sätt att stödja din affär redan i närtid.

Gör

Allt går inte att göra, så låt inga futurologer lura dig att tro att du kan ersätta allt du gör med det här redan idag. Det är gratis att regga konto på RunwayML så testa själv. Du får 90 gratis sekunder att testa Gen-2. (ett genererat klipp är 4 så du får ut 22 gratis försök). En formel för prompt som jag tyckte fungerade bra var:
Genre, Subject, Ljus, shot. Exempel prompt: Horror, woman in a red dress walking in creepy forest, night, wide-shot.

Länkar

Testa RunwayML Gen-2 själv.
https://research.runwayml.com/gen2

Bra genomgång av hur man använder Gen-2
https://www.youtube.com/watch?v=cqRTBynm2iM&t=19s&ab_channel=TheoreticallyMedia

Källa för värdeutveckling på generativ video marknaden. https://www.grandviewresearch.com/industry-analysis/ai-video-generator-market-report

Gillar du rapporter om värdeutveckling? McKinsey förutspår att generativ AI kan addera 4,4 biljoner dollar årligen till den globala ekonomin.
https://www.mckinsey.com/capabilities/mckinsey-digital/our-insights/the-economic-potential-of-generative-ai-the-next-productivity-frontier#introduction

ROOP, kod för att byta ansikten på rörligvideo som jag inte hann installera.
https://github.com/s0md3v/roop

ROOP, exempel på ansiktsbyte i vinjetten till The Office (US)
https://drive.google.com/drive/folders/1KHv8n_rd3Lcr2v7jBq1yPSTWM554Gq8e

Sedan sist vi hördes

Förra veckan pratade vi om Neurlinks hjärnimplantat. Precision är en avhoppare från Neurolink just genomfört människotester på sitt mindre invasiva hjärnimplantat.
https://www.freethink.com/health/precision-brain-implants

Och sedan vi pratade om SnapChats AI-bott som reklamkanal så har de börjat testa banner ads i samband med My AI.
https://www.searchenginejournal.com/snapchat-my-ai-snaps/488355/

Är du en insiktsdelare?

Känner du någon som behöver få ett uppvaknande i hur långt generativ video har kommit? Eller kanske någon som behöver förstå de nya möjligheterna med personifierad video på sikt? Vem var den första du tänkte på? Dela gärna!

Hörde av en läsare i veckan att flera delat det jag skriver i deras Slack, superkul!! Detta förändrar ju allt!

Tomas Seo