🤯⚡️Artisan massproduktion

AI-templates istället för designers. Detta förändrar ju allt!

Det här är nyhetsbrevet där Tomas Seo, innovationsstrateg på Phorecast, avslöjar händelser, upptäckter och ny teknik som får honom att utbrista: Detta förändrar ju allt! Du prenumererar på det här för att fortsätta vara steget före med de senaste trenderna och få konkreta tips för att framtidssäkra dig och din organisation. Har du fått det här av en vän? Då vill du kanske starta en egen prenumeration?

---

Vad har hänt?

- Ett spel utan kod. Ny AI-modell från Google DeepMind genererar spelet under tiden som du spelar det. 

Ett forskarteam från Google Research och Google DeepMind har skapat GameNGen, en AI-modell som kan simulera det klassiska spelet DOOM. Men istället för att spelet har en kodad spelmotor som håller reda på hur grafikobjekt ska visas på skärmen så genereras varje bild av en AI-modell. Spelet har därmed ingen förkodad logik för hur det ska fungera, utan varje interaktion spelaren gör tillsammans med tidigare bilder skapar en generering av hur nästa bild borde se ut. Detta är den första implementationen av en helt neuralt driven "spelmotor" som möjliggör interaktiv simulering av ett komplext spel över längre perioder med hög kvalitet.

För att uppnå ett spelbart spel har GameNGen tränats i två steg. Först lärde AI-agenter sig att spela originalspelet och då samlades data in för hur spelet ser ut och fungerar. Därefter tränades en generativ AI-modell för bild, baserad på Stable Diffusion, på att förutsäga hur nästa bildruta kommer se ut baserat på tidigare bildrutor och spelarens handlingar.

Kvaliteten på simuleringen är så hög att mänskliga bedömare bara är marginellt bättre än slumpen på att skilja korta klipp av den AI-genererade simuleringen från det riktiga spelet. Forskarna säger i avslutningen av sin forskningsartikel “Today, video games are programmed by humans. GameNGen is a proof-of-concept for one part of a new paradigm where games are weights of a neural model, not lines of code.” De fortsätter och säger att det här öppnar upp för ett nytt sätt att tänka kring hur vi skapar spel men också vår dagliga interaktion med alla interaktiva mjukvarusystem (appar).

Detta förändrar ju allt

AI är i grund och botten än så länge mest ett annat ord för att återskapa mönster (så som begreppet används just nu). AI kan analysera något och fånga in kärnan av hur det fungerar i en avancerad mall. Sedan kan generativ AI använda den mallen för att skapa liknande texter/bilder/spel/appar om och om igen. Det gör att GameNGen som koncept har stora implikationer för alla, inte bara för spelindustrin eller de som kodar. Men vi börjar där.

I veckan läckte en inspelning av Amazons AWS CEO Matt Garman när han på ett internt möte säger

"If you go forward 24 months from now, or some amount of time – I can't exactly predict where it is – it's possible that most developers are not coding"

"Coding is just kind of like the language that we talk to computers. It's not necessarily the skill in and of itself"

"The skill in and of itself is like, how do I innovate? How do I go build something that's interesting for my end users to use?"

Även jag är övertygad om att rollen för kodare kommer att förändras mycket. Tröskeln för att skapa kod utan att kunna ett programspråk ordentligt sjunker. Jag har tidigare skrivit om hur AI-agenter påverkar kodaryrketoch numera är ett av testen för att snabbt utvärdera nya generativa AI-modellers förmåga att koda att prompta för att få kod till ett fungerade snakespel.

Men nu klarar i princip alla de stora AI-chattbottarna att att göra ett Snakespel på första försöket så vi behöver hitta ett nytt standardtest vi kan använda för att utvärdera chattbottars förmåga att koda. 

Men vad GameNGen gör är inte alls kod. Istället för att försöka reverse-engineera (finns det några bra ord för att systematiskt återskapa något på svenska?) kod så har den ett inlärningssteg där den får en djupare förståelse för formatet. Det blir en mall. Sedan kan den simulera vad som skulle hända på skärmen om det fanns kod. Men hela kodningsbiten försvinner. Det blir mer jämförbart med att ge en konceptmall till en omänskligt snabb illustratör som ritar 20 bilder per sekund baserat på mallen och hur du interagerar med en joystick. 

NVIDIAs CEO Jensen Huang ska ha sagt “Every pixel will be generated automatically. Soon, every single pixel will be generated. Not rendered: generated.” på GTC 2023. Det brukar citeras flitigt i dessa sammanhang, men jag kan faktiskt inte verifiera det när jag försöker hitta en vettig källa. Det är inte omöjligt att han har sagt det i och med att forskare på NVIDIA redan 2018 gjorde avancerade projekt där de bytte ut traditionella matematiska renderingsmotorer till AI-simuleringar som genererade bilder i realtid. Enligt Jensen kommer spel år 2030 vara helt genererade istället för renderade.

GameNGen påminner oss framförallt om att det finns fler än ett sätt att återskapa samma resultat. Vi kan återskapa förutsättningarna för att något ska fungera självständigt, det vill säga koden. Eller så kan vi gå direkt på att simulera resultatet, det vill säga själva bilderna som förändras när vi trycker på en viss knapp. (jag har tidigare skrivit om hur AI-simuleringar blir lika bra som the real thing)

För att skapa ett foto av en konstlad lycklig kvinna som äter sallad på kontoret förr så behövde en fotomodell fejka att vara lycklig medan en mindre lycklig fotograf plåtade. Bilden användes av en stackars marknadsförare med för lite budget för att göra något annat än att ta en trist bildbyråbild och göra det bästa med den. Idag kan vi få en simulerad bild på en konstlat lycklig kvinna som äter sallad på kontoret genom att bara generera den!

Allting utvecklas snabbt. Här är Midjourneys resa från version 3 till 6.1 med prompten “happy woman eating salad in the office” Från oanvändbar till minst lika bra som en trist bildbyråbild.

Precis som jag tror att de flesta kodare rynkar på näsan åt AI-genererad kod så rynkar jag på näsan åt AI-genererad design (eftersom jag jobbat som både designer och ordförande för en branschorganisation för design). Den håller ju inte den standard som jag skulle kräva av mig själv. Men utvecklingen går så snabbt att något som inte höll måttet igår kväll kanske håller acceptabel kvalitet nu på morgonen?

Som exempel håller jag hela tiden ögonen på AI som automatisk layoutare. Marknaden för design har förändrats. Demokratiserats om man så vill. Inte bara vi som kan de gamla Adobe-programmen gör design idag. Istället ser vi den största marknadsutvecklingen inom ett segment där människor snabbt behöver göra något som ser okej ut som är ganska likt en mall de sett någon annan göra. Det är där Canva blivit kungen av mallar. 

Men det är inte de som ligger i framkant här. Istället är det Playground AI (en tjänst som inte direkt imponerat tidigare) som med sin nya version av AI-mallar visar hur det här med AI-design kommer att fungera. Upplevelsen när jag använder Playground är väldigt likt så som jag först tänkte mig att Adobes program skulle bli när de lanserade Firefly. Ett gränssnitt där vi chattar och direkt kan se olika aspekter av bilden förändras på ett kontrollerat sätt. Här är ett exempel:

Vi utgår från en mall (en AI-modell som förstår formatet) och sedan ber jag den bara att byta ut olika delar tills vi har en design som är min. Vi ser att kniven och blodet ändras när modellen genererar ny text, men layouten är tydligt formatad. Blodet försvann helt när jag bytte kniven mot en dammsugare, men det var ju bara att be Playground lägga tillbaka det.

Här är ett annat exempel, den här gången med en social media thumbnail:

Vi ser en tydlig degenerering av bildkvaliteten på flickan när jag ber Playground byta ut svampen mot en groda, men att layoutmallen följs tydligt. Är det perfekt design? Verkligen inte. Är kvaliteten hög nog för att slippa anlita en designer? Jajamensan! 

Playground är inte på något sätt en superbra bildgenererare. Bilderna blir inte alls realistiska, men sättet de uppvisar hur vi kommer att designa med AI kommer definitivt att sprida sig vidare. I takt med att det här sättet att skapa (koda/designa) kommer bli standard i alla verktyg vi använder så förflyttar vi vilka skills producerande yrken behöver behärska – från det hantverksmässiga till att bemästra att vara instruktör. 

Det här nya sättet att tänka på mallar, som något som är öppet för lite mer tolkning, skapar nya möjligheter att massproducera saker som inte är exakt likadana utan bara ungefär likadana. Till exempel: Det svåraste en logotypdesigner har kunnat föreslå har varit att skapa ett öppet designspråk. Ett ramverk där vissa element kan flexa runt rätt mycket, men där känslan ändå finns kvar. 

Ett uråldrigt exempel på detta var musikkanalen MTVs logga. Den var aldrig likadan men ändå var den det. Det krävde massor av kvalificerade designtimmar. Idag klarar Ideogram att generera en hel hög MTV-loggor på några minuter. Alla skulle kunna ha varit äkta MTV-loggor. Designern går från hantverkare till kvalitetskontrollant.

Anledningen till att det oftast inte fungerar är att ett öppet designsystem har krävt kvalificerade designers för att det ska kunna produceras varianter. Designbyrån brukar lösa det genom att leverera ett gäng olika prefabricerade varianter, men i praktiken brukar en av dessa bli favorit i organisationen och till slut är det mest den som syns. Med AI-mallar för skapande går det här att lösa. Designern kan få kontroll genom att hjälpa till att träna AI-modellen och de som ska använda designelement som alltid ska skifta i utseende kan välja från färskt genererad grafik som följer mallen.

Industrialismen handlade om att få kontroll över kvalitet genom att varje producerad enhet var exakt likadan. Men ibland är ju charmen att inte allt är exakt likadant. Träobjekt får sin charm av att materialet inte ser exakt likadant ut i varje produkt. Med det här nya sättet att tänka på AI-mallar får vi möjlighet att konsekvent hålla en hög kvalitet, men där varje producerad enhet faktiskt ändå kan vara unik.Det finns ett värde i det, det gäller bara för oss att dra nytta av det istället för att försöka använda generativ AI för att massklona kopior. Men framförallt så blir GameNGen ett till AI-projekt som visar att även om det slutanvändaren ser på skärmen kanske ser likadant ut som förr, så kommer generativ AI definitivt röra om i grunden hur allt produceras på baksidan. Och detta förändrar ju allt!

Vad kan du göra idag?

Förstå

Vi måste förstå att precis som traditionell kod är en instruktion till en maskin vad den ska göra, så är en generativ AI-mall (vikter om du vill använda en mer AI-teknisk term) en tydlig instruktion till en maskin om vad den ska producera. Även om den egentligen bara är en simulering av vad som skulle hända om koden fanns. 

Även om det idag förefaller osannolikt att vi kommer få se ett totalt skifte från Officepaket som är kodade till rena simuleringar av vad som skulle hända på skärmen om vi hade de riktiga Word- eller Excelapparna så är det en möjlig utveckling. 

Olika tillverkningssätt kommer ha olika fördelar, men för slutkonsumenter kommer det inte spela någon roll, så länge kvaliteten finns där. Simuleringstekniken kommer i första steget att användas mest för prototyping och skiss, men i takt med att den blir effektivare så kan simuleringarna bli slutprodukter i sig.

Planera

Planera för hur din organisation kan dra nytta av att vi nu kan skapa AI-mallar som kan åstadkomma väldigt kontrollerad variation. För fysiska produkter kräver det ett nytt tillverkningsflöde, det räcker inte bara med möjligheten att kunna generera en mängd grafik. Till exempel behövs ett billigt sätt att trycka unika förpackningar i stora serier. Eller för att väva miljoner unika t-shirts så behövs ett nytt sätt att väva. Det är här producerande organisationer behöver börja planera för generativ AI i kombination med modern robotteknik. (Eller välja att avstå expansion i ett kommande marknadssegment.)

Finns det något du kan lära dig om vilka produkter och tjänster du gillar bättre när de inte är exakta kopior? Artisan massproduktion är framtiden, och det är dags att börja planera för hur ni kan utnyttja detta.

Gör

Testa Playgrounds mallar för att få en känsla av hur det kommer att vara att skapa design på ett mer kontrollerat sätt i framtidens layoutprogram. (De fria creditsen räcker till 2-3 experiment.)
https://playground.com/design

Testa Ideograms bildgenerering och gör dina egna MTV-loggor för att förstå hur väl fungerade träningsdata kommer kunna ge dig en mall som går att göra ett mycket distinkt resultat med. Prompt “MTV logotype” räcker, men du kan ju även experimentera med material, känslor eller stilar.  (10 gratis genereringar per dag)
https://ideogram.ai/

För de som kan lite lite kod: Testa Cursor om du vill vara med och förstå hur kommande årets utveckling för kodare ser ut. Cursor är den trendigaste IDE:n (appen man kodar i) med integrerad AI-chattbott som klarar att föreslå längre kodpartier, och kan söka igenom och uppdatera en hel kodbas. Gränssnittet är byggt på Microsofts Visual Studios kod.
https://www.cursor.com/

Länkar

GameNGen in action

Forskningsrapporten från Google DeepMind
https://gamengen.github.io/

Andra som skriver om GameNGen
https://arstechnica.com/information-technology/2024/08/new-ai-model-can-hallucinate-a-game-of-1993s-doom-in-real-time/

https://venturebeat.com/ai/googles-gamengen-ai-breaks-new-ground-by-simulating-doom-without-a-game-engine/

Artikel om det läckta talet som Amazon AWS CEO höll. (Betalvägg)
https://www.businessinsider.com/aws-ceo-developers-stop-coding-ai-takes-over-2024-8

Artikel om att NVIDIAs CEO Jensen Huang ska ha sagt att det 2030 ska finnas spel som är AI-genererade istället för renderade.
https://www.techradar.com/computing/gpu/fully-ai-generated-games-by-2030-thats-what-nvidias-ceo-believes-but-what-exactly-will-that-mean-for-pc-gamers

NVIDIAs projekt för fem år sedan
https://www.youtube.com/watch?v=ayPqjPekn7g

Sedan sist vi hördes

Efter att jag släppte förra nyhetsbrevet så fick jag för mig att jag skulle göra en kul musikvideo för att ni skulle komma ihåg vad ni skulle äta de olika dagarna. Jag la ut den på Linkedin, så om du vill se och lajka den blir jag glad!

https://www.linkedin.com/feed/update/urn:li:activity:7235979711409991680/

Jag insåg när jag gjorde den att få av AI-videoplattformarna har stående video. Men det får vi ta i ett annat nyhetsbrev.

Är du en insiktsdelare?

Känner du någon som är intresserad av hur generativ AI kan mallas för att bibehålla kontroll? Eller kanske någon som är intresserad av att jag kommer och håller workshop om hur generativ AI skulle kunna skapa värde i deras organisation? Vem tänkte du på? Skicka vidare!

För att varje vecka kunna berätta för er vad som är möjligt med ny teknik spenderar jag en del pengar på nya tjänster. Därför vore det ytterst välkommet om fler skulle kunna tänka sig att betala för nyhetsbrevet. Ju fler som betalar desto djupare insikter kan jag leverera. (Endast $4.50 i månaden om du köper årsabonnemang) 

Jag är också öppen för sponsorskap, hör av dig om det är värdefullt för dig att nå 1600 kvalificerade AI-intresserade personer med ditt budskap!

Vi ses nästa vecka! Tack för att du läser och delar! 

Tomas Seo

Har du fått dagens nyhetsbrev utan att vara prenumerant?
Gillade du det här och vill ha mer så är det bara att skriva upp sig här
(du väljer själv om du vill betala):