🤯⚡️12 exempel räcker för att träna en AI som slår o1

Med OpenAIs träningsfunktion kan vem som helst träna en AI-modell. Detta förändrar ju allt!

Det här är nyhetsbrevet där Tomas Seo, innovationsstrateg på Phorecast, avslöjar händelser, upptäckter och ny teknik som får honom att utbrista: Detta förändrar ju allt! Du prenumererar på det här för att fortsätta vara steget före med de senaste trenderna och få konkreta tips för att framtidssäkra dig och din organisation. Har du fått det här av en vän? Då vill du kanske starta en egen prenumeration?

---

Vad har hänt?

- Specialträna din AI så den blir bättre än OpenAIs o1

OpenAI genomför just nu sitt event 12 days of OpenAI där de släpper nya produkter publikt varje vardag kl 19 (svensk tid).

Mellan de stora nyheterna med en ny hjärna till ChatGPT kallad o1, och publik tillgång (för alla utom oss i EU) till en förbättrad Sora – videomodellen som människor väntat på i ett år nu, så släppte de en mer svårbegriplig nyhet. Via OpenAIs nya forskningsprogram kan organisationer som blir antagna få tillgång till deras nya funktion Reinforcement Fine-Tuning (RFT). Funktionen gör det möjligt att förfina generativa AI-modeller för specifika domäner som juridik, medicin och finans.

I sin demo visade de upp hur deras system kan användas för att träna upp en egen AI-modell så att den kan prestera bättre än o1 på specifika problem med så lite träningsdata som 12 exempel på frågor med korrekta svar (tidigare har det krävts tusentals för att det ska vara värt det).

"We believe that any field which requires deep expertise in their AI models stands to benefit. So if you work in, say, legal, finance, engineering, insurance, this one's for you."

sa Julie Wang på OpenAI när de presenterade nyheten. Vilket gör det möjligt för sektorer där det finns ett tydligt rätt och fel svar att träna generativa AI-modeller som letar efter samband i stora datamängder.

Detta förändrar ju allt

Det är så roligt att se att OpenAI har insett att de höll på att hamna i en kategori av bolag som bara publicerade pressreleaser om forskning de gjorde men som vi aldrig fick se till den grad att vi slutade bry oss om nyheter från dem. Deras svar blev det de kallar 12 days of OpenAI eller shipmas, för att de äntligen skickar ut saker publikt.

Men det är nog svårt att få komma med i OpenAIs researchprogram, och även om de säger att de kommer släppa den här funktionen publikt nästa år gissar jag att det dröjer till minst nästa shipmas. Så de flesta brydde sig inte så mycket om RFT dag tvås nyhet, men jag tror att det finns något i den som kommer förändra världen. Men först ska jag förklara hur verktyget fungerar i två steg:

1. Mata med data.
   Du behöver 12 exempel på frågor som du skulle kunna skriva in i ChatGPT och varje fråga ska ha ett tydligt korrekt svar.

2. Din nya AI är redo att använda!
   Det tar en veckas träningstid, men sedan har du en modell du kan använda som är bättre än alla andra AI-modeller i hela världen på just din typ av frågor.

Enkelt eller hur? Det händer en massa på baksidan också som är riktigt snillrikt, men det nya är att du inte behöver bry dig om det. Systemet är nu så enkelt att alla som har råd att låta OpenAIs maskineri gå fritt i en vecka kommer kunna träna hyperspecialiserade AIs. Jag gissar att det dröjer ytterligare till shipmas 2026 innan kostnaden på sådan här specialträning är så låg att den är överkomlig för privatpersoner att leka runt med. Men det kommer det vara på sikt.

Medan futurister drömmer om Artificiell Generell Intelligens – EN AI som kan göra ALLT, så sänks tröskeln för vanliga människor att skapa egna specialiserade AIs. För även om du fortfarande behöver en budget för att köpa träningstid så räcker det alltså numera med 12 exempel för att skapa den bästa AI:n i hela världen på just ditt problem.

Jag skulle ändå rekommendera att ha fler än 12 exempel redo, i alla fall ett hundratal. Men det är inte heller säkert att fler är lika med bättre. Så vad ska vi ha det här till då? Tänk till exempel att du vill få en AI att kunna upptäcka risker för en mycket sällsynt genetisk sjukdom. Då skulle ett exempel kunna vara den enkla frågan “Kan den här personen ha sjukdomen X?” men i exemplet skickar vi också med ett DNA-prov. Sedan behöver vi också skicka med ett utförligt korrekt svar “Ja, patienten har sjukdomen X därför att [korrekt anledning]”.

I det exempel som OpenAI själva visade upp i demon så körde de en träning på just gener och testerna bad att AI-modellerna skulle ranka gener som var möjliga svar. Deras toppmodell o1 klarade av att lista den gen de letade efter 25% av gångerna, men den specialiserade modellen hoppade till att klara det 31% av gångerna. 6%-enheters ökning låter ju inte så mycket, men tänk dig att en hälsokontroll skulle hitta var tredje person som har en sällsynt form av cancer istället för var fjärde – det är ändå något. Även om modellen inte placerade rätt svar som etta så var rätt svar med bland topp fem av misstänkta gener i 41% av fallen.

Diagram från OpenAIs presentation.

Det är enkelt att föreställa sig att 6–7 procents ökning i träffsäkerhet kommer göra stor skillnad i de extra svåra problemen men det är klart att vi skulle behöva se bevis på att den här teknologin kan få upp stats på att besvara enklare frågor med tydligt rätt och fel svar upp till nära 100%. De kunde ha lyft fram det tydligare, men att ChatGPT 4 och o1 är bättre på till exempel matte beror på att det är samma sätt som de tränar alla sina egna modeller, så the proof is in the o1-pudding.

“This is the same technique that we use internally at OpenAI to train our Frontier models.” säger John Allard som är en av dem på OpenAI som tränat o1.

Jag gissar att OpenAI bjuder in till sitt research-program för att de behöver tillgång till ny typ av data för att träna egna modeller. Så de företag som kan tänka sig att dela med sig av sin data får skapa specialiserade AI-modeller gratis. En annan anledning är förmodligen att de behöver fler exempel på specialistmodeller från näringslivet som de kan lyfta fram i sin marknadsföring.

Det är ju snart nyår, så jag förutspår att under 2025 kommer liknande enkla system för att träna egna modeller annonseras av alla AI-leverantörer. Google och Microsoft kommer förmodligen att bygga in det i system till utvecklare, Zuck kommer släppa det gratis till alla som vill ha det, och nästa AI-kommission kommer så småningom säga att alla som vill ska få chansen att träna en egen specialiserad AI. Oavsett vem du vill köpa processorkraft av så kommer möjligheterna att skapa en unik AI-modell vara tillgänglig även för alla oss som inte är AI-ingenjörer och detta förändrar ju allt!

Vad kan du göra idag?

Förstå

Så här fungerar OpenAIs RFT mer i detalj:

Datamatning
Organisationer samlar in ett skräddarsytt dataset för sin specifika domän och formaterar det i JSONL-format. Dessa matas in och grundmodellen genererar svar.

Gradering
En automatiserad graderingsfunktion (betygssättare) jämför modellens svar med de korrekta svaren och tilldelar poäng mellan 0 och 1 för att mäta noggrannhet. (de har också verktyg för att träna modeller som inte har ett rätt eller fel utan där det mer är kvalitativ bedömning men de verkade inte vara färdiga för denna shipmas)

Träning
Modellen får iterativ feedback, där korrekta resonemang belönas och felaktiga resonemang straffas, vilket hjälper modellen att justera sitt tänkande.

Validering
Ett separat dataset (med frågor och svar som modellen aldrig har sett) används för att testa modellens förmåga att generalisera till nya uppgifter, utan överlappning med träningsdata.

Optimering och lansering
Den slutgiltiga modellen optimeras för effektivitet och specialisering innan den lanseras för praktisk användning.

Vi måste förstå att ju bättre de här systemen blir på att träna sig själva desto fler olösbara problem inom alla specialistkompetenser kommer gå att först lösa. När vi sedan bygger ihop alla dessa specialister så de kan prata med varandra så kan vi automatisera allt. Om inte AGI hinner utvecklas innan det.

Planera

Jag har länge gett rådet att organisationer behöver dokumentera allt de gör på något sätt för att förr eller senare så kommer det gå att göra en egen AI av det. Nu är det inte långt kvar. Högsta prio på AI-agendan inför nästa år är att antingen säga Ja - Vi ska träna en egen AI-modell på våra unika problem, eller Nej - Vi klarar oss utan specialiserad AI.

Alla som säger Ja behöver sätta en prislapp på hur billigt det måste vara innan ni kör och invänta den prislappen. Medan ni gör det så är det dags att bygga dataset.

Skriv frågor som ni vill kunna ställa till er AI.
Skriv svaren som ni vill att er AI skulle ha gett er och motivera varför det är korrekt svar. Ni måste också tänka igenom så det finns tillräckligt med frågor där det finns ett tydligt rätt svar, men också frågor där svaret inte går att få fram, och frågor i gråzonen däremellan.

Behöver ni ytterligare hjälp att planera er AI-agenda för nästa år så kan jag göra en workshop med er, svara direkt på det här mejlet.

Gör

Tänk igenom ditt expertområde. Skriv ner en fråga som du har besvarat minst 12 gånger under din karriär där svaret berott på omständigheterna och din erfarenhet. Samla ihop datan som var ditt beslutsunderlag för dessa 12 gånger och skriv hur du svarade och en utförlig beskrivning varför. Kom ihåg att även den data som du hade tillgång till men valde bort som beslutsunderlag kan vara viktig att ta med.

Nu har du det som behövs för att träna en AI att resonera som du i ett hyperspecialiserat fall. Så när kostnaden går ner och du behöver ett bollplank som verkligen förstår hur du tänker så har du ditt träningsset redo!

Länkar

OpenAIs 12 days of Shipmas
https://openai.com/12-days/

Ansökan till RFT-programmet med mer info
https://openai.com/form/rft-research-program/

Forbes skriver om RFT.
https://www.forbes.com/sites/lanceeliot/2024/12/08/latest-openai-announcement-showcases-how-reinforcement-fine-tuning-makes-quick-work-of-turning-generative-ai-into-domain-specific-wizards/

Sedan sist vi hördes

Jag har inte lyckats använda Sora än. Eventuellt ska det gå via VPN för oss inom EU men det har varit så högt tryck att även de utanför EU har haft svårt att få skapa nya konton. Men jag har inte heller uppgraderat till ChatGPT Pro som kostar 2000 kr i månaden, vilket behövs för att få generera människor med Sora.

Men det är fortfarande ytterligare nio till saker som OpenAI ska släppa under Shipmas. Det viskas om agenter, så vi får se om jag hoppar på PRO nästa vecka!

Här är en film där OpenAIs agent demonstreras

Är du en insiktsdelare?

Känner du någon som är så bra expert på något att hens kunskap borde förevigas i en AI-modell? Eller kanske någon som sitter i en AI-styrgrupp som behöver inspiration? Vem tänkte du på? Skicka vidare!

Har ni pengar kvar i budgeten som ska spenderas innan året är slut? Boka in mig för en inspirationsföreläsning, skräddarsydda utbildningar eller workshop. Bara att svara på det här mejlet eller kontakta mig via Linkedin.

Fortsätt utforska så ses vi nästa vecka!

Tomas Seo

Har du fått dagens nyhetsbrev utan att vara prenumerant?
Gillade du det här och vill ha mer så är det bara att skriva upp sig här
(du väljer själv om du vill betala):