🤯⚡️Äntligen kan AI-agenter ta över din dator!

AI-kollegorna är här. Detta förändrar ju allt!

Det här är nyhetsbrevet där Tomas Seo, innovationsstrateg på Phorecast, avslöjar händelser, upptäckter och ny teknik som får honom att utbrista: Detta förändrar ju allt! Du prenumererar på det här för att fortsätta vara steget före med de senaste trenderna och få konkreta tips för att framtidssäkra dig och din organisation. Har du fått det här av en vän? Då vill du kanske starta en egen prenumeration?

---

Vad har hänt?

- AI-agenter släpps nu till massan – Microsoft och Anthropic leder vägen.

Förra veckan släppte OpenAI kod för att bygga agentsystem, men den var högst experimentell för interna syften. I början av denna vecka släppte Microsoft sitt agentsystem som kommer att rullas ut till alla Microsoft business-användare (som betalar för det). 

Förutom att Microsoft berättar om hur mycket bättre det går för deras kunder som redan använder agenterna (som McKinsey) så delar de också med sig av hur Microsofts interna användning har gett resultat: 

9,4 % högre intäkt per säljare
20 % fler avslutade affärer
12 % snabbare lösning av kundärenden
21,5 % ökning av konverteringsgrad på Azure.com
42 % större noggrannhet vid hantering av frågor inom HR

Två dagar senare släppte Anthropic ett API för AI-agenter som de kallar Computer Use – AI som kan se din datorskärm och utföra uppgifter i de program som du använder.

At this stage, it is still experimental – at times cumbersome and error-prone. We're releasing computer use early for feedback from developers, and expect the capability to improve rapidly over time.

De blir därmed de första som erbjuder ett sätt för vem som helst att använda AI för att automatiskt kontrollera hela sin dator.

Detta förändrar ju allt

Microsoft har uppenbarligen lyckats få till hög adaption av agenter internt i organisationen, och jag tror att alla som börjar experimentera med AI-agenter kommer tycka det är väldigt kul. Potentialen av att ha AI som kan dra slutsatser från alla dokument som finns inom organisationen är för hög för att bortse ifrån. När jag tidigare skrivit om AI-agenter och varför de kommer förändra allt var det bökigt att sätta igång dem. Microsofts integrering kommer öka tillgängligheten så mycket att framgångsrika organisationer utan AI-kollegor kommer sluta existera inom något år. 

I november börjar Microsoft rulla ut funktionen till alla, men erfarenhet säger mig att det lär dröja innan förhandlingar med organisationer är klara. Ledande organisationer kommer inte våga vänta för att se om potentialen uppfylls, för gör den det så kommer de som väntade ligga så långt efter att de kanske aldrig kommer ikapp. Men konstigt nog är det inte detta som är nyheten som förändrar världen mest den här veckan.

Istället är det Anthropics Claude-uppdatering som är en liten smygare. Ett API (som är ett sätt för kodare att snabbt integrera andras funktioner i sin egen kod) för att bygga agenter som kan jobba på en vanlig dator är det avgörande utvecklingssteg som jag väntat på länge. Jag har tidigare testat MultiOn som klarade att navigera webben i Chrome hyfsat, men den såg inte vad som fanns på skärmen utan visste bara var alla knappar och fält var. Det här är så mycket större. Dels för att AI nu plötsligt kan göra allting på min dator som jag själv kan. Skriva, röra runt muspekaren och klicka där det behövs, byta appar obehindrat. Jag såg ett exempel där Claude valde att gå in på Claude-webbsajten för att fråga sig själv frågor. 

Men den stora potentialen här är egentligen inte att utföra uppgifter som kräver access till flera system, det har AI-agentsystem kunna redan innan även om det krävts större integreringsprojekt. Nu har AI äntligen möjlighet att verifiera om komplexa uppgifter hen lös blivit korrekt lösta. Det är den sista pusselbiten jag saknat i att få till ett automatiskt AI-system som kan koda. Det har fastnat på att jag ger instruktioner till AI, hen kodar/designar något och säger tadaa, nailed it! Men jag som har ögon känner kanske att målet är missat.

Anthropics Computer Use liknar en funktion som OpenAI sa att de skulle släppa i sin desktop-app för något år sedan, men som vi sedan inte hört mer om. Vi kan hoppas att de drar upp hastigheten på att få ut den nu. OpenAI har förmodligen samma problem som Anthropic, att den här visuella funktionen inte fungerar så buggfritt än. Anthropic säger ju i sin pressrelease att det är en beta-funktion som de släpper publikt tidigt till utvecklare för att få in feedback på vad som funkar och vad som inte funkar.

Eftersom det är Anthropic så har de byggt in spärrar för vad Computer Use kan göra. Hittills har jag sett rapporter om att hen vägrar att skapa massor av sociala medier-konton, men det finns egentligen redan spärrar från SoMe-plattformarnas sida. Så till skillnad från dig kan Computer Use inte registrera några konton alls. Men om något redan är spärrat för dig så är det förstås också spärrat för även för Computer Use.

För precis som att du kan göra det på din dator så kan Claude Computer Use göra det, gäller det omvända. Är det spärrat för dig så är det förstås också spärrat för Computer Use. 

Anthropic rapporterar också om företag som de har gett förtur till Computer Use, bland dessa tycker jag att Canva är det mest intressanta. Särskilt eftersom jag utförde tester med MultiOn där jag bad hen om att designa med Canva åt mig. Det fungerade över förväntan, så med visuell feedback till AI så borde de kunna lyckas få till ett system som klarar av att göra design som följer visuella identitetsprogram lika bra som vilken midweight designer som helst.

Det största problemet med all digitalisering som jag stött på om och om igen är att olika IT-system inte kan prata med varandra och för varje system som tillförs så krävs antingen mängder av tid för integrering eller människor som skyfflar resultat från ett system till ett annat manuellt. AI som kan manövrera en vanlig dator kommer bli framtidens silvertejp. Överallt där vi inte orkar fixa en bättre lösning så kommer vi kunna lappa ihop så det fungerar snabbt med en AI med Computer Use. Inom alla områden där administration eskalerar för att samma information måste föras in i flera olika system kommer den här teknologin revolutionera. Jag vet att till exempel sjukvården kommer behöva brottas med säkerhet för personuppgifter, men det kommer att gå att bygga så att de uppgifter som behandlas endast finns på den lokala datorn. 

Successivt kommer våra arbetsdatorer enkelt förvandlas till halvautomatiska produktionsmaskiner för alla tjänstemannajobb. Vi kommer behöva övervaka att arbetet flyter på som det ska, och tillföra vår erfarenhet för att förbättra resultatet. Men istället för att ha en låtsasassistent som ChatGPT som hela tiden bollar tillbaka uppgifterna till mig, så får vi en äkta assistent som jag kan delegera uppgifter till och förvänta mig ett verifierat resultat, och detta förändrar ju allt!

Vad kan du göra idag?

Förstå

När vi pratar om generativ AI så är det oftast förmågan att generera som vi blir imponerade av. Den ingår i grundfunktionen i all generativ AI. Men förmågan att verifiera att något blivit korrekt ingår inte i grundteknologin, utan där behöver vi bygga system. Ju smartare AI-agenter desto bättre verifiering av att genereringarna håller hög kvalitet. 

För text har det gått att bygga verifieringssystem ett tag, använder jag ChatGPT direkt så måste jag själv faktakolla att det blivit korrekt, bygger jag ett system med två agenter där första genererar och andra verifierar så blir resultatet alltid avsevärt bättre. Men nu öppnar vi upp för att alla uppgifter som jag kan se på min datorskärm kommer kunna både lösas och verifieras. Till att börja med en prompt i taget (det är ungefär där som Anthropics Computer Use begränsning är exakt idag, efter det blir det felmeddelanden och weirdness), men nu finns det här äntligen i händerna på vem som helst. 

Alla större aktörer kommer släppa sin version av Computer Use, och open source varianten lär komma strax efter det. Du måste förstå att nedräkningen har börjat tills allt du kan göra på din dator kommer kunna automatiseras, inte bara av specialintresserade utan av vem som helst.

Planera

Precis som vilken ny kollega som helst så kommer din nya AI-kollega behöva en arbetsstation. Microsofts AI-kollegor lever sitt liv inne i Teams och de andra Microsoft-programmen så de behöver ingen fysisk arbetsplats. Men fördelen med den nya agentteknologin kommer att vara att vem som helst kan börja automatisera sin egen dator att utföra uppgifter. Det är egentligen ett både onödigt och ineffektivt sätt att automatisera på från ett ingenjörsperspektiv, alla på IT-avdelningen kommer säga det.

Men det är här som de stora vinsterna finns att hämta. Oteknisk personal med hög kunskap om hur de gör kvalitativa uppgifter på sin egen dator kommer kunna skapa sätt att automatisera utan att det blir ett långdraget IT-projekt. För vissa arbetsroller kommer det krävas att medarbetare inte längre bara har en dator. Personen kommer ju behöva en egen arbetsdator att jobba på medan hens AI-agent löser uppgifter på sin dator (Agenten kan inte arbeta i bakgrunden eftersom den jobbar med vad hen ser på skärmen). I vissa fall kommer det vara mer effektivt att ha en övervakande person som har ett tiotal datorer som utför arbetsuppgifter halvautomatiskt än att sätta igång ett IT-projekt för att bygga ett system som gör uppgifterna helautomatiskt. 

Denna förändring med AI-kollegor kommer att se väldigt olika ut beroende på vilken typ av organisation du befinner dig i:

Stora organisationer kommer behöva optimera sin styrka i att de har mycket kunskap i producerade dokument. Den mängden data kommer inte de små organisationerna aldrig någonsin att ha, så deras interna AI-agenter kommer inte vara lika kompetenta.

Små organisationer kommer behöva planera hur de optimerar IT-policies som hindrar medarbetare från att själva uppfinna egna sätt att tejpa ihop olika IT-system med AI. Möjligheten att vara flexibel i policies kommer större organisationer inte kunna ha och de kommer därmed sätta käppar i hjulet för sig själva en lång tid framöver.

Gör

Strunta i att lära dig mer om AI den här veckan. Det kommer när det kommer. Istället behöver du fundera över vad du gör för arbetsuppgifter utanför datorn. Du kommer bokstavligen bli chef över en mängd kollegor som kan utföra allt du kan på en dator, men tänk på vad du kan träna på som ligger bortom det. Tills kontorsrobotarna kliver in i den fysiska kontorsvärlden är det vi köttsäckar som behöver ta hand om logistik. Men om du tränar på perspektiv, problemlösningsförmåga och people skills så ligger du bra till även efter att AI-kollegorna tar över.

Mitt förslag är att du ringer en kompis och bokar en biodejt. Se en film i en genre som ingen av er gillar, ät middag efteråt och diskutera varför ni tror att andra gillar genren så mycket. 

Själv tar jag höstlov tillsammans med barnen kommande vecka!

Länkar

Microsoft berättar om AI-agenter och sina interna framgångar.
https://blogs.microsoft.com/blog/2024/10/21/new-autonomous-agents-scale-your-team-like-never-before/

Anthropic berättar om Computer Use
https://www.anthropic.com/news/3-5-models-and-computer-use

Det här korta exemplet från Anthropic själva på hur Computer Use kan fungera tyckte jag gav en bra bild över hur det ser ut när agenten tar över datorn. (även om man inte själv bryr sig om kodning)

https://www.youtube.com/watch?v=vH2f7cjXjKI&ab_channel=Anthropic

Sedan sist vi hördes

Jag skrev om AI som genererade spelet Doom i realtid för knappt två månader sen. Den fungerade bara på riktigt kraftfulla datorer. Denna vecka har jag testat Microsofts AI-spelmotor Diamond som funkar på min dator. Det är hackigt, men körbart. Ett spel som inte har någon spelmotor, utan bara förutser hur nästa bild borde se ut om jag interagerar med spelet. Jag kommer definitivt att återkomma till den här teknologin när den blir ännu lättare att jobba med. Men den viktiga slutsatsen så här långt är att det är ganska nära tills all typ av generativ AI kan skapa i realtid baserat på signaler i vår omvärld.
https://diamond-wm.github.io/

Är du en insiktsdelare?

Känner du någon som är intresserad av deepfejks? Eller kanske någon som tycker det är spännande med tankar kring den flytande gränsen mellan fiktion och verklighet? Vem tänkte du på? Skicka vidare!

Nästa kurstillfälle för min kurs i AI-bildgenering har fortfarande platser kvar.

”Perfekt start för att börja laborera med MidJourney. Tomas lyckades kombinera hans breda erfarenhet med knivskarp utbildning i grunderna om bildkreation i Midjourney.”
”Tomas gjorde det enkelt för mig som totalt novis att förstå grunderna gällande AI-generering av bilder”
”10 av 10”
- Citat från kursutvärderingen

Övertyga med AI - Bilder till presentationer är en grundkurs i AI och bildskapande som ett alternativ till bildbyråbilder. Kursen fokuserar på Midjourney men kommer även att ta upp andra alternativ. Kostnad 750 kr ink moms på faktura (600 kr ex moms).
Tid: 14de nov kl 08:00-09:00
Plats: Remote videomöte

Anmäl dig här:
https://forms.gle/5pTJd7EKBXovncCt5

Och eftersom du läst ända hit! Jag har en gratisbiljett till Berghs Unconferens (där jag är öppningstalare) som jag ger bort till den första betalande prenumeranten som svarar på det här mejlet att hen vill ha den.

Fortsätt utforska så ses vi nästnästa vecka!
Tomas Seo

Har du fått dagens nyhetsbrev utan att vara prenumerant?
Gillade du det här och vill ha mer så är det bara att skriva upp sig här
(du väljer själv om du vill betala):