đ€ŻâĄïžDin mobilkamera ljuger đ€·ââïž
Kameror har slutat avbilda det vi ser. Detta förÀndrar ju allt!
Det hÀr Àr nyhetsbrevet dÀr Tomas Seo, innovationsstrateg pÄ Phorecast, avslöjar hÀndelser, upptÀckter och ny teknik som fÄr honom att utbrista: Detta förÀndrar ju allt! Du prenumererar pÄ det hÀr för att fortsÀtta vara steget före med de senaste trenderna och fÄ konkreta tips för att framtidssÀkra dig och din organisation. Har du fÄtt det hÀr av en vÀn? DÄ vill du kanske starta en egen prenumeration?
Vad har hÀnt?
- Smarta telefoner anvÀnder genererativ AI för att skapa foton som förestÀller vad vi förmodligen ville fÄnga pÄ bild.
I tisdags presenterade Apple sina senaste telefonmodeller. Vid upprepade tillfĂ€llen nĂ€mnde de termen computational photography â att kameran tar hjĂ€lp av en datorprocessor för att framkalla. I somras avslöjades det pĂ„ Reddit att Samsungs kameror anvĂ€nder AI för att generera bilder pĂ„ mĂ„nen om kameran har pĂ„ settingen âscene optimizerâ.
Huruvida Apples nya modeller kommer anvÀnda sina neurala processorer för sÄ grov generativ AI som att byta ut mÄnen avslöjades inte vid lanseringen. Men de visade hur den kraftigt förÀndrar fÀrgerna under till exempel mörka ljusförhÄllande, hur den anvÀnder LiDAR (laser scanning) för att lÀgga till skarpa detaljer som inte fÄngas av fotolinserna. Apple visade ocksÄ de numera obligatoriska bilderna pÄ att deras kameror tar mÄnga bilder frÄn de olika fotolinserna och slÄr ihop till en.
I maj presenterades Paragraphica av en enskild produktutvecklare. Det Àr en kamera som inte har nÄgon fotolins alls, den tolkar istÀllet omgivningen utifrÄn tillgÀnglig data sÄsom position, vÀder och kÀnda landmÀrken i nÀrheten. Sedan anvÀnder den generativ AI för att skapa bilden.
Utvecklingen av kameror gÄr frÄn att förlita sig enbart pÄ ljus till att ta in mÄnga fler indata för att skapa en representation av den verklighet vi vill avbilda.
Detta förÀndrar ju allt
Computational photography har smugit sig in i vÄr vardag utan att jag egentligen funderat sÄ mycket över det. Att det blivit fler och fler pluppar som sticker ut och Àr i vÀgen dÀr bak pÄ min telefon har jag ju mÀrkt. Men trots att jag tittat pÄ flera lanseringar av Apples nya kameror dÀr de skrutit om sin Photonic engine sÄ har jag inte riktigt reflekterat över vad det betyder för fotografiet som en avbild av verkligheten.
I somras nÀr jag först hörde att om du fotar en suddig utskriven bild pÄ mÄnen med din Samsungkamera sÄ blir det en stor och tydlig bild av mÄnen sÄ log jag lite och tÀnkte att de bara bytte ut den mot en fÀrdig bild. Men efter att jag kollade upp tekniken bakom sÄ ser jag att Àven om kameran verkar killgissa att det Àr den riktiga mÄnen ibland, sÄ byter inte den inte bild rakt av utan AI-genererar en bild för att matcha fler parametrar. I vilket fall sÄ Àr intentionen med tekniken att fÄnga ögonblicket av det vi ser sÄ nÀra vÄr förestÀllning som möjligt.
Utvecklarna av kameror har traditionellt strĂ€vat efter att fĂ„nga verkligheten sĂ„ troget som möjligt. Men vi Ă€r nog mĂ„nga som försökt fota en gigantisk mĂ„ne men till vĂ„r besvikelse bara fĂ„tt ett foto med en liten prick (eftersom mĂ„nen inte Ă€r stor utan bara en illusion i vĂ„rt huvud, vilket kameran inte fĂ„ngar, den sĂ„ kallade mĂ„nillusionen). Men nĂ€r vi fotar en hĂ€rlig dag, vill vi dĂ„ att himlen ska vara lite djupare blĂ„ trots att ljusförhĂ„llandena just nĂ€r bilden togs var lite sĂ€mre? För om jag inte missförstĂ„tt sĂ„ Ă€r det det moderna kameror egentligen gör. Jag skulle ju sjĂ€lv rutinmĂ€ssigt fixa till fĂ€rgerna om jag tog in bilden i Photoshop. Men nu photoshoppar alltsĂ„ iPhone sjĂ€lv himlen. Det kommer ju vara helt omĂ€rkbart för oss anvĂ€ndare. Vi kommer bara fota, tycka att fotot blev ju jĂ€ttebra och gĂ„ vidare, och egentligen har det nog fungerat sĂ„ hĂ€r i mĂ„nga Ă„r nu. Det som kĂ€nns helt nytt Ă€r att de nya telefonerna anvĂ€nder laserskannerdata [LiDAR] som bas för att neurala nĂ€tverk ska kunna generera fotot.Â
Om du till exempel tar ett foto pÄ din katt pÄ natten, sÄ ser inte linserna detaljerna i din fluffiga katts pÀls. Men LiDAR fixar mÀtdata om var pÀlsens hÄrstrÄn Àr i förhÄllande till din telefon. DÄ kan telefonens generativa AI anvÀnda den datan för att generera en bild pÄ den hÀrliga fluffiga pÀlsen, trots att kameran inte har sett hur den ser ut.
Syftet Ă€r fortfarande att strĂ€va efter att fĂ„nga verkligheten sĂ„ troget som möjligt. Ăven om linserna inte ser hur det ser ut sĂ„ har vi ju signaldata om hur det ser ut. Precis som ett sonogram av en bebis inne i magen sĂ„ Ă€r bilden av kattens fluffiga pĂ€ls skapad genom tolkning av data.
ĂndĂ„ Ă€r det nĂ„got hĂ€r, nĂ„got som gör att grĂ€nsen mellan vad kameran tog bild pĂ„ och att de bilder vi sedan fĂ„r blir suddigare och suddigare för varje uppdatering. HĂ€r skulle jag ju kunna gĂ„ pĂ„ min ryggradsreflex och krĂ€va #nofilter-kameror och kĂ€nna mig upprörd över att det inte lĂ€ngre gĂ„r att dokumentera sanning och verklighet. Det var det första jag tĂ€nkte, förmodligen för att jag kĂ€nde mig lite dum över att inte ha fattat hur mycket de digitala kamerorna egentligen bearbetar bilderna Ă€nda sedan vi fick fler och fler linser dĂ€r bak pĂ„ telefonen. Men nu nĂ€r jag har landat lite i det sĂ„ drar jag ut linjen Ă„t andra hĂ„llet.Â
Apples nya telefoner kommer kunna ta 3D-foton (men vi kan inte se dem i 3D utan att köpa deras VR, förlÄt mixed reality headset). NÀr man vÀnder pÄ det sÄ har ju alla foton som vi har tittat pÄ hittills saknat en hel dimension! Men vi har ÀndÄ sett dem som avbildande av ögonblicket nÀr vi trycker pÄ kameraknappen. Innan dess sÄg vi svartvita bilder som avbildande av verkligheten. Kanske Àr det inget fel pÄ att ocksÄ lÀgga in generativ AI för att avbilda hur vÄr hjÀrna uppfattar verkligheten. Eller kanske ska framtida kameror uppfatta intentionen med bilden vi vill ta? SlÀta till rynkor pÄ klÀder om vi tar ett portrÀttfoto eller lÀgga dit lite mysigare ljussÀttning om AI:n tolkar det som att det Àr myset i stunden som vi vill föreviga?
Oavsett var vi tycker att grÀnsen gÄr för hur mycket kameran sjÀlv ska förÀndra illusionen att den traditionella kamerans bild (baserad pÄ ljus genom en lins) mÄste vara sannare Àn en AI-genererad bild (baserad pÄ till exempel hur anvÀndaren upplever ögonblicket) Àr bruten, och detta förÀndrar ju allt.
Vad kan du göra idag?
FörstÄ
Fundera över om och i sĂ„ fall varför det stör dig att kamerans utveckling gĂ„r frĂ„n att bara omvandla ljus till bilder. Ăr en representation av ett ögonblick mer sant om det bara anvĂ€nder en ljuskĂ€lla eller finns det ett vĂ€rde i att fotografens intention med bilden ocksĂ„ dokumenteras? FörstĂ„ att alla kameror i alla tider har trixat med hur ljuset fĂ„ngats i en tvĂ„dimensionell bild. Olika linser ger suddighet och skĂ€rpa i foton som vi mĂ€nniskor inte upplever eftersom hjĂ€rnan inte processar ljusinformation sĂ„ att vi upplever att delar av vĂ„r syn Ă€r suddig. HjĂ€rnan processar ocksĂ„ intryck av vĂ„ra barn som gulligare Ă€n andra ser dem, mat som vi gillar som lĂ€ckrare och om vi har hĂ„llit i en varm kaffekopp innan vi ser en person för första gĂ„ngen sĂ„ ser den trevligare ut. Om vi ska avbilda verkligheten sĂ„ troget som vi kan och vi har mer och mer tillgĂ€ngliga data för att generera avbildningen av verkligheten.r â Ă€r dĂ„ en AI-genererad bild baserad pĂ„ dessa data inte lika bra bevis pĂ„ att nĂ„got har hĂ€nt som ett vanligt foto, eller rent av bĂ€ttre?
Du mÄste ocksÄ förstÄ att olika tillverkare kommer lÀgga in sina modeller av vad anvÀndare/företaget gillar. Nu har vi kameror som Àr bÀttre eller sÀmre pÄ att gissa hur en bild i mörker skulle se ut. Men det Àr tekniskt möjligt att det finns kameratillverkare som har kameror som Àr extra bra pÄ att avbilda luddiga objekt sÄ att de ser fluffigare ut. Eller kameror som Àr extra bra pÄ att fixa till matfoton sÄ att de ser aptitliga ut.
Planera
Computational photography Àr inte ett lika nytt omrÄde som de nya modellerna av generativ AI. Det finns mÀngder av applikationer att utforska hÀr om din organisation anvÀnder sig av avbildning för att skapa mervÀrde. KlÀdföretag kommer kunna ge möjligheten att visa upp klÀder i olika miljöer och belysningar till exempel: kontorsbelysning, barbelysning eller picknick i solskenet. Detta utan att ta mer Àn en bild. Massor av nya innovativa kameror kommer kunna uppfinnas, antingen som marknadsföringsplojs eller som intressanta nya sÀtt att dokumentera vÄr vÀrld. Finns det nÄgot nytt sÀtt som din organisation skulle kunna anvÀnda ny fototeknik pÄ för att skapa nya sÀtt att vinna kunder?
Gör
Ta bilder pĂ„ mĂ„nen med din smartphone nu, du kanske aldrig kommer kunna ta bilder som representerar hur liten den ser ut frĂ„n jorden nĂ„gonsin igen. đ€Ą
LĂ€nkar
Apple presenterar hur deras telefon lÀgger ihop massor av bilder i olika lager för att skapa en bild som inte gÄr att fÄnga med en kameralins.
https://youtube.com/clip/UgkxMtC9-GxFpN9YgppycqPyq_7JPlmrWPOR?si=Fd-MXQ0B_y8g62d6
Samsung gÄr igenom hur deras scene optimizer anvÀnder AI för att generera en bild av mÄnen.
https://r1-community-samsung-com.translate.goog/t5/camcyclopedia/
Björn presenterar hur hans linslösa kamera fungerar. Det Àr ju en plojgrej, men den visar konceptuellt hur vi behöver tÀnja grÀnserna för vilka data som ska anvÀndas för att skapa ett foto.
https://bjoernkarmann.dk/project/paragraphica
Vi blir mer vÀnligt instÀllda till folk om vi först hÄller i en varm dryck. Experiment frÄn 2008 som kom fram till att mÀnniskor bedömer foton pÄ andra som trevligare om de strax innan de fÄr se fotona har hÄllit i en varm kopp
https://www.science.org/doi/10.1126/science.1162548
Sedan sist vi hördes
Generativ AI-musik som jag gick igenom nÀr jag gjorde en lÄt fortsÀtter att utvecklas.
Suno slĂ€ppte sin nya version hĂ€romdagen och Ă€r sĂ„ kul att jag frestades att göra ett helt till brev bara om den! Du borde verkligen testa. đ¶
https://www.suno.ai/
Ăr du en insiktsdelare?
KÀnner du nÄgon annan som Àr intresserad av hur ny tech förÀndrar vÄrt synsÀtt pÄ Àkta och falskt? Eller kanske nÄgon som Àr intresserad av nya möjligheter med bilder som inte bygger pÄ ljus? Vem tÀnkte du pÄ? Skicka vidare!
Superkul med alla nya prenumeranter och tack Anna Kleinwichs Magnusson för din rekommendation pÄ Linkedin! Förresten sa nÄgon att företaget betalar deras prenumeration för mitt nyhetsbrev, sÄ pitcha in det! Ju fler som betalar desto mer tid kan jag motivera att lÀgga pÄ research för att göra det hÀr nyhetsbrevet Ànnu bÀttre
En sista grej, jag har en tanke om att jag gÀrna vill dela med mig av hur jag löser riktiga problem men kunder jag har Àr alltid sÄ hemliga av sig. Har du nÄgot problem som du skulle vilja lÀsa om hur jag löser i det hÀr nyhetsbrevet sÄ skicka gÀrna in en brief! DÄ kan vi lÀra oss mer av varandra och detta förÀndrar ju allt!
Tomas Seo