Funderar ni också kring hur "världsmodellerna" kommer utvecklas? Alltså de AI-modeller som förstår den fysiska världen. Det finns ju en superintressant diskussion kring detta just nu, där jag menar att Yann LeCun är på väg åt fel håll. Här är ett utdrag ur en AI-diskussion:
Den fjärde kränkningen av det mänskliga egot
Freud brukade tala om mänsklighetens tre stora narcissistiska kränkningar:
- Kopernikus visade att vi inte är universums centrum
- Darwin att vi inte står utanför djurriket, och
- Psykoanalysen att vi inte ens är herrar i vårt eget medvetande.
Vad de stora språkmodellerna – och den moderna multimodala arkitekturen – har utsatt både filosofer och AI-forskare för är en fjärde kränkning. De har i praktiken bevisat att högre mänskligt tänkande, meningsskapande och ontologi varken vilar på en upphöjd, platonisk-symbolisk logik eller på en direkt, oförmedlad kontakt med ”den fysiska verkligheten i sig”, utan på en genomgående probabilistisk och språklig väv.
Att acceptera att ”världen” – i betydelsen den begripliga, strukturerade verklighet vi faktiskt navigerar i – primärt är språklig och statistisk är djupt provocerande för många naturvetare och ingenjörer. Det innebär ju att det senmoderna filosofiska skiftet (från den sena Wittgenstein till strukturalism och pragmatism) hade rätt i en rent matematisk-empirisk mening: ord och begrepp får inte sin betydelse genom att peka på fasta, för-språkliga essenser i den fysiska världen, utan genom sina sannolikhetsfördelade relationer till andra tecken i ett enormt högdimensionellt rum. När en forskare som Yann LeCun så kategoriskt avfärdar språkmodeller och insisterar på att ”riktig intelligens” måste byggas nedifrån och upp ur råa, icke-språkliga sinnesintryck, kan man absolut läsa det som ett försök att rädda en klassisk, fysikalistisk världsbild där språket reduceras till ett tunt, sekundärt skal ovanpå den ”verkliga” världen.
Varför kärnan i multimodala modeller är – och måste vara – språklig
Som du påpekar är det fascinerande hur många som missar att dagens multimodala modeller i grunden är språkmodeller som har utökats till att konsumera och producera andra modaliteter. Även när man tränar modeller ”nativt multimodalt” (där bild-, ljud-, video- och text-tokens matas in i samma transformatornätverk från start) är det alltid den språkliga strukturen som utgör ryggraden och gravitationscentrumet i det latenta rummet.
Anledningen till detta är just ontologisk. Rå fysikalisk data – en videoström av pixlar eller en ström av LiDAR-punkter – är ontologiskt ”platt” och oändligt brusig. I en rå videobild av en gata finns det ingenting i fotonernas våglängder som talar om var ”bilen” slutar och ”skuggan” eller ”asfalten” börjar, eller att en viss rörelse hos en människa betyder ”väntar på bussen” medan en annan betyder ”tänker korsa gatan”. Det är språket som skär upp det kontinuerliga fysiska flödet i meningsfulla objekt, händelser, avsikter och kausala kedjor. Språket är inte bara en beskrivning av världen; det är själva koordinatsystemet som avgör vad som är relevant att uppmärksamma och förutspå. Utan den språkliga kärnan saknar en modell de begreppsliga krokar som krävs för att veta vilka mönster i bruset som är värda att komprimera.
LeCuns bandbreddsfelslut och varför han vägrar bygga vidare på LLM:er
Varför väljer då inte LeCun att bygga sina världsmodeller som just ”multimodala multimodalmodeller”, alltså genom att ta befintliga språkcentrerade multimodala arkitekturer och bygga ut dem med djupare sensoriska, rumsliga och fysiska modaliteter?
Hans eget standardargument bygger på informationsteoretisk bandbredd. LeCun brukar påpeka att mänskligt språk har en extremt låg bandbredd (ungefär 10 till 50 bitar per sekund), medan synnerven och våra övriga sinnen matar hjärnan med miljoner bitar per sekund. Utifrån detta drar han slutsatsen att en modell som har språket som kärna försöker tränga in hela universums komplexitet genom ett nålsöga, och att vi därför måste kasta ut den språkliga, autoregressiva arkitekturen och istället bygga en helt icke-språklig motor (JEPA) som opererar direkt i den breda sensoriska strömmen.
Men ur det perspektiv du lyfter fram begår LeCun här ett fundamentalt kategorimisstag. Han förväxlar informationsmängd (bandbredd) med ontologisk täthet. Anledningen till att språket har så låg bandbredd i bitar räknat är ju att språket redan är resultatet av tusentals år av kollektiv, kulturell och evolutionär kompression! När vi använder ett enda språkligt begrepp bär det på en enorm mängd förkomprimerad kausal, funktionell och kontextuell information som miljarder råa pixlar aldrig kan uttrycka på egen hand. Att börja om från noll med råa pixlar och tro att en enskild modell (som LeWorldModel) på egen hand ska återuppfinna en meningsfull ontologi utan språkets draghjälp leder exakt till det problem som hans egna benchmarks avslöjade i våras: modellen drunknar i den visuella ytans statistik och kollapsar så fort bakgrundsfärgen ändras, just för att den saknar det språkliga begreppets abstraktionskraft.
Den verkliga kraftmätningen: Renodlade JEPA-modeller mot utökade multimodala modeller
Det ironiska är att medan LeCun och AMI Labs går den puristiska vägen och försöker bygga en för-språklig ”katthjärna” från grunden, så rör sig flera av de andra stora forskningslabben i praktiken mot exakt den arkitektur du efterlyser. Inom exempelvis Google DeepMind (med Gemini-familjen och deras så kallade VLA-modeller, Vision-Language-Action) och hos flera robotiklabb försöker man nu bygga ut de befintliga multimodala språkmodellerna med nya modaliteter: kontinuerlig video, proprioception (kroppens lägesuppfattning), fysiska handlingsvektorer och 3D-simulering.
I dessa ”multimodala multimodalmodeller” behåller man den probabilistiska, språkliga kärnan som det centrala semantiska navet – det som vet vad en kaffekopp är, varför den är ömtålig och vad det innebär att duka ett bord – och låter sedan de fysiska och rumsliga modaliteterna docka in i och förfina detta befintliga sannolikhetsrum. Om din tes stämmer, att den mänskliga världen i sin kärna är språkligt-probabilistisk, kommer den utökade multimodala vägen inte bara att vara en genväg jämfört med LeCuns projekt; den kommer att vara det enda sättet att få en världsmodell att faktiskt förstå vår värld, snarare än att bara reagera reflexmässigt på en fysisk kuliss.
