Anthropic, företaget bakom AI modellen Claude, har gått ut med ett ovanligt tydligt budskap: utvecklingen av de mest avancerade AI systemen kan behöva bromsas eller tillfälligt pausas om riskerna blir för stora.
Det handlar inte om att Claude stängs ner. Inte heller om att Anthropic själva slutar utveckla AI i morgon. Men det är ändå ett viktigt skifte. Ett av världens ledande AI bolag säger nu öppet att branschen behöver en trovärdig plan för hur man faktiskt skulle kunna trycka på bromsen om utvecklingen går för snabbt.
Bakgrunden är något som kallas recursive self improvement. På svenska kan man ungefär beskriva det som att AI börjar förbättra sig själv, eller bygger nästa generation AI med allt mindre mänsklig inblandning.
Anthropic skriver att de inte är där ännu. Men de menar att utvecklingen går åt det hållet snabbare än många institutioner är förberedda på.
När AI hjälper till att bygga AI
I ett längre inlägg beskriver Anthropic hur AI redan i dag används allt mer i deras egen utveckling. Tidigare var AI ett verktyg som kunde föreslå kod eller hjälpa till med mindre uppgifter. Nu används Claude i betydligt större delar av arbetet.
Enligt Anthropic är mer än 80 procent av den kod som slås ihop i företagets egna kodbas numera skriven av Claude. De skriver också att deras ingenjörer i genomsnitt levererar åtta gånger mer kod per kvartal än de gjorde under åren 2021 till 2025.
Det betyder inte automatiskt att allt blivit åtta gånger bättre. Anthropic är själva tydliga med att kodrader är ett trubbigt mått. Men det visar ändå något viktigt: AI används inte längre bara för att svara på frågor. Den används för att bygga systemen som i sin tur ska bygga nästa version av AI.
Och det är här frågan blir riktigt stor. Om AI system i framtiden kan designa, testa och förbättra sina egna efterföljare kan tempot i utvecklingen förändras radikalt. Då är det inte längre människor som i första hand håller i varje steg. Människans roll kan i stället bli att övervaka, styra och försöka förstå ett utvecklingsarbete som till stor del sker i en virtuell AI driven forskningsmiljö.
Anthropic vill inte pausa ensamma
Det mest intressanta är kanske att Anthropic inte argumenterar för en enkel paus där ett enskilt bolag bara slutar utveckla.
Tvärtom skriver de att en sådan paus sannolikt skulle göra liten nytta. Om ett försiktigt bolag bromsar, men konkurrenterna fortsätter, flyttas bara ledningen till någon annan. Därför vill Anthropic se en koordinerad och verifierbar modell där flera ledande AI bolag, i flera länder, kan bromsa under samma villkor.
Det låter nästan som vapenkontroll, fast för AI. Anthropic jämför också problemet med andra svåra internationella kontrollsystem. Skillnaden är att AI utveckling kan vara betydligt svårare att övervaka. En stor träningskörning är inte lika synlig som en missilbas. Den kan döljas bakom datacenter, molninfrastruktur och generell beräkningskraft.Därför räcker det inte att bolag säger att de har pausat. Det måste gå att kontrollera.
Varför det spelar roll
Det här är viktigt av två skäl. Det första är säkerhet. Om AI system blir tillräckligt bra på att själva driva AI forskning kan riskerna växa snabbare än samhällets förmåga att hantera dem. Det handlar inte bara om science fiction scenarier där AI “tar över”, utan också om mer praktiska saker: cybersäkerhet, massproducerad desinformation, övervakning, biologiska risker och ekonomisk omvälvning.
Det andra är trovärdighet. Anthropic är inte en extern kritiker som står vid sidan av och varnar. De är mitt i racet. De bygger några av världens mest avancerade AI modeller och konkurrerar med OpenAI, Google, Meta, xAI och andra jättar.
Det gör uttalandet både starkare och mer komplicerat.
Starkare, för att Anthropic sitter på insyn i hur snabbt utvecklingen faktiskt går. Mer komplicerat, för att företaget samtidigt fortsätter att släppa nya och kraftfullare modeller. Det går inte att bortse från att även Anthropic är en del av det kapplopp de nu varnar för.
Ingen enkel bromspedal
Det är frestande att tänka att lösningen bara är att “pausa AI”. Men i praktiken är det mycket svårare än så.
Vilka modeller ska omfattas? Vem bestämmer när risken är tillräckligt hög? Hur kontrollerar man att ingen tränar en ny modell i hemlighet? Vad händer om ett land eller ett bolag vägrar följa reglerna? Och hur pausar man utveckling utan att också stoppa användning av AI som redan gör nytta inom exempelvis forskning, medicin och cybersäkerhet?
Det är frågor som ingen har färdiga svar på. Men det är också därför Anthropic vill starta diskussionen nu. Företagets interna forskningsgren, Anthropic Institute, säger att de ska samla forskare, beslutsfattare, civilsamhälle och andra AI bolag för att undersöka hur en trovärdig broms faktiskt skulle kunna fungera.
Det här är större än Claude
För vanliga användare betyder det här inte att Claude försvinner. Det betyder inte heller att AI utvecklingen stannar.
Men det visar att diskussionen om AI har gått in i en ny fas. För bara några år sedan handlade mycket om vad AI kunde göra för oss: skriva texter, skapa bilder, sammanfatta dokument och hjälpa utvecklare att koda snabbare. Nu handlar frågan allt mer om vad som händer när AI inte bara används av människor, utan också blir en central del av sin egen utveckling.
Det är där Anthropic drar gränsen för vad vi behöver börja ta på allvar.
Inte för att katastrofen är här. Utan för att det kan vara för sent att bygga bromssystemet först när man redan behöver använda det.