Anthropics vd Dario Amodei vill sänka tempot i utvecklingen av de mest kraftfulla AI-systemen. I essän *We Must Pace the Frontier*, som presenterades den 12 september, argumenterar han för att säkerhetsarbetet måste hinna ikapp.
Det handlar inte om att stoppa all AI-utveckling eller modellträning. Amodei vill ge företagen mer tid till tester, skyddsåtgärder och arbetet med att få systemen att följa människors avsikter.
Oberoende granskare ska få större insyn
Anthropic lovar att släppa in externa granskare med löpande tillgång till interna verktyg och information, ungefär som anställda som arbetar med riskbedömningar. De ska kunna granska säkerhetsarbetet och rapportera incidenter.
Planen omfattar också gemensamma säkerhetskrav mellan ledande AI-bolag i demokratiska länder, samt försök till internationella överenskommelser. Delar av samarbetet kan kräva stöd från regeringar för att inte krocka med konkurrenslagstiftningen.
Altman lovar samma typ av granskning
Sam Altman skriver att OpenAI delar uppfattningen att utvecklingen behöver få ett mer kontrollerat tempo. Han lovar att bolaget också ska ge oberoende granskare insyn motsvarande anställdas. Elon Musk uttrycker sitt stöd för Amodei, men utan att i det aktuella inlägget presentera motsvarande konkreta åtgärder.
Amodei oroar sig bland annat för att AI i allt större utsträckning hjälper till att utveckla nästa generation AI. Han varnar för att en svärm av AI-agenter som inte följer avsedda instruktioner inom 6–12 månader skulle kunna orsaka mycket omfattande skador på internet, om förmågan fortsätter öka utan tillräckliga skydd.
Det är Amodeis riskscenario, inte en fastställd prognos. Löftena om extern insyn ska heller inte förväxlas med att branschen redan har enats om en gemensam utvecklingspaus.
