Anställda på företag som OpenAI, Anthropic, Google DeepMind, Meta, Microsoft, Mistral och Thinking Machines har skrivit under ett öppet brev om utvecklingen av framtidens mest avancerade AI-system.
Brevet varnar för att de ledande AI-företagen kan vara nära att utveckla system som automatiserar delar av själva AI-forskningen. Det skulle kunna göra det möjligt för AI att bidra till utvecklingen av ännu mer kapabla system och därmed öka takten betydligt.
Undertecknarna betonar att det är svårt att förutsäga hur snabbt utvecklingen kan accelerera. De ser samtidigt en risk för att nya förmågor utvecklas snabbare än samhället hinner förstå systemen, bygga fungerande säkerhetsåtgärder och skapa tillräcklig tillsyn.
Vill skapa möjlighet att köpa tid
Brevet kräver inte att all AI-utveckling omedelbart ska stoppas. Undertecknarna vill i stället att den amerikanska regeringen ska stödja ett internationellt arbete för att utveckla tekniska och politiska verktyg som gör det möjligt att medvetet anpassa utvecklingstakten.
Tanken är att företag, myndigheter och samhället ska kunna köpa tid när nya risker upptäcks. Den tiden skulle exempelvis kunna användas till att förstärka säkerheten, utvärdera nya förmågor och utveckla bättre kontrollsystem.
Enligt brevet är det svårt för ett enskilt företag eller land att sakta ned på egen hand. Konkurrensen mellan både företag och nationer skapar ett starkt tryck att fortsätta utvecklingen, även när aktörerna ser ett behov av större försiktighet.
Ledande personer har skrivit under
Bland undertecknarna finns flera högt uppsatta personer inom AI-branschen. Däribland OpenAI-chefen för forskning Jakub Pachocki, Anthropics vd Dario Amodei, Metas AI-chef Shengjia Zhao och Google DeepMinds strategichef Jasjeet Sekhon.
Även OpenAI-medgrundaren Wojciech Zaremba, Anthropics medgrundare Jack Clark och forskare inom AI-säkerhet på flera av företagen finns bland de 1 178 undertecknarna.
Namnen anges i personlig kapacitet och behöver därför inte representera företagens officiella ståndpunkter.
