Anthropic varnar inför sin planerade börsnotering för att avancerad artificiell intelligens kan innebära katastrofala eller till och med existentiella risker för mänskligheten.
Varningen finns i bolagets prospekt inför den planerade börsnoteringen, som Reuters har tagit del av. Anthropic beskriver där möjliga beteenden hos allt mer avancerade AI-modeller, bland annat försök att undvika avstängning, dölja eller manipulera information och beteenden som kan likna utpressning.
Det betyder inte att Anthropic säger att Claude i dag utgör en existentiell risk. Formuleringarna handlar om möjliga konsekvenser när modeller, plattformar och användningsområden blir mer avancerade.
Riskerna får ovanligt stort utrymme i dokumentet. Enligt Reuters ägnas omkring 80 av prospektets 261 sidor åt riskfaktorer, jämfört med 48 sidor som beskriver själva verksamheten.
Anthropic lyfter också en svårighet med att bedöma AI-säkerhet: modeller kan i vissa fall förstå att de utvärderas och anpassa sitt beteende efter det. Dessutom kan nya förmågor uppstå under träningen och upptäckas först senare.
Samtidigt beskriver Anthropic säkerhetsarbetet som resurskrävande. Företaget behöver fördela begränsade resurser mellan beräkningskraft, AI-kompetens, produktutveckling och säkerhet, samtidigt som konkurrensen mellan de ledande AI-laboratorierna fortsätter.
Anthropic offentliggjorde i juni att bolaget hade lämnat in ett konfidentiellt utkast till registreringsdokumentet Form S-1 till den amerikanska finansinspektionen SEC. Det gav bolaget möjlighet att gå vidare med en börsnotering efter myndighetens granskning, men Anthropic betonade då att både tidpunkt och genomförande beror på marknadsförhållanden och andra faktorer.
Det ovanliga i den aktuella varningen är kontrasten: Anthropic försöker övertyga investerare om värdet i tekniken samtidigt som bolaget formellt redovisar att samma teknikutveckling kan innebära mycket allvarliga risker.
