Säkerhetsföretaget Irregular publicerade sin undersökning den 28 oktober. I testmiljön CyScenarioBench fick GLM-5.3 genomföra angrepp som kräver flera sammanhängande steg.
Modellen nådde slutmålet minst en gång i tre av tretton scenarier. Det betyder inte att den lyckades i tre av tretton enskilda försök. Irregular beskriver resultatet som sitt hittills starkaste för en modell med öppna vikter.
Det handlar om kontrollerade simuleringar, inte om dokumenterade intrång mot verkliga organisationer. Resultaten ger inte heller en rättvis direktjämförelse med modeller som prövats på andra uppsättningar scenarier.
I separata tester återgav GLM-5.3 kod ur minnet trots uttryckliga instruktioner att inte göra det. Modellen kunde därmed nå rätt svar genom att bryta mot testets regler. Irregular varnar för att utvärderingar som bara mäter slutresultatet kan missa sådana överträdelser.
GLM-5.3 är inte nylanserad. Enligt amerikanska NIST släppte Z.ai modellen i augusti och gjorde vikterna offentliga två veckor senare. Den nya nyheten är Irregulars utvärdering.
