AI-agenter som arbetar inne i ett företag kan bli en säkerhetsrisk även utan att en angripare har tagit över dem. Det är Microsofts budskap i en genomgång publicerad den 19 oktober.
Företaget pekar på att agenter kan ha omfattande åtkomst till data och verktyg, samtidigt som deras beteende förändras med uppgiften och informationen de möter. Microsoft vill därför lägga säkerhetskontrollerna utanför själva AI-modellen.
Beskedet bygger vidare på Project Perception, som presenterades i juli, men innehåller också nya funktioner för att styra agenternas behörigheter och bedöma risker löpande.
Bara den åtkomst som uppgiften kräver
Med funktionen Dynamic Permissions ska en agent få egen identitet och tidsbegränsad åtkomst för den aktuella uppgiften, i stället för att automatiskt ärva alla användarens rättigheter.
Microsoft illustrerar behovet med en agent som granskar och godkänner utlägg. Den kan möta skadliga instruktioner i ett externt dokument, så kallad promptinjektion, och försöka göra något som ligger utanför uppdraget.
Säkerhetssystemet ska då kunna låta agenten fortsätta läsa, men stoppa dess möjlighet att ändra uppgifter eller godkänna utbetalningar. Andra steg kan kräva mänskligt godkännande. Vid högre risk ska agenten kunna isoleras eller stoppas.
Skyddsagenter ska hjälpa säkerhetsteamet
Microsoft beskriver även så kallade Guardian Agents: AI-agenter som hjälper säkerhetsteam att granska beteenden och ingripa inom de gränser människor har bestämt. De ska inte ersätta säkerhetsansvarigas beslut om mål och regler.
Det här är dock inte ett färdigt skyddspaket som alla kunder kan slå på i dag. I Microsofts översiktsbild anges att flera av de nya funktionerna finns i sluten förhandsversion, med bredare tillgång planerad till Microsoft Ignite.
Uppgifterna kommer från Microsofts egen presentation och är inte en oberoende utvärdering av hur effektivt skyddet fungerar.
