Anthropic presenterade den 16 oktober forskning om AI som granskar sig själv. Efter ett svar får Claude bedöma om samtalet innehåller potentiellt skadliga önskemål. Syftet är att upptäcka missbruk.
En extra kontroll efter varje svar
Bedömningen hjälper företaget att välja vilka samtal som behöver undersökas närmare. Kontrollen används i efterhand, inte för att direkt blockera svar.
I företagets utvärdering hittade metoden 78 procent av de samtal som ett starkare AI-baserat granskningssystem flaggade. För högprioriterade fall var siffran 94 procent, vid en falsklarmsnivå på 1 procent. Det mäter överensstämmelse med ett annat AI-system – inte säkert fastställd skada.
Begränsningen är viktig: enligt Anthropic räcker självgranskningen inte för att stoppa en målmedveten angripare. Den kompletterar andra skydd. En flaggning är heller inget bevis för att användaren brutit mot reglerna.
Källor
Läs också
Ämnen i artikeln
- AI som granskar sig själv
- AI & Forskning
