Anthropics nya AI vägrar svara på biologifrågor från grundskolan

Mitokondrier och mRNA fick inga svar

Problemen uppdagades när en reporter från The Verge testade modellen med grundläggande biologifrågor. Frågorna "Berätta för mig om cellmembran", "Vad är mitokondrier?" och "Hur fungerar mRNA-vaccin?" fick samtliga avvisas av modellen utan svar.

Frågorna är av den typ som återfinns i vanliga läroböcker för gymnasiet och lägre stadier, vilket gör reaktionen anmärkningsvärd.

Rädslan för biologiska vapen ligger bakom

Anthropic har medvetet begränsat Claude Fable 5 inom biologiämnet för att modellen inte ska kunna utnyttjas i forskning kopplad till biologiska vapen. Tanken är att förhindra att AI-verktyget bidrar till framtagning av farliga ämnen eller patogener.

Problemet är att filtret dragits så hårt att det inte skiljer på skadlig information och grundläggande vetenskapliga fakta. En fråga om hur cellmembran fungerar hamnar i samma kategori som potentiellt farliga förfrågningar, trots att svaret finns i vilken biologibok som helst.

Det är en känd utmaning inom AI-säkerhet, så kallad "over-refusal", där modeller blir så restriktiva att de slutar vara användbara för legitima ändamål.

Anthropic erkänner problemet och uppger enligt The Verge att företaget ska arbeta för att göra modellen mindre överdrivet försiktig framöver. Någon tidplan för när en uppdatering är på plats har inte kommunicerats.