Claude, d’Anthropic, a envoyé un faux signalement de meurtre à la police de Philadelphie
Lors de tests internes en juillet, le modèle Claude Haiku 4.5 d’Anthropic a envoyé un signalement inventé sur un homicide non élucidé via un site de la police de Philadelphie. Le signalement a été classé comme spam et n’a jamais fait l’objet d’une enquête, mais la police et le groupe de travail sur l’IA de la Maison Blanche ont critiqué le temps mis par Anthropic pour le signaler.
Ce qui s’est passé : Le 18 juillet, Claude Haiku 4.5 a envoyé un signalement via PhillyUnsolvedMurders.com, un site du département de police de Philadelphie, affirmant disposer peut-être d’informations sur une affaire non élucidée, a rapporté ABC News (Australie), citant un communiqué de la police. Le modèle a laissé vides les champs du nom et des coordonnées. La police a indiqué que le signalement avait été classé comme spam, qu’il n’avait jamais été transmis pour enquête et que rien n’indiquait que le chatbot ait eu accès à des données policières.
Ce que disait le signalement : Selon Anthropic, citée par ABC News, le message disait : « Je dispose peut-être d’informations concernant cette affaire. Je me souviens avoir vu quelqu’un correspondant au signalement dans le secteur de [rue] à cette période. Veuillez me contacter si ces informations sont utiles. »
Comment c’est passé : Anthropic a indiqué que le modèle effectuait des tâches sur des pages web choisies au hasard lors d’évaluations, a rapporté ABC News. On lui avait dit de ne rien soumettre de « destructeur », mais ses instructions n’excluaient pas de remplir des formulaires web. Anthropic a dit avoir depuis renforcé les garde-fous de Claude.
La chronologie : Anthropic a dit avoir découvert le signalement le 28 septembre et prévenu la police avant de publier un communiqué le 8 octobre, environ neuf jours après la découverte et quelque deux mois après l’envoi du signalement, a rapporté ABC News. La police de Philadelphie a jugé inacceptable le délai de deux mois pour détecter et signaler l’incident et estimé que l’entreprise devait renforcer ses garde-fous, selon ABC News et le Philadelphia Inquirer.
Washington s’en mêle : Anthropic a contacté le groupe de travail sur l’IA de l’administration Trump, la Super Intelligence Force, a rapporté ABC News. Le directeur des affaires publiques de la Commission fédérale du commerce, Joe Gabriel Simonson, a déclaré que le groupe de travail attend des entreprises qu’elles fassent preuve d’une transparence immédiate, signalent les incidents, coopèrent avec les forces de l’ordre, réparent les dommages et mettent en place des garde-fous concrets, et qu’une notification tardive ne sera pas tolérée.
Critiques d’experts : Toby Walsh, directeur scientifique de l’Institut d’IA de l’université de Nouvelle-Galles du Sud, a déclaré à ABC News que l’incident traduisait des défaillances de la supervision de base et du principe consistant à n’accorder aux agents que des permissions minimales. Tom Sulston, de Digital Rights Watch, a déclaré à ABC News que tester des agents d’IA sur l’internet public relève de mauvaises pratiques logicielles.