In het kort:

Een analist van het US Special Operations Command gebruikte AI om een inlichtingenrapport te checken, waarna een verzonnen conclusie bijna tot een militaire actie leidde.

• De AI-chatbot voegde ongevraagd openbare internetbronnen toe aan geheime overheidsinformatie, met een foutieve conclusie als resultaat.
• Het Amerikaanse leger bereidde volgens vier bronnen van CNN al een infiltratie voor, inclusief luchtsteun.
• Oplettende medewerkers ontdekten op het laatste moment dat het rapport niet klopte, waardoor een aanval werd voorkomen.

Achter de schermen:

Het incident komt op een opvallend moment, want Amerika versnelt juist de inzet van AI binnen Defensie sinds januari.

• Zo'n 1,5 miljoen medewerkers van het Amerikaanse leger hebben inmiddels toegang tot generatieve AI-tools, waaronder Google's Gemini for Government en sinds kort ook Grok for Government van SpaceX/xAI.
• Gevoelige data binnen IT-systemen wordt steeds toegankelijker gemaakt voor AI-analyse, wat de kans op dit soort fouten vergroot.

Het grote plaatje:

Het bijna-incident voedt de discussie onder AI-experts die al langer waarschuwen voor de risico's van razendsnelle AI-implementatie zonder voldoende controle en regulering.