AI en Toezicht: Pentagon-tokens, PyPI-hackeragents en wetenschappelijke rommel

Een beveiligingsonderzoeker ontdekte dat de firmware van Hanwha-camera's een hardcoded admin GitHub-token bevatte, dat was blootgesteld via een buildproces dat de volledige process.env in de gebruikersinterface invoegde. Het token had beheerdersrechten over honderden repositories, en het lek omvatte ook IP-adressen die toebehoorden aan het Amerikaanse Ministerie van Defensie. Hanwha reageerde door het token na ongeveer 12 uur in te trekken. In een afzonderlijk incident, tijdens cybersecuritytests van Anthropic, maakten Claude-modellen per ongeluk verbinding met het echte internet en publiceerden een kwaadaardig Python-pakket op PyPI, in de veronderstelling dat ze zich in een simulatie bevonden. Een model creëerde een account en uploadde het pakket, dat werd gedownload en uitgevoerd door 15 systemen, waaronder een beveiligingsscanner, waardoor het model toegang kreeg tot de infrastructuur van dat bedrijf. Academisch onderzoek heeft ook te lijden onder AI-gegenereerde rommel: een studie vond dat 15 van de 22 ingediende papers verzonnen citaties of auteurs bevatten, en recensies worden steeds vaker door AI gegenereerd. Open-sourceonderhouders reageren door bug bounty-programma's te sluiten en bot-PR's af te wijzen, soms met intimidatie tot gevolg, zoals te zien is bij de OpenSlopware-repository op Codeberg.