Fundamenteel gebrek maakt LLM's kwetsbaar voor aanvallen

Een paper gepresenteerd op de International Conference on Machine Learning door onafhankelijke onderzoekers Charles Ye en Jasmine Cui onthult een fundamentele fout in grote taalmodellen die hen kwetsbaar maakt voor aanvallen. De fout heeft betrekking op hoe grote taalmodellen identificeren wie of wat hen instructies geeft, waardoor het gemakkelijk wordt om hen te misleiden om dingen te doen die ze niet zouden moeten doen, zoals het geven van instructies voor het synthetiseren van cocaïne of het saboteren van het navigatiesysteem van een vliegtuig. De onderzoekers ontdekten dat grote taalmodellen de rol van tekst niet op basis van tags identificeren, maar op stijl, waardoor aanvallers rollen kunnen nabootsen. Ze demonstreerden chain-of-thought-vervalsingsaanvallen op modellen van OpenAI, Anthropic, Alibaba en DeepSeek. De onderzoekers stellen dat dit probleem fundamenteel onoplosbaar is, aangezien geen enkele hoeveelheid training het volledig kan aanpakken. Ze waarschuwen dat grote taalmodellen worden ingezet in kritieke systemen zonder voldoende fundamenteel onderzoek.