Sticker shock zet bestuurders aan het denken over die hele AI

Uit een KPMG-enquête onder meer dan 2.000 topfunctionarissen uit twintig landen blijkt dat 29% moeite heeft met het begrijpen van operationele kosten bij het opschalen van AI-implementaties in hun organisatie. Bijna de helft past de uitrolfases aan als de kosten hoger uitvallen dan de verwachte waarde. Leveranciers zoals Anthropic, OpenAI en GitHub zijn overgestapt van abonnementen met vaste tarieven naar gebruiksgebaseerde facturering per token, wat leidt tot prijsschokken. Uit onderzoek van Gartner blijkt dat de kosten voor AI-ondersteund programmeren per ontwikkelaar tegen 2028 het wereldwijde gemiddelde salaris kunnen overschrijden, vooral in regio's met lagere lonen. Een open source-tool, gemaakt door een Netflix-ingenieur, verwijdert overbodige invoer (zoals databaseschema's en logboeken) die naar LLM's wordt gestuurd, wat gebruikers honderdduizenden dollars aan tokengeruikosten bespaart. De tool maakt gebruik van 'squashers' om onnodige breedsprakigheid te verwijderen voordat de invoer wordt verstuurd.