Het toepassen van grote taalmodellen in financiële markten

In het artikel wordt de mogelijkheid onderzocht om grote taalmodellen (large language models, LLM's) toe te passen op kwantitatieve handelsproblemen, met name voor prijsvoorspelling en handel. De auteurs merken op dat LLM's autoregressief leren en kunnen worden aangepast om prijsreeksen in plaats van woorden te modelleren. Een belangrijk probleem is echter de signaal-ruisverhouding: in de taalkunde heeft tekst een grammaticale structuur die voor mensen voorspelbaar is, terwijl financiële reeksen veel willekeurige factoren bevatten, zoals irrationele transacties en macro-economische schokken. Op de NeurIPS 2023-conferentie vergeleek Hudson River Trading het aantal tokens voor het trainen van GPT-3 (500 miljard) met het aantal beschikbare markttokens (177 miljard per jaar), waaruit bleek dat de hoeveelheden gegevens vergelijkbaar zijn, maar de voorspelbaarheid van prijzen veel lager is. Veelbelovende benaderingen zijn multimodaal leren (combineren van prijzen, nieuws, satellietbeelden), de residualisatiemethode (residualization) om idiosyncratische componenten van rendementen te isoleren, en het gebruik van lange contextvensters om verschijnselen op verschillende schaalniveaus te analyseren (van microstructuur tot fundamentele factoren). Synthetische gegevens kunnen helpen bij het trainen van strategieën met daaropvolgende kalibratie op echte gegevens, en generatieve modellen kunnen worden gebruikt voor het modelleren van extreme gebeurtenissen. Over het algemeen, ondanks scepsis, roepen de auteurs op om open te blijven staan voor mogelijke doorbraken.