Lineaire elastische caching: een nieuwe benadering van cachebeheer optimaliseert cloudkosten

Onderzoekers van Google Cloud en Google Research hebben lineair elastisch cachen geïntroduceerd: een nieuwe cachebeheermethode die de totale eigendomskosten minimaliseert. Moderne hoogwaardige databases en clouddiensten gebruiken caching in het werkgeheugen voor snelle gegevenstoegang, maar de geheugenkosten zijn hoog (tot $3 per dag per 1 GiB). Traditioneel cachen met een vaste geheugengrootte stuit op een probleem: een te kleine cache verlaagt de prestaties, een te grote leidt tot onnodige uitgaven. Elastisch cachen past dynamisch de cachegrootte aan door geheugen te beschouwen als een hulpbron met lineaire kosten, afhankelijk van de hoeveelheid en de opslagduur van gegevens. Het probleem wordt opgelost met behulp van het "ski rental"-algoritme, waarbij voor elk gegevensfragment wordt gekozen tussen "huren" (opslag met betaling per tijdseenheid) en "kopen" (langdurige opslag). Voor het voorspellen van de optimale time-to-live (TTL) van een pagina wordt een ondiepe beslissingsboom gebruikt, die wordt gecompileerd naar enkele regels C++ en rekening houdt met de gegevensgrootte, de kosten van een cachemisser en het type bewerking. Implementatie in productieservers van Spanner gedurende enkele maanden toonde een kostenbesparing van maximaal 35% aan, met een toename van slechts 2,6% in cachemissers; door de verdiscontering van de kosten van cachemissers bedroeg de feitelijke impact op de invoer-uitvoer slechts 0,5%. Testen op openbare traces met verschillende varianten van het algoritme (waaronder training op de eerste helft van de trace) bevestigden ook het voordeel van de elastische aanpak ten opzichte van vaste caches, vooral bij hoge geheugenkosten. Het werk is uitgevoerd in samenwerking met Tamás Sarlós en Ravi Kumar (Google) en is gepresenteerd op de CIDR 2025-conferentie.