Speculative decoding
En teknik som snabbar upp AI-modeller genom att gissa flera ord i förväg istället för ett åt gången. Gör att servrar och datorer kan ge svar flera gånger snabbare.
Exempel från veckans nyheter
Liquid AI uppnådde tre gånger snabbare svar med speculative decoding på deras DSpark vision-modell, utan att svarsens kvalitet försämrades.