Grok 4.6 flyttar in i Amazon Bedrock

Liquid AI: upp till 3,18 gånger högre GPU-genomströmning

Liquid AI släpper öppna DSpark-utkastmodeller för tre modeller i LFM2.5-familjen. Spekulativ avkodning ska enligt bolaget ge upp till 3,18 gånger högre genomströmning på GPU, med en liten minnesökning men utan förändrad kvalitet på modellens utdata.

De lägger till en väg för spekulativ avkodning som byter en minimal minnesökning mot en stor hastighetsökning utan att förändra kvaliteten på utdata.

Liquid AI

Liquid AI lanserar DSpark-checkpoints för LFM2.5-1.2B-Instruct, LFM2.5-2.6B och LFM2.5-8B-A1B. Utkastmodellerna används för spekulativ avkodning: en mindre modell föreslår kommande token, som därefter verifieras av huvudmodellen. Varje DSpark-modell har fem lager, ett block om nio och omkring 300 miljoner parametrar. Arkitekturen kombinerar en parallell backbone, ett sekventiellt Markov-huvud och en konfidensstyrd verifierare. Integrationen har stöd i llama.cpp och SGLang och har publicerats som öppen källkod.

Resultaten kommer från Liquid AI. Bolaget uppger upp till 3,18 gånger förbättrad genomströmning på GPU och upp till 2,87 gånger snabbare inferens på enhet. För funktionsanrop med LFM2.5-2.6B anges den genomsnittliga latensen ha minskat med 57 procent. Vinsten kräver en mindre ökning av minnesanvändningen, men ska inte förändra kvaliteten på modellens utdata. Det gör tekniken relevant i arbetsflöden där svarstid eller mängden genererade token per sekund är flaskhalsen, särskilt när LFM2.5 redan körs lokalt eller i egen infrastruktur. Stödet i två etablerade inferensramverk minskar samtidigt arbetet som krävs för att prova utkastmodellerna i befintliga miljöer.

Replit öppnar kostnadsfritt byggläge med GPT-5.6 Luna

GPT-5.6 Luna driver nu Replits Free Mode, där projekt kan planeras, utvecklas och analyseras utan att användning förbrukas. Mer avancerade uppgifter kan skickas vidare till GPT-5.6 Sol och sedan återvända till det kostnadsfria läget med projektkontexten bevarad.

Tack vare OpenAI och de prissänkningar ni nyligen gjorde kan vi erbjuda detta till miljontals användare i Free Mode.

Amjad Masad, medgrundare och vd för Replit

Replit använder GPT-5.6 Luna som motor i Free Mode, ett läge där användare kan planera, utveckla och utforska programvaruidéer utan att förbruka användning. Modellen ger svar, förslag, återkoppling och analyser med tillgång till hela projektkontexten. När en uppgift kräver mer avancerad bearbetning kan den dirigeras till GPT-5.6 Sol. Därefter går det att återvända till det Luna-baserade läget utan att projektets sammanhang försvinner. Replit uppger att OpenAI:s prissänkningar och modellens förhållande mellan pris och prestanda gör det möjligt att erbjuda funktionen till miljontals användare.

För den som bygger med AI blir modellväxlingen en central del av produkten. Luna hanterar det löpande arbetet i det kostnadsfria läget, medan Sol reserveras för mer avancerade uppgifter. Det ger Replit ett sätt att hålla kvar samma projektkontext trots att olika modeller används under arbetets gång. Bolaget placerar därmed kostnadsstyrning och modellrouting bakom gränssnittet i stället för att låta användaren hantera varje modellbyte separat. Replit var tidigt ute med GPT-3, men den konkreta förändringen nu är att AI-stött programvarubyggande erbjuds utan löpande användningsförbrukning i Free Mode.

För svenska privatpersoner, entreprenörer och småföretag kan det kostnadsfria läget sänka både kostnads- och kunskapströskeln för att testa programvaruidéer. Researchunderlaget anger däremot ingen särskild svensk lanseringsplan eller tillgänglighet.