General Compute startar molntjänst för AI-slutsatser

General Compute lanserade förra veckan en molntjänst för körning av färdigtränade språkmodeller, efter en mindre såddrunda men med en ovanligt stor satsning på utrustning. Enligt TechCrunch har bolaget tagit in 15 miljoner dollar till en värdering på 60 miljoner dollar efter kapitaltillskottet, och uppger att man har beställt SambaNova-kretsar för omkring 300 miljoner dollar för att driva tjänsten.

Affärsidén bygger på en tyst förskjutning i hela konstgjord intelligens-boomen: det är träningen som ger rubriker, men det är körningen som blir till produkter och återkommande molnräkningar. Grafikprocessorer är fortsatt en bristvara och dyra, och TechCrunch noterar att allt fler i branschen börjar se dem som en nödlösning för körningslaster snarare än som det bästa verktyget. Det skapar utrymme för nya molnaktörer som hyr ut beräkningskraft särskilt anpassad för modellernas svar – hastighet, svarstid och kostnad per tecken – i stället för fler månader långa träningskörningar.

General Compute satsar på att specialiserade kretsar för körning är så viktiga att det lönar sig att bygga en hel molntjänst kring en enda leverantör. Man använder kretsar från SambaNova, ett Intel-stött bolag som synts mindre i de senaste Silicon Valley-samtalen men som nu positionerar ny utrustning som ett alternativ både till Nvidias grafikprocessorer och till andra specialbyggda konkurrenter. SambaNovas säljargument – hundratals tecken per sekund jämfört med lägre genomströmning på grafikprocessorer, samt luftkylda system som kan få plats i befintliga datahallar – är tänkta att direkt förbättra styckekonomin: fler tecken per ställning, mindre ombyggnad och snabbare väg till intäkter.

Det är också därför bolaget, enligt TechCrunch, jagar samlokaliseringsavtal med datahallsoperatörer och kryptovalutabrytare. Brytarna har redan elavtal, byggnader och kylkapacitet; när lönsamheten i bitcoin pressas blir infrastrukturen en kostsam tillgång utan uppgift som behöver en ny belastning. En aktör som säljer körning kan då komma in med utrustning och en intäktsdelning, och göra ett redan betalt lager till en fakturerbar tjänst utan att vänta på nya nätanslutningar eller tillstånd.

Konkurrensläget är rörligt. TechCrunch beskriver ansträngd kapacitet hos etablerade aktörer som Groq och Cerebras, samtidigt som investerare letar efter nästa plattform som slår igenom. Samtidigt pekar artikeln på en marknadslogik som talar emot en ensam vinnare: kunder vill i allt högre grad kunna skicka förfrågningar mellan flera modeller och leverantörer för att styra kostnad och prestanda. Om det blir norm riskerar moln för körning att bli utbytbara rör, och priset går till den som kan leverera billigast, pålitliga tecken i stor skala.

Just nu har General Compute ett såddkapital, en orderbok full av kretsar och en tjänst man säger redan kör en öppen modell snabbare än konkurrenterna. Resten avgörs av om de utlovade ställningarna faktiskt levereras i tid – innan marknaden hinner standardisera kring någon annans utrustning.