OpenAI:s egna chip Jalapeño slår Nvidias flaggskepp i interna tester

Bättre än Nvidia på två viktiga mått

Jalapeño överträffar Nvidias flaggskeppschip GB300 när det gäller beräkningskapacitet per watt och svarstid, uppger OpenAI:s chipchef Richard Ho till Bloomberg. Det är anmärkningsvärt för ett företag som hittills förlitat sig helt på Nvidias hårdvara för att driva sina tjänster, bland annat ChatGPT.

Nvidia dominerar i dag marknaden för AI-chips och är en av de mest värdefulla bolagen i världen, till stor del tack vare den explosiva efterfrågan på just den typ av hårdvara som OpenAI nu försöker ersätta med ett eget alternativ.

Chip optimerat för att köra, inte träna, AI-modeller

Jalapeño är utvecklat tillsammans med halvledarföretaget Broadcom och har ett tydligt syfte, att köra redan färdigtränade AI-modeller snarare än att träna nya. Det är en viktig distinktion, eftersom inferens, alltså att faktiskt använda en AI-modell i produktion, kräver andra egenskaper än träningsfasen.

Chippet planeras börja användas senare i år, enligt Bloomberg. Det innebär att OpenAI på sikt kan minska sitt beroende av Nvidia och potentiellt sänka kostnaderna för att driva sina AI-tjänster i stor skala.

– Det är ett genombrott för oss att ha ett eget chip som presterar på den här nivån, säger Richard Ho, chipchef på OpenAI, enligt Bloomberg.

Huruvida Jalapeño på sikt ersätter Nvidia-hårdvara i OpenAI:s datacenter, eller kompletterar den, återstår att se när chippet väl rullas ut i drift.