Nemotron 3.5 Bolt ska låta AI arbeta lokalt på datorn

Nvidia släppte den 15 oktober Nemotron 3.5 Bolt 74B-A9B, en AI-modell för assistenter som arbetar på den egna datorn. Den är anpassad för företagets RTX Spark och DGX Spark. Den praktiska möjligheten är att låta mer av AI-arbetet ske lokalt, i stället för att skicka själva beräkningen till en molntjänst.

Den egna datorn ska kunna göra mer av arbetet

Modellen är byggd för så kallade AI-agenter: program som inte bara svarar på frågor utan också använder verktyg och utför uppgifter i flera steg. Nvidia beskriver bland annat förmågor för webbläsaranvändning och arbete med andra datorverktyg. Det handlar alltså om underlaget till en handlande assistent, inte bara en chatt som skriver text.

En viktig del av lanseringen är minnesåtgången. Nvidia har komprimerat modellen för att den ska rymmas inom 24 gigabyte minne och kunna köras tillsammans med andra program. Det betyder däremot inte att vilken dator som helst med 24 gigabyte minne är lämplig: versionen är uttryckligen optimerad för Spark-systemen.

Det är heller ingen färdig assistent som användaren bara öppnar och börjar prata med. Modellen behöver köras genom program som stöder den. Nvidia anger bland annat LM Studio och Ollama som alternativ vid lanseringen, samt agentprogrammen Hermes och OpenClaw. För en verksamhet krävs därför fortfarande installation och ett val av vilka verktyg assistenten ska använda.

För svenska verksamheter är den möjliga nyttan större kontroll över var AI-beräkningarna sker. Men lokal drift bör inte förväxlas med att hela arbetsflödet saknar externa kontakter. En assistent som använder webben eller anslutna tjänster behöver bedömas utifrån även dessa kopplingar.

Nvidia presenterade samtidigt en mindre modell, Bolt E4B, för bland annat snabba samtalsassistenter. Den är planerad till den 23 oktober och ska alltså inte blandas ihop med den större Bolt-modell som redan har släppts.

AI-stödd text. Granskad, faktakontrollerad och redigerad av redaktionen.

Andra intressanta sidor att läsa

Nyhetsbrev

GPTAI.se Nyhetsbrev GPTAI.se · Nyhetsbrev AI enkelt förklarat – i din inbox Nyheter och artiklar som hjälper dig förstå AI. […] Läs mer

Artiklar

Artiklar om AI Fördjupa dig i hur AI förändrar vardagen, relationer och samhället. Här samlar vi analyser, perspektiv och praktiska […] Läs mer

Fler nyheter

Rulla till toppen