Fra nedlastet modell til din første lokale AI-tjeneste på omtrent 52 minutter. Du trenger ikke en dyr GPU eller erfaring med maskinlæring for å delta.
Målet: Kjør en språkmodell på egen maskin, still den spørsmål, kall den fra et lite program og sammenlign to modeller. OpenCode/Pi og mer avansert serverdrift er valgfrie utvidelser.
Korteste vei: Installer LM Studio hvis du foretrekker et grafisk grensesnitt, eller Ollama hvis du liker terminalen. Start med Qwen3-4B i Q4_K_M /
qwen3:4b. Det er et bevisst, lite og etablert øvingsvalg – ikke en påstand om at det er den beste modellen i oktober 2026. Nyere alternativer finnes i modelloversikten.
| Jeg vil … | Velg | Installer |
|---|---|---|
| Prøve lokal AI uten terminal | A: LM Studio | Bare LM Studio og én modell |
| Bruke terminal og et enkelt API | B: Ollama | Bare Ollama og én modell |
| Bruke en lokal kodeagent | OpenCode eller Pi etter A/B | En fungerende modellserver og ett harness |
| Eksperimentere med modellservere | llama.cpp, vLLM eller SGLang | Verktøyene for akkurat den løypen |
Ikke installer alt. Gjør A eller B, og fortsett til API-øvelsen. Du kan også gjennomføre chat- og sammenligningsøvelsen helt i GUI.
| Tid | Tema | Dette går vi gjennom |
|---|---|---|
| 0–7 min | Hvorfor selvhoste? | Datakontroll, offlinebruk, tilpasning og kostnader – mot driftsansvar, kapasitet og modellkvalitet. |
| 7–17 min | Begrepene som betyr noe | Modellvekter, inferens, tokens, kontekstvindu, kvantisering og lisenser. |
| 17–27 min | Kom i gang | Finn en modell på Hugging Face, velg kjøremotor, last ned, start og koble til chat/API. Vis eventuelt Pi/OpenCode. |
| 27–42 min | Workshop: prøv selv | Kjør en modell, still spørsmål, bruk API-et fra et lite program og sammenlign to modeller. |
| 42–52 min | Fra demo til tjeneste | Samtidige brukere, tilgang, logging, overvåking, oppgraderinger, prompting, RAG og finjustering. |
- Ta med maskin og lader. Sjekk hvor mye RAM og eventuell VRAM du har.
- Installer ett av verktøyene over. Sjekk at du har lov til å installere programvare på jobbmaskinen.
- Last gjerne ned første modell på forhånd. Modellfiler er store, og felles Wi-Fi kan bli flaskehalsen.
- Sett av rundt 10 GB ledig disk for den lille hovedløypen og to små modeller; større modeller trenger langt mer.
- For programøvelsen: installer Python 3. Eksemplet bruker bare standardbiblioteket, ingen
pip-pakker. - Bruk oppdiktede data. Ikke ta med kundeopplysninger, persondata eller API-nøkler i øvingspromptene.
- 8 GB RAM, ingen dedikert GPU: Prøv en 1–3B-modell kvantisert til 4 bit. Lukk tunge programmer. CPU fungerer, men svarene kan være trege.
- 16 GB RAM eller mer: Et bedre utgangspunkt for hovedløypens 4B-modell.
- Windows/Linux med GPU: Kontroller driver og Ollamas GPU-støtte. Ikke alle AMD-, Intel- eller NVIDIA-kort støttes av alle motorer.
- Mac med Apple Silicon: CPU og GPU deler unified memory. 16 GB på en Mac er ikke 16 GB VRAM i tillegg til systemminnet; macOS og andre programmer trenger også plass.
- LM Studio: Se systemkravene. Blant annet kreves macOS 14+ og Apple Silicon på Mac; Intel-Mac støttes ikke av LM Studio.
Du trenger ikke Docker, CUDA Toolkit, Hugging Face-konto eller Node.js for A/B. Noen modeller er adgangsbegrensede (gated) og krever konto og godkjente vilkår, men hovedløypens Qwen-modell er ikke det. GPU-driver kan fortsatt være nødvendig.
| Mulig gevinst | Hva du samtidig overtar |
|---|---|
| Kontroll over hvor inferens og data behandles | Sikring av maskinen, klientene, lagrede samtaler og logger |
| Offlinebruk etter installasjon og nedlasting | Ingen automatisk tilgang til ferske fakta eller nettjenester |
| Valgfri modell, kvantisering og integrasjon | Kompatibilitet, lisenser, oppgraderinger og kvalitetstesting |
| Ingen ekstern tokenpris for lokal inferens | Maskinvare, strøm, driftstid og begrenset kapasitet |
Selvhosting er ikke automatisk billigere, sikrere eller bedre. En liten lokal modell kan være nyttig til avgrensede oppgaver uten å matche en stor skymodell. Lokal modell betyr heller ikke at alle verktøy er lokale: nettsøk, MCP-servere, skyløsninger og deling av agentsesjoner kan sende data ut av maskinen.
| Begrep | Kort forklart |
|---|---|
| Modellvekter | Tallene modellen har lært. Det er disse du laster ned. 4B betyr omtrent fire milliarder parametere. |
| Inferens | Å kjøre modellen på en input for å produsere et svar; ikke det samme som å trene den. |
| Token | En tekstbit, ikke nødvendigvis et helt ord. Både spørsmål, historikk, verktøybeskrivelser, eventuell resonnering og svar bruker tokens. |
| Kontekstvindu | Hvor mye input og output modellen kan håndtere i én kjøring. Et oppgitt maksimum er ikke et fornuftig standardvalg på alle maskiner. Start med 4 096 tokens. |
| KV-cache / kjøretidstilstand | Minne brukt under kjøring for konteksten. Behovet avhenger av arkitektur, kontekstlengde og antall samtidige forespørsler. |
| Kvantisering | Lavere presisjon på vektene, for eksempel 4 i stedet for 16 bit, for å spare minne. Kan påvirke kvaliteten; ulike Q4-varianter er ikke identiske. |
| MoE | Mixture of Experts: bare deler av modellen aktiveres per token. 24B-A2B trenger fortsatt plass til langt mer enn 2B vekter. |
| Offloading | Å legge deler av vektene/beregningen i systemminnet i stedet for GPU-minnet. Kan gjøre modellen mulig å kjøre, men ofte tregere. |
| Kjøremotor / modellserver | Programmet som laster vektene og kjører inferens, for eksempel llama.cpp, Ollama, vLLM eller SGLang. |
| Harness | Agentprogrammet rundt modellen, for eksempel OpenCode eller Pi. Håndterer blant annet historikk, filer og verktøykall; erstatter ikke modellserveren. |
En nyttig overslagsregel for bare vektene er antall parametere × bit / 8 byte. En 27B-modell ved 4 bit er dermed minst omtrent 13,5 GB før kvantiseringsmetadata, ikke-kvantiserte lag, kontekst og andre buffere. Filstørrelse er ikke totalt minnebehov.
Nedlastbare vekter sier ikke at treningsdata, treningskode eller alle bruksrettigheter er åpne. Les modellkortet og lisensen, også for finjusterte og kvantiserte varianter.
- Qwen3-4B, Qwen3.8-27B og Saluki oppgir Apache-2.0; GLM-5.3-Flash og DeepSeek-V4.1-Flash-1017 oppgir MIT.
- LiquidAIs LFM2.5-modeller bruker LFM Open License v1.0, med begrensninger på kommersiell bruk for virksomheter over en omsetningsterskel på USD 10 millioner årlig. Ikke behandle dem som Apache/MIT.
- Qwen3.8-Flash-Next bruker Qwen Community License 1.0, med egne vilkår, blant annet for kommersielle modell- og AI-assistenttjenester.
Avklar rettighetene med arbeidsgiver ved jobbbruk. En workshop er ikke en generell godkjenning for senere kommersiell bruk.
Modellkort, filer og dokumentasjon sjekket 23. oktober 2026. Dette er kandidater, ikke en «best i test»-rangering. Minnetallene under er omtrentlige nedlastingsstørrelser, ikke garanterte VRAM-krav. Hold konteksten kort og legg inn minnemargin.
| Minneklasse / maskin | Modell og lenke | Variant og praktisk vurdering |
|---|---|---|
| CPU / lite minne | Qwen3-1.7B | ollama run qwen3:1.7b. Mindre alternativ når hovedmodellen blir tung. |
| 4–8 GB VRAM, eller vanlig laptop | Qwen3-4B | Hovedløype: offisiell GGUF Q4_K_M, ca. 2,50 GB, eller qwen3:4b i Ollama. |
| 4–8 GB VRAM / CPU | LFM2.5-2.6B | Offisiell GGUF, Q4_K_M ca. 1,67 GB. Lite alternativ for tekst, uttrekk og verktøybruk; modellkortet fraråder agentisk koding og kunnskapstunge oppgaver. Se lisensen. |
| 8–16 GB VRAM | Qwen3-8B | ollama run qwen3:8b, et større sammenligningsvalg. Agentbruk og lang kontekst trenger mer margin enn enkel chat. |
| 8–16 GB VRAM, helst øvre del | Underdog Saluki 27B 1.0 | Qwen3.8-basert, verktøyrettet GGUF med svært lav presisjon: IQ2-mix, 7,89 GB. Ikke regn med at den får plass fullt på en 8 GB-GPU. Kan bruke RAM/offloading. Utgiverens benchmark er ikke en garanti for frontier-kvalitet. |
| 16–32 GB VRAM, helst 24 GB+ | LFM2.5-24B-A2B | GGUF Q4_K_M ca. 14,53 GB, eller ollama run lfm2.5:24b. 16 GB blir trangt når kjøretidsminnet kommer i tillegg. Se lisensen. |
| 16–32 GB VRAM, helst 24 GB+ | Qwen3.8-27B | Unsloths GGUF, UD-Q4_K_M ca. 16,46 GB. Denne filen alene er større enn en 16 GB-GPU; originalvektene er omtrent 54 GB. Bruk oppdatert motor. |
| 32–96 GB VRAM | Modellene over med høyere presisjon / mer kontekst | Start heller med en modell som får god plass enn å bruke alt minnet på størst mulig modell. Flash-Next med offloading er et avansert eksperiment, ikke standardløypen. |
| 96–192 GB VRAM + nok RAM | Qwen3.8-Flash-Next | Stor MoE med egen N-gram-tabell. Original BF16-utgave er ca. 360 GB. SGLang-oppskriften beskriver blant annet NVFP4 på 96 GB Blackwell med tabell i CPU-minne og minst 64 GB ledig verts-RAM. Dette kan ikke generaliseres til alle GPU-er. |
| 192–384 GB VRAM / stor arbeidsstasjon | GLM-5.3-Flash | 320B totalt / 18B aktive. Originalutgaven er ca. 328 GB med FP8/blandet presisjon. Ved 96–192 GB kreves en annen kvantisering/offloading med bekreftet motorstøtte; ikke bare færre aktive parametere. |
| Server / flere GPU-er | DeepSeek-V4.1-Flash-1017 | Konkret versjon brukt av DeepInfer-eksemplet. Originalutgaven er ca. 510 GB. 192–384 GB VRAM er ikke nok til alle disse vektene alene. Krever annet format/offloading eller mer maskinvare, samt kompatibel motor. |
Viktig om store modeller: «64 GB RAM og litt offloading» er ikke en generell oppskrift for Flash-Next. Total størrelse, hvilke deler som kan flyttes, kvantisering, GPU-arkitektur og programvareversjon avgjør. Unified memory kan heller ikke telles både som RAM og VRAM. Modellene i de nederste radene er fordypning eller instruktørdemo.
Spesialmodell, ikke chat: Cloudflare/Clef-Flash er en 9B beslutningsmodell basert på Qwen3.5-9B. Den returnerer sannsynligheter for tillatte valg, ikke fritekstsvar. Modellkortet viser egen Python-kode og SGLang-endepunktet /v1/systemone, ikke en vanlig /v1/chat/completions-løype. BF16-vektene alene er rundt 18 GB; ikke lov kjøring på 8–16 GB uten en konkret støttet kvantisering. Aktuelt som bonus om klassifisering/ruting, ikke som erstatning i chatøvelsene.
Hugging Face er en modellkatalog, ikke én bestemt kjøremotor. Les Model card, Files and versions og License før nedlasting.
| Format | Typisk bruk |
|---|---|
| GGUF, gjerne Q4_K_M som start | llama.cpp og kompatible GUI-er; Ollama kan importere støttede GGUF-modeller. |
| Safetensors + konfigurasjon/tokenizer | Transformers, vLLM og SGLang. Last ned modellpakken gjennom motoren, ikke én tilfeldig shard. |
| MLX, ofte en egen kvantisert utgave | Apple Silicon med MLX/MLX-LM eller LM Studios MLX-motor når modellen støttes. |
En HF-modell-ID er ikke nødvendigvis et Ollama-navn. LiquidAI/LFM2.5-2.6B betyr for eksempel ikke at ollama run lfm2.5:2.6b finnes. Bruk dokumenterte tagger, eller GGUF i LM Studio/llama.cpp. Ny arkitektur krever ofte oppdatert motor selv om filformatet er riktig.
- Last ned og installer LM Studio for operativsystemet ditt.
- Åpne Discover. Søk etter
Qwen/Qwen3-4B-GGUF, eller lim inn modellens URL. - Velg Q4_K_M, omtrent 2,5 GB. Har du lite minne, velg en mindre modell fra oversikten.
- Åpne Chat, velg modellen og last den inn. Sett konteksten til 4 096 tokens til å begynne med.
- Spør:
Forklar hva inferens er med to setninger. /no_think - For API-øvelsen: åpne Developer og velg Start server. Behold lokal lytting; ikke aktiver deling på nettverket. Standardadresse er
http://127.0.0.1:1234.
Ferdig når: Du får et svar i chatten. Med serveren startet kan du også hente http://127.0.0.1:1234/v1/models i nettleseren. Noter modellens id til API-øvelsen.
/no_think er en Qwen3-instruksjon for å slå av resonnering og få et raskere øvingssvar; det er ikke en universell innstilling for alle modeller.
Se modellnedlasting og lokal API-server. GUI-alternativ: Jan er en åpen kildekode-app for Windows, macOS og Linux med modellnedlasting, chat og lokalt OpenAI-kompatibelt API. Velg en lokal modell, ikke en skytilkobling. API-porten er vanligvis 1337; kontroller appens adresse og eventuell autentisering.
- Windows/macOS: Last ned Ollama, installer og start appen. Åpne en ny terminal etter installasjonen.
- Linux: Bruk installasjonsveiledningen. Standardinstallasjonen bruker:
curl -fsSL https://ollama.com/install.sh | shDette laster ned og kjører et installasjonsskript. Les skriptet først hvis du vil kontrollere det; følg virksomhetens installasjonsregler.
Hvis serveren ikke allerede kjører som app/tjeneste, start ollama serve i en egen terminal. Meldingen «address already in use» betyr ofte at den allerede er startet. Lokal standardadresse er http://127.0.0.1:11434.
Disse kommandoene fungerer også i PowerShell:
ollama pull qwen3:4b
ollama run qwen3:4bSkriv i chatten:
/set parameter num_ctx 4096
Forklar forskjellen på RAM og VRAM med to setninger. /no_think
Avslutt chatten med /bye. Modellen forblir nedlastet. Se og frigjør kjøretidsminne med:
ollama list
ollama ps
ollama stop qwen3:4bollama list viser nedlastede modeller; ollama ps viser innlastede modeller og om CPU/GPU brukes. stop stopper modellen i minnet, ikke Ollama-serveren.
Ferdig når: Du får et lokalt svar, og http://127.0.0.1:11434/v1/models viser modellen. Lokal bruk trenger ingen betalt konto eller sky-API-nøkkel. Unngå modeller merket cloud; se lokalmodus uten skyfunksjoner hvis du vil deaktivere skyfunksjonene helt.
Et OpenAI-kompatibelt API beskriver et grensesnitt, ikke hvor modellen kjører. Her går forespørslene til din egen maskin, ikke til OpenAI. Kompatibiliteten er delvis: blant annet verktøykall, resonnering og multimodal input varierer mellom servere.
| Server | Base-URL i klienten | Modellnavn |
|---|---|---|
| Ollama | http://127.0.0.1:11434/v1 |
For eksempel qwen3:4b |
| LM Studio | http://127.0.0.1:1234/v1 |
Kopier id fra /v1/models |
| llama.cpp-eksemplet under | http://127.0.0.1:8080/v1 |
workshop (vårt eksplisitte alias) |
| vLLM-eksemplet under | http://127.0.0.1:8000/v1 |
Qwen/Qwen3-1.7B |
| SGLang-eksemplet under | http://127.0.0.1:30000/v1 |
Qwen/Qwen3-1.7B |
Lagre følgende som request.json i en øvingsmappe, med UTF-8-koding. Bytt model hvis du bruker noe annet enn Ollama:
{
"model": "qwen3:4b",
"messages": [
{"role": "user", "content": "Forklar selvhosting med to setninger. /no_think"}
],
"max_tokens": 1024,
"stream": false
}Kjør fra samme mappe, og bytt port hvis du bruker LM Studio:
curl http://127.0.0.1:11434/v1/chat/completions -H "Content-Type: application/json" --data-binary @request.jsonPowerShell: Bruk curl.exe i stedet for curl, og skriv filargumentet som --data-binary "@request.json". Dette unngår både aliaset til Invoke-WebRequest og problemer med shell-sitering.
Svaret er JSON; den genererte teksten ligger i choices[0].message.content. Ved feil modellnavn: hent /v1/models og bruk den eksakte id-verdien.
Lagre som lokal_ai.py i øvingsmappen. Ingen ekstra biblioteker kreves:
import argparse
import json
import time
import urllib.error
import urllib.request
parser = argparse.ArgumentParser()
parser.add_argument("--base-url", default="http://127.0.0.1:11434/v1")
parser.add_argument("--model", default="qwen3:4b")
parser.add_argument("--prompt", default="Forklar inferens med to setninger. /no_think")
args = parser.parse_args()
payload = {
"model": args.model,
"messages": [{"role": "user", "content": args.prompt}],
"max_tokens": 1024,
"stream": False,
}
request = urllib.request.Request(
args.base_url.rstrip("/") + "/chat/completions",
data=json.dumps(payload).encode("utf-8"),
headers={"Content-Type": "application/json"},
)
start = time.perf_counter()
try:
with urllib.request.urlopen(request, timeout=300) as response:
result = json.load(response)
except urllib.error.HTTPError as error:
raise SystemExit(f"HTTP {error.code}: {error.read().decode('utf-8', errors='replace')}")
except (urllib.error.URLError, TimeoutError) as error:
raise SystemExit(f"Kunne ikke nå modellserveren: {error}")
choice = result["choices"][0]
print(choice["message"].get("content") or "Ingen svartekst; sjekk resonnering/tokenbudsjett.")
print(f"Tid: {time.perf_counter() - start:.1f} s. Avslutning: {choice.get('finish_reason')}")Kjør med Ollama:
python3 lokal_ai.pyMed LM Studio, erstatt MODELL_ID med verdien fra /v1/models:
python3 lokal_ai.py --base-url http://127.0.0.1:1234/v1 --model MODELL_IDPå Windows kan du bruke py i stedet for python3. Eksemplene forutsetter lokal server uten autentisering. Har du aktivert autentisering, må klienten også sende serverens nødvendige autorisasjonshode; ikke legg ekte nøkler i README eller Git.
Programmet sender ett spørsmål uten samtalehistorikk. Det bruker HTTP direkte; du kan senere erstatte dette med OpenAI-SDK-et eller serverens eget bibliotek. Reasoning-modeller kan bruke tokenbudsjettet på resonnering før svaret kommer. Ved finish_reason: length, øk budsjettet innenfor konteksten eller bruk modellens dokumenterte innstilling for mindre resonnering.
- 0–4 min: Få ett svar. Start modellen og spør om noe du selv kan kontrollere. Noter modell, kvantisering og kontekstlengde.
- 4–9 min: Bruk API-et. Kjør forespørselen og Python-programmet over. Endre prompten. Foretrekker du GUI, gjør samme oppgave der; API-delen kan gjøres sammen med en annen deltaker.
- 9–14 min: Sammenlign to modeller. Bruk nøyaktig samme prompt, ny samtale og like innstillinger så langt det lar seg gjøre. I Ollama er
qwen3:1.7bogqwen3:4bet lite par; ved god plass kan du sammenligne medqwen3:8b. I LM Studio laster du inn én modell om gangen. - 14–15 min: Del funn. Hva var raskest? Hva var faktisk riktig? Ville du brukt dette til en jobboppgave?
Forslag til felles oppgave:
Trekk ut informasjon fra teksten under. Svar bare med gyldig JSON med feltene
"kunde", "produkt", "antall" og "frist". Bruk null for informasjon som mangler.
Ikke legg til opplysninger som ikke står i teksten.
Tekst: Nordlys AS ønsker tre skjermer levert innen fredag.
/no_think
Kontroller at resultatet kan parses som JSON, at antallet er 3, og at modellen ikke finner på en kalenderdato. Prøv også en tekst uten frist. Dette tester instruksjonsfølging og uttrekk, ikke bare om svaret høres godt ut.
| Modell / kvantisering | Kontekst | Gyldig JSON? | Riktige felt / ingen oppdiktning? | Total tid, varm kjøring |
|---|---|---|---|---|
| Modell A | ||||
| Modell B |
Kjør gjerne to ganger: første forespørsel kan inkludere innlasting. Total tid er ikke det samme som tokens/sekund. Registrer om svaret ble avkuttet, og ikke konkluder om generell modellkvalitet fra én oppgave. To kvantiseringer av samme modell er også et nyttig eksperiment, men merk da at du sammenligner presisjon, ikke to ulike modeller.
OpenCode / Pi → lokalt API → modellserver → modellvekter på CPU/GPU
Harnesset kan lese/skrive filer og kjøre kommandoer. Bruk en egen, ufarlig øvingsmappe uten hemmeligheter, og helst en sandbox/container. Ikke kjør som administrator. Pi har ikke innebygde tillatelsesdialoger som sikkerhetsgrense; en tom mappe begrenser heller ikke alene prosessens tilgang til resten av maskinen.
Agentbruk krever at modell + chat-template + serverens tool-parser + klient fungerer sammen. At modellen kan chatte er ikke nok. Små modeller kan feile på verktøykall selv om API-et fungerer.
Dette er en ekstra løype for maskiner med mer minnemargin enn minimumsløypen. Bruk for eksempel Qwen3-8B og 16K kontekst; det kan bli for tungt for en 8 GB-GPU uten offloading. Bruk en mindre modell ved behov.
ollama pull qwen3:8bLagre dette som Modelfile i øvingsmappen:
FROM qwen3:8b
PARAMETER num_ctx 16384
Lag et lokalt alias som brukes av begge eksemplene:
ollama create workshop-agent -f ModelfileKontekstgrensen må stilles på serveren, ikke bare oppgis i klienten. 16K er et utgangspunkt for en liten øvelse; større kodebaser og mange verktøy trenger ofte mer.
- Installer etter V2-veiledningen. Den har installer for macOS/Linux og egne binærfiler for Windows. Bruk V2-konfigurasjonen under, ikke oppskrifter for V1.
- La Ollama kjøre og start
opencodei øvingsmappen. - Åpne
/modelsog velgollama/workshop-agent. V2 oppdager lokale Ollama-, LM Studio- og vLLM-servere automatisk på standardadressene. Ingen skyinnlogging kreves for lokal Ollama.
For fast modellvalg, legg følgende i opencode.json i øvingsmappen (flett inn hvis filen allerede finnes):
{
"$schema": "https://opencode.ai/config.json",
"model": "ollama/workshop-agent"
}Prøv: Lag en Python-funksjon som regner om Celsius til Fahrenheit, og en enkel test. Kontroller foreslåtte endringer og kommandoer. Bytt eventuelt til en bedre egnet modell hvis verktøykallene feiler.
For andre servere/porter og eksplisitte modeller: se V2 providers og lokale modeller. Oppdagede vLLM-modeller har verktøystøtte deaktivert til den er konfigurert; serveren må også starte med riktig tool-parser. Ikke anta at automatisk oppdagelse setter opp dette.
Installer etter pi.dev. Med Node.js 22.19+ kan du bruke npm på tvers av plattformene:
npm install -g --ignore-scripts @earendil-works/pi-coding-agentOpprett eller flett inn i ~/.pi/agent/models.json (på Windows: under brukerens hjemmemappe). Ikke overskriv eksisterende providere:
{
"$schema": "https://pi.dev/schemas/models.schema.json",
"providers": {
"workshop": {
"baseUrl": "http://127.0.0.1:11434/v1",
"api": "openai-completions",
"apiKey": "local",
"models": [
{
"id": "workshop-agent",
"name": "Lokal Qwen3-8B",
"contextWindow": 16384,
"maxTokens": 4096
}
]
}
}
}Start pi i øvingsmappen, åpne /model, og velg modellen under workshop. local er en dummy-verdi som gjør modellen tilgjengelig i Pi; det aktiverer ikke autentisering i Ollama. /login trengs ikke for dette lokale endepunktet. Bruk den samme Fahrenheit-oppgaven som over.
For LM Studio, llama.cpp eller SGLang endrer du baseUrl, modellens id og grensene til det som faktisk er satt på serveren. Se Pis modelloppsett. Et OpenAI-kompatibelt endepunkt bruker her API-navnet openai-completions, selv om Pi sender chatmeldinger.
Dette er alternativer, ikke flere nødvendige steg i hovedløypen. Kontroller kombinasjonen OS + maskinvare + motorversjon + modellarkitektur + kvantisering før du laster ned store modeller.
| Verktøy | Passer best til | Begrensninger / hva du må installere |
|---|---|---|
| LM Studio | GUI, modellutforsking, chat og lokalt API | App + støttet modell/runtime. Enkelt deltakeralternativ. |
| Jan | Åpen kildekode-GUI med lokal chat/API | App + støttet modell. Ikke forveksle lokal kjøring med appens skyintegrasjoner. |
| Ollama | Enkel modellhåndtering, CLI og lokalt API | Installer + modelltagg; mindre detaljkontroll enn direkte motorbruk. Har også app/chatgrensesnitt. |
| llama.cpp | GGUF, CPU/GPU, offloading og en lett server med webchat | Ferdigbygget binær eller kompilering med riktig backend. Bred maskinvarestøtte. |
| MLX-LM | Effektiv lokal inferens på Apple Silicon | Python-miljø + mlx-lm + støttet MLX-modell. Alternativ til GGUF, ikke et universelt GPU-backend. |
| vLLM | GPU-tjenester, batching og flere samtidige klienter | Riktig plattform/backend; eksemplet under er Linux/NVIDIA. Andre plattformer har egne oppskrifter. |
| SGLang | Effektiv serving, prefix-cache og agentarbeidslaster | Plattformspesifikt oppsett. Docker-eksemplet under krever Linux/NVIDIA og CUDA 13-kompatibel driver. |
| DeepInfer | Spesialisert DeepSeek-inferens i stor skala | Ikke en generell laptopserver eller ferdig drop-in-API. Se avgrensningene under. |
llama.cpp: én GGUF, innebygd webchat og API
Installer fra offisielle installasjonsvalg / releases. Velg riktig CPU-, Metal-, CUDA- eller Vulkan-build; en tilfeldig binær gir ikke nødvendigvis GPU-akselerasjon. Med Homebrew på Mac kan du bruke brew install llama.cpp; på Windows finnes winget install llama.cpp.
Start den samme lille Qwen-modellen med eksplisitt port, alias og kontekst:
llama-server -hf Qwen/Qwen3-4B-GGUF:Q4_K_M --host 127.0.0.1 --port 8080 --alias workshop -c 4096 --jinjaPå Windows kan binæren hete llama-server.exe. Kommandoen laster ned modellen første gang. Åpne http://127.0.0.1:8080 for webchat. API-et er http://127.0.0.1:8080/v1, med modellnavnet workshop. GPU-offloading avhenger av valgt build og ledig minne; sjekk oppstartsloggen.
For LFM2.5-2.6B kan du bytte HF-argument til LiquidAI/LFM2.5-2.6B-GGUF:Q4_K_M etter lisensavklaring. For Saluki bruker du modellkortets GGUF-oppskrift; start med kortere kontekst enn 32K hvis minnet er trangt.
Se serverdokumentasjonen. Avslutt med Ctrl+C.
vLLM: Linux/NVIDIA, API-server i eget Python-miljø
Installer uv og kontroller GPU/driver mot vLLMs installasjonskrav. Følgende er Bash-kommandoer for Linux/NVIDIA, ikke en generell Windows/Mac-oppskrift:
uv venv .venv-vllm --python 3.12 --seed
source .venv-vllm/bin/activate
uv pip install vllm --torch-backend=auto
vllm download-kernels
vllm serve Qwen/Qwen3-1.7B --host 127.0.0.1 --port 8000 --max-model-len 4096 --gpu-memory-utilization 0.8Her brukes en liten modell uten manuell kvantisering for å gjøre oppstarten enklere. API: http://127.0.0.1:8000/v1; modell-ID: Qwen/Qwen3-1.7B. Prøv Python-programmet med disse verdiene. Serveren laster selv ned modellpakken fra Hugging Face.
Start med chat, ikke agentverktøy. Verktøykall krever modellspesifikke flagg som --enable-auto-tool-choice og riktig --tool-call-parser; bruk dokumentasjonen for akkurat modellen. Nyere LFM/Qwen/GLM-modeller kan kreve nyere versjoner eller egne recipes. En annen modell-ID er ikke alltid tilstrekkelig.
Avslutt serveren med Ctrl+C og miljøet med deactivate.
SGLang: Linux/NVIDIA, API-server i Docker
Installer Docker Engine og NVIDIA Container Toolkit, inkludert konfigurasjon av Docker-runtime. Dagens standardimage krever CUDA 13-kompatibel driver og støttet GPU. Se installasjonskrav.
Kjør i Bash på Linux:
docker run --rm --gpus all --ipc=host \
-p 127.0.0.1:30000:30000 \
-v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
lmsysorg/sglang:latest \
sglang serve Qwen/Qwen3-1.7B --host 0.0.0.0 --port 30000 --context-length 4096 --mem-fraction-static 0.80.0.0.0 gjelder inne i containeren; porten publiseres bare på vertens 127.0.0.1. --ipc=host deler vertens IPC-navnerom og bør bare brukes med et betrodd image. Modellcachen beholdes på verten etter at containeren stoppes.
Vent på at serveren er klar. API: http://127.0.0.1:30000/v1; modell-ID: Qwen/Qwen3-1.7B. Bruk disse i Python-programmet. Avslutt med Ctrl+C.
Bruk modell- og maskinvarespesifikke oppskrifter for større modeller, resonnering og verktøykall. latest er praktisk for utforsking, men instruktøren bør låse en testet versjon/digest før workshop og produksjon. Docker Desktop på Mac gir ikke denne NVIDIA-akselerasjonen; velg native LM Studio/Ollama/MLX i stedet.
DeepInfer: relevant forskning, ikke deltakerløype
Deepseek-ai/DeepInfer er en utgivelse av motoren bak DeepSeeks storskala inferens. Per kildesjekken:
- Støttet modell: DeepSeek-V4.1-Flash; offline-eksemplet bruker
deepseek-ai/DeepSeek-V4.1-Flash-1017. - Støttet maskinvare: NVIDIA SM100 og Huawei Ascend 950, ikke vilkårlige forbruker-GPU-er.
- Byggkrav: Linux, GCC 13+, Python 3.12 og CUDA 13 eller CANN 9.2.
- Den offentlige utgivelsen tilbyr offline-inferens. Blant annet et komplett KV-cache-system, disaggregert tjenesteoppsett og lastbalansering er ikke inkludert som en ferdig inferenstjeneste.
Det er derfor misvisende å presentere den som «installer og få samme chat-API som Ollama». Bruk prosjektets byggveiledning og eksempler ved videre eksperimentering på riktig maskinvare. vLLM/SGLang er mer naturlige generelle API-serveralternativer i denne workshopen.
| Tema | Spørsmål før andre får bruke løsningen |
|---|---|
| Kapasitet | Hvor mange samtidige forespørsler og hvor lang kontekst tåler maskinen? Mål tid til første token, svartid, kø, tokens/s og minne under reell last. Batching kan øke samlet kapasitet, men endre ventetiden. |
| Tilgang | Behold loopback i øvelsen. For deling: bruk autentisering, TLS, brannmur/proxy og rate limits. Et lokalt API kan mangle autentisering helt. En dummy-API-nøkkel er ikke sikkerhet. |
| Logging/personvern | Unngå råprompter, kundedata og hemmeligheter i standardlogger. Avklar tilgang, lagringstid og sletting av samtaler og agentsesjoner. |
| Overvåking | Følg med på feilrate, avbrutte svar, kø, CPU/GPU, minne og helsesjekker. Håndter timeout og overlast kontrollert. |
| Oppgraderinger | Lås motor, modellrevisjon, kvantisering og chat-template. Kjør et fast evalueringssett før oppgradering, og ha en vei tilbake til forrige versjon. |
| Kvalitet og sikkerhet | Test med egne oppgaver og norsk språk. Begrens agentverktøy og tilganger, test prompt injection, og krev menneskelig kontroll for risikofylte handlinger. |
| Teknikk | Hva endres? | Når er det nyttig? |
|---|---|---|
| Prompting | Instruksjoner, eksempler og konteksten du sender med | Start her for bedre format, tone og oppgaveløsning. Vektene endres ikke. |
| RAG | Dokumentutdrag hentes fra en kunnskapskilde og legges i prompten | Når modellen skal bruke egne/ferske dokumenter. Vektene endres ikke; dokumenttilgang og kildegrunnlag må fortsatt sikres. |
| Finjustering | Modellvekter eller adaptere trenes på eksempler | Når oppførsel eller spesifikke oppgaver skal læres systematisk. Krever data og evaluering; er ikke standardløsningen for stadig nye fakta. |
| Problem | Prøv dette |
|---|---|
Connection refused |
Start app/server, vent på modellinnlasting og kontroller porten. Ikke start flere servere på samme port. |
Model not found / 404 |
Se ollama list eller GET /v1/models. Bruk eksakt modell-ID, ikke visningsnavn eller en antatt HF/Ollama-tagg. Sjekk også URL-stien. |
Out of memory / maskinen henger |
Last ut andre modeller, reduser kontekst/samtidighet eller velg en mindre modell/lavere presisjon. La OS-et beholde minnemargin. |
| Svært tregt | Sjekk CPU/GPU-bruk med ollama ps eller motorloggen. CPU/offloading kan være forventet. Mål på nytt etter innlasting. |
| Bare resonnering eller tomt svar | Sjekk finish_reason, tokenbudsjett og modellens thinking-innstilling/parser. /no_think hjelper Qwen3, ikke nødvendigvis andre familier. |
| Agenten skriver verktøykall som vanlig tekst | Kontroller modellens verktøystøtte, template og serverparser. Test vanlig chat separat først. |
| Ny modell kan ikke lastes | Oppdater motoren eller følg modellkortets versjonskrav. Riktig filendelse betyr ikke at arkitekturen støttes. |
PowerShell feiler på curl |
Bruk curl.exe og filargumentet "@request.json" som vist over. Python-programmet unngår JSON-sitering i shell. |
Svak maskin? Velg den minste modellen og CPU, eller jobb i par. En instruktørstyrt fellesserver kan være en reserve, men da foregår inferensen ikke på din maskin; bruk avtalt tilgang og avklar hvilke data som sendes dit.
Modell- og fil-lenkene i tabellen er kildene til arkitektur, størrelser og lisenser. Utgivernes kvalitets- og hastighetspåstander er ikke målinger gjort i dette repoet. Oppsettet er dokumentasjonsbasert; GPU-, GUI- og agentløypene må røykprøves på deltakernes aktuelle plattformer før arrangementet.
- Ollama: quickstart, FAQ/minne og lokalmodus, OpenAI-kompatibilitet.
- LM Studio: nedlasting av modell, API-server.
- llama.cpp: installasjon, server.
- vLLM: quickstart og plattformvalg.
- SGLang: installasjon, quickstart, cookbook.
- DeepInfer: funksjoner og avgrensninger.
- OpenCode V2: lokale providere, modelloppsett.
- Pi: installasjon, egne modeller/endepunkter.
Til instruktøren: Be deltakerne forhåndsinstallere og laste ned, test begge hovedløypene på Windows/macOS/Linux, velg to konkrete modellvarianter, noter versjoner og kontroller lisensene på nytt. La API og modellbytte være kjernen i de 15 minuttene; agent- og GPU-serveroppsett kan tas som demo eller viderearbeid.