# HANDOFF-LOKAL-LLM-GITEA-MCP.md # EGEN HANDOFF – UFRAVIKELIG STYRINGSDOKUMENT # GJELDER FRA NÅ OG FREM TIL 100 % FERDIGSTILLELSE ## 0. STATUS OG KOMMANDO Denne handoffen er det eneste autoritative arbeidsdokumentet for sporet "lokal LLM-fabrikk + OPAX-MCP + Gitea stabilisering + blueprinting til Gitea-VM". --- ## FREMDRIFT – OPPDATERT 2026-07-22 00:55 CEST ### ✅ FASE 0–5 — FERDIG ### ✅ FASE 6 – CPU-optimalisering — FERDIG ### ✅ FASE 6-TILLEGG – Boot-warming — FERDIG ### ✅ DNS – NS-bytte utført — FERDIG 2026-07-21 23:44 CEST ### ✅ OPAX-MCP – GITEA_URL permanent + deploy — FERDIG 2026-07-21 23:53 CEST ### ✅ SMOKE-TEST – Alle 37 tools — FERDIG 2026-07-22 00:25 CEST ### ⏳ GPG-SIGNERING – Commits verified — PÅGÅR ### ⏳ FASE 7 – Lokal hjerne / derivat-modell — PLANLAGT ### ⏳ FASE 8 – Backup / snapshot-strategi — PLANLAGT --- ## LÅST SYSTEMKONFIGURASJON – GITEA-CPU-VM (komplett) ### Systemd-dropins ``` override.conf — OLLAMA_HOST=0.0.0.0:11434 max-models.conf — MAX_LOADED_MODELS=2 + KEEP_ALIVE=-1 warmup.conf — ExecStartPost=/usr/local/bin/ollama-warmup.sh ``` ### Operative parametere for Emma-kall ``` num_ctx = 2048 num_batch = 256 OLLAMA_NUM_THREADS = ikke satt (autodetect) ``` ### Ytelsesbudsjett per Emma-turn (varm) ``` 3-kall turn: ~23.5s 5-kall turn: ~42.5s Boot-penalty: ~0s (warmup-skript) Tok/s: 4.9–5.0 (gemma3:4b) ``` ### Gitea-dataplassering ``` /opt/gitea/data/repositories/chris/OSVauco.git/ ← Bare repo /opt/gitea/data/gitea.db ← SQLite metadata /opt/gitea/data/custom/conf/app.ini ← Konfig ``` --- ## OPAX-MCP KONFIGURASJON – LÅST | Variabel | Verdi | |---|---| | `GITEA_URL` | `http://34.67.252.59:3000` | | `OLLAMA_BASE_URL` | `http://34.67.252.59:11434` | | `EMMA_MODEL` | `gemma3:4b` | | `EMMA_FAST_MODEL` | `gemma3:4b` | | `EMMA_LIGHT_MODEL` | `qwen2.5:3b` | | `OSVAUCO_AGENT_URL` | `https://osvauco-agent-357036551735.us-central1.run.app` | Deploy verifisert: `get_connector_status` → `live`, `gitea: online`, `tool_count: 37` --- ## DNS – FULLFØRT 2026-07-21 NS-bytte: Proisp → Google Cloud DNS **23:44 CEST** | Record | Type | Verdi | |---|---|---| | `vauco.no.` | A | `34.98.77.173` (LB) | | `www.vauco.no.` | A | `34.98.77.173` (LB) | | `opax.vauco.no.` | A | `34.98.77.173` (LB) | | `git.vauco.no.` | A | `34.67.252.59` | | MX / SPF / DKIM / DMARC | TXT/MX | Google Workspace komplett | --- ## SMOKE-TEST – FULLFØRT 2026-07-22 00:25 CEST | Kategori | Status | Merknad | |---|---|---| | ✅ Ollama / Emma | Grønn | gemma3:4b varm, 14s respons | | ✅ Connector | Grønn | live, 37 tools | | ✅ Gitea read + write | Grønn | Commits og push OK | | ✅ GCP / Cloud Run | Grønn | osvauco-agent Ready, rev 00695 | | ✅ Workspace / Gmail | Grønn | 3 brukere, kalender, e-post OK | | ✅ Terminal / Billing | Grønn | Billing dramatisk ned fra 5. juli | | 🟡 Jason | Grønn m/merknad | Kjører gemini-2.5-flash (ikke Pro) | ### Smoke-test observasjoner - `qwen2.5:3b` har tool-calling capabilities — `gemma3:4b` har det ikke - GCE `list_instances` tom — ikke kritisk, Cloud Console på mobil - Jason `mode`-parameter gir 400 — bruk kun `prompt` - GPG-signering pågår — commits fortsatt unverified --- ## FASE 7 – LOKAL HJERNE / DERIVAT-MODELL (planlagt) ### Mål Erstatte stor API-modell (Gemini/Claude/Perplexity) med lokal modell som hjerne i OPAX-arkitekturen. Redusere API-avhengighet på sikt. ### Arkitektur (nå vs mål) ``` NÅ: Perplexity/Gemini ← Hjerne (stor API-modell) ↓ tool calls OPAX-MCP ↓ Emma gemma3:4b ← Lokal inferens (svak) MÅL: Lokal stor modell ← Hjerne (lokal, gratis) ↓ tool calls OPAX-MCP ↓ Emma gemma3:4b ← Lokal inferens (rask) ``` ### Kandidatmodeller for CPU-VM (15 GB RAM) | Modell | RAM | Tok/s CPU | Agentevne | Vurdering | |---|---|---|---|---| | `gemma3:4b` (nå) | 2.9 GB | ~5 | Svak | For svak som hjerne | | `gemma3:12b` | ~8 GB | ~1.5–2 | God | **Test dette først** | | `qwen2.5:14b` | ~9 GB | ~1.5 | Sterk | Alternativ | | `gemma3:27b` | ~17 GB | <1 | Tilnærmet god | Krever GPU | ### Exit-kriterier Fase 7 - [ ] `gemma3:12b` installert og testet på CPU-VM - [ ] Ytelsesmåling: tok/s, RAM-bruk, swap=0 - [ ] Kvalitetstest: kan modellen planlegge og bruke tools? - [ ] GEMINI.md-lignende systemd-prompt/konfig for Emma laget - [ ] Beslutning: erstatter eller komplementerer? ### Derivat-strategi Emma skal få eget identitetsdokument (tilsvarende GEMINI.md for Jason) med: - Personlighet og tone - Arbeidsregler og prioriteringer - Tool-bruksprinsipper - Vauco OS-kontekst --- ## FASE 8 – BACKUP / SNAPSHOT-STRATEGI (planlagt) ### Mål Sikre at Gitea-CPU-VM (`34.67.252.59`) aldri er single point of failure for source of truth. ### Strategi: Daglig GCP Disk Snapshot ``` Kilde: Gitea-CPU-VM persistent disk Frekvens: Daglig (02:00 CEST) Bevaring: 7 snapshots (rullerende — siste 7 dager) Kostnad: ~$0.026/GB/mnd — 50 GB disk = ~$1.30/mnd ``` ### Implementasjon ```bash # Opprett snapshot-policy gcloud compute resource-policies create snapshot-schedule gitea-daily-backup \ --region=us-central1 \ --max-retention-days=7 \ --on-source-disk-delete=keep-auto-snapshots \ --daily-schedule \ --start-time=00:00 \ --storage-location=us-central1 # Koble policy til disk gcloud compute disks add-resource-policies gitea-cpu-vm \ --resource-policies=gitea-daily-backup \ --zone=us-central1-b ``` ### Hva snapshots dekker - ✅ `/opt/gitea/data/repositories/` — alle git-objekter - ✅ `/opt/gitea/data/gitea.db` — brukere, tokens, metadata - ✅ `/opt/gitea/data/custom/conf/app.ini` — konfig - ✅ Ollama-modeller (`/usr/share/ollama/`) - ✅ Systemd-dropins og warmup-skript ### Restore-prosedyre (ved VM-tap) ```bash # 1. Opprett ny disk fra snapshot gcloud compute disks create gitea-restore \ --source-snapshot= \ --zone=us-central1-b # 2. Koble til ny VM eller eksisterende # 3. Gitea starter automatisk — alt er intakt ``` ### Exit-kriterier Fase 8 - [ ] Snapshot-policy opprettet og koblet til disk - [ ] Første snapshot verifisert i GCP Console - [ ] Restore-prosedyre testet (restore til tmp-disk) - [ ] Kostnad bekreftet (~$1.30/mnd) --- ## ÅPNE PUNKTER 1. GPG-signering — få commits verified (pågår) 2. `git.vauco.no` — verifiser propagering 3. Fase 7: `gemma3:12b` test på CPU-VM 4. Emma derivat-dokument (tilsvarende GEMINI.md) 5. Fase 8: Snapshot-policy aktiveres 6. Gitea passord byttes (eksponert i chat) ## FASTE SANNHETER - Gitea er source of truth - Lokale modeller er hovedretning — mål er å fase ut API-avhengighet - Gitea-VM (34.67.252.59) er permanent målmaskin - Dev-snap (34.170.51.84) er Jason sin arbeidsstasjon — kan ikke stenges før lokal hjerne er verifisert - Denne handoffen overstyrer alt annet ## DEFINITION OF DONE - ✅ Lokale modeller lever og kan brukes lokalt - ✅ OPAX-MCP bruker lokal modellbackend korrekt - ✅ `list_emma_models` er grønn - ✅ Gitea read-only tools er grønne - ✅ GCP/Workspace-kjernen er fortsatt grønn - ✅ Konfigurasjon konsolidert — GITEA_URL permanent + deployed - ✅ Boot-warming verifisert - ✅ DNS migrert til Google Cloud DNS - ✅ Smoke-test alle 37 tools — FERDIG - ⏳ `git.vauco.no` live — propagering pågår - ⏳ GPG-signering verified — pågår - ⏳ Fase 7: lokal hjerne verifisert — planlagt - ⏳ Fase 8: daglig snapshot-backup — planlagt ## OPPDATERINGSLOGG | Dato | Handling | |---|---| | 2026-07-21 | FASE 4–6: CPU-optimalisering, boot-warming fullført | | 2026-07-21 23:44 | DNS: NS-bytte utført hos Proisp | | 2026-07-21 23:53 | OPAX-MCP: GITEA_URL + OLLAMA_BASE_URL → 34.67.252.59, deployed | | 2026-07-22 00:05 | Smoke-test plan klar, Fase 7 (lokal hjerne) lagt inn | | 2026-07-22 00:25 | Smoke-test fullført — alle kategorier grønne | | 2026-07-22 00:55 | Fase 8 (backup/snapshot) lagt inn, GPG-signering pågår |