Werkende set12 GB
Als LXC12 GB
Als VM12,5 GB
vCPU4
Schijf60 GB
Waarom dit getal
Zonder GPU laadt het model volledig in je systeemgeheugen: reken ruwweg de bestandsgrootte van het model plus een paar GB. Met een GPU is je VRAM de bepalende factor en blijft het systeemgeheugen bescheiden.
Alleen zo hoog zonder GPU; mét GPU is VRAM de echte limiet
LXC of VM?
Een VM is hier de rustigere keuze. Ollama / lokale LLM kán in een container, maar in de praktijk levert dat problemen op. Reken op 12,5 GB inclusief overhead.
Waar je op moet letten
- Een 7B-model in 4-bit kwantisatie past in ongeveer 5 GB; een 70B-model niet in een homelab zonder serieuze GPU.
- Zonder GPU is het antwoordtempo zo laag dat het zelden praktisch is.
- Dit is de dienst waar een homelab het snelst tekortkomt tegenover een API.
Hoeveel passen er?
na host en 12% marge| Server | Aantal Ollama / lokale LLM | Beschikbaar |
|---|---|---|
| 8 GB | 0× | 5,28 GB |
| 16 GB | 0× | 12,32 GB |
| 32 GB | 2× | 26,4 GB |
| 64 GB | 4× | 54,56 GB |
Reken door met je eigen hardware en de rest van je configuratie erbij.
Open de planner