🖥️
KI-Modelle für RTX 3080 & 3090
Täglicher HuggingFace-Scan · 20.02.2026 · 6 qualifizierte Modelle aus 425 analysiert
RTX 3080
10 GB VRAM
✓ 7B-Modelle (Q4–Q8)
✓ 13B-Modelle (Q4)
✗ 13B Q8, 70B
✓ 13B-Modelle (Q4)
✗ 13B Q8, 70B
3 Modelle heute
RTX 3090
24 GB VRAM
✓ Alles bis 34B Q4
✓ 13B in voller Präzision
✗ 70B (zu groß)
✓ 13B in voller Präzision
✗ 70B (zu groß)
6 Modelle heute
🎯 Top-Empfehlungen für RTX 3080 (10 GB)
✓ RTX 3080 ✓ RTX 3090 Code
Codegenerierung & -vervollständigung offline. Läuft auf 3080 mit 3.8 GB VRAM
4B
Parameter
3.8 GB
VRAM
Q4 (geschätzt)
Quantisierung
175k
Downloads
Score 25/40
→ HuggingFace
✓ RTX 3080 ✓ RTX 3090 Vision/Multimodal
Läuft auf 3080 mit 3.8 GB VRAM
4B
Parameter
3.8 GB
VRAM
Q4 (geschätzt)
Quantisierung
10k
Downloads
Score 23/40
→ HuggingFace
✓ RTX 3080 ✓ RTX 3090 Chat/Instruct
Läuft auf 3080 mit 2.5 GB VRAM
2B
Parameter
2.5 GB
VRAM
Q4 (geschätzt)
Quantisierung
45k
Downloads
Score 22/40
→ HuggingFace
🚀 Zusätzlich für RTX 3090 (24 GB)
✓ RTX 3090 Code
Unsloth-optimiert: 2x schnellere Inferenz. Qwen-Architektur: stark in Mehrsprachigkeit + Code
30B
Parameter
18.4 GB
VRAM
Q4 (geschätzt)
Quantisierung
183k
Downloads
Score 26/40
→ HuggingFace
✓ RTX 3090 Basis-LLM
Unsloth-optimiert: 2x schnellere Inferenz
20B
Parameter
12.8 GB
VRAM
Q4 (geschätzt)
Quantisierung
172k
Downloads
Score 23/40
→ HuggingFace
✓ RTX 3090 Chat/Instruct
Unsloth-optimiert: 2x schnellere Inferenz
23B
Parameter
14.4 GB
VRAM
Q4 (geschätzt)
Quantisierung
70k
Downloads
Score 23/40
→ HuggingFace
🔬 Technische Plausibilitätsprüfung
VRAM = Gewichte + KV-Cache (ctx 4096) + 1.5 GB Overhead. RTX 3080: max 9.5 GB. RTX 3090: max 23 GB.
| Modell | Param | Quant | Gew.GB | KV GB | Total | Report | Urteil | Hinweis |
|---|---|---|---|---|---|---|---|---|
| Qwen3-Coder-30B-A3B-Instruct-GGUF | 30B | Q4 (geschätzt) | 16.9 | 15.0 | 33.4 | 18.4 | GRENZWERTIG | Nur mit Kontext <2k oder CPU-Offload realistisch ⚠ 3090 fraglich: inkl. KV ~33.4GB |
| Jan-v3-4B-base-instruct-gguf | 4B | Q4 (geschätzt) | 2.2 | 2.0 | 5.8 | 3.8 | GRENZWERTIG | Nur mit Kontext <2k oder CPU-Offload realistisch |
| gpt-oss-20b-GGUF | 20B | Q4 (geschätzt) | 11.2 | 10.0 | 22.8 | 12.8 | GRENZWERTIG | Nur mit Kontext <2k oder CPU-Offload realistisch |
| GLM-4.7-Flash-REAP-23B-A3B-GGUF | 23B | Q4 (geschätzt) | 12.9 | 11.5 | 25.9 | 14.4 | GRENZWERTIG | Nur mit Kontext <2k oder CPU-Offload realistisch ⚠ 3090 fraglich: inkl. KV ~25.9GB |
| Gemma-3-4B-VL-it-Gemini-Pro-Heretic-Uncensore | 4B | Q4 (geschätzt) | 2.2 | 2.0 | 5.8 | 3.8 | GRENZWERTIG | Nur mit Kontext <2k oder CPU-Offload realistisch |
| qmd-query-expansion-1.7B-gguf | 2B | Q4 (geschätzt) | 1.0 | 0.8 | 3.3 | 2.5 | PLAUSIBEL | OK bei 4096-Kontext |
| Modell | Param | Quant | Gew_GB | KV_GB | Total_GB | Report | Urteil | Korrektur |
|—————————————————|——-|————-|——–|——-|———-|———|————–|——————–|
| Qwen3-Coder-30B-A3B-Instruct-GGUF | 30B | Q4 (geschätzt) | 16.9 | 15.0 | 33.4 | 18.4 | GRENZWERTIG | VRAM überschritten |
| Jan-v3-4B-base-instruct-gguf | 4B | Q4 (geschätzt) | 2.2 | 2.0 | 5.8 | 3.8 | GRENZWERTIG | – |
| gpt-oss-20b-GGUF | 20B | Q4 (geschätzt) | 11.2 | 10.0 | 22.8 | 12.8 | GRENZWERTIG | – |
| GLM-4.7-Flash-REAP-23B-A3B-GGUF | 23B | Q4 (geschätzt) | 12.9 | 11.5 | 25.9 | 14.4 | GRENZWERTIG | – |
| Gemma-3-4B-VL-it-Gemini-Pro-Heretic-Uncensore | 4B | Q4 (geschätzt) | 2.2 | 2.0 | 5.8 | 3.8 | GRENZWERTIG | – |
| qmd-query-expansion-1.7B-gguf | 2B | Q4 (geschätzt) | 1.0 | 0.8 | 3.3 | 2.5 | PLAUSIBEL | – |
| **Report insgesamt:** | | | | | | | **teilweise schwammig** | |
|—————————————————|——-|————-|——–|——-|———-|———|————–|——————–|
| Qwen3-Coder-30B-A3B-Instruct-GGUF | 30B | Q4 (geschätzt) | 16.9 | 15.0 | 33.4 | 18.4 | GRENZWERTIG | VRAM überschritten |
| Jan-v3-4B-base-instruct-gguf | 4B | Q4 (geschätzt) | 2.2 | 2.0 | 5.8 | 3.8 | GRENZWERTIG | – |
| gpt-oss-20b-GGUF | 20B | Q4 (geschätzt) | 11.2 | 10.0 | 22.8 | 12.8 | GRENZWERTIG | – |
| GLM-4.7-Flash-REAP-23B-A3B-GGUF | 23B | Q4 (geschätzt) | 12.9 | 11.5 | 25.9 | 14.4 | GRENZWERTIG | – |
| Gemma-3-4B-VL-it-Gemini-Pro-Heretic-Uncensore | 4B | Q4 (geschätzt) | 2.2 | 2.0 | 5.8 | 3.8 | GRENZWERTIG | – |
| qmd-query-expansion-1.7B-gguf | 2B | Q4 (geschätzt) | 1.0 | 0.8 | 3.3 | 2.5 | PLAUSIBEL | – |
| **Report insgesamt:** | | | | | | | **teilweise schwammig** | |
⚡ Schnellstart mit llama.cpp (Windows/Linux)
# Modell herunterladen (Beispiel Qwen2.5-7B-Q4)
curl -L https://huggingface.co/<model>/resolve/main/model.gguf -o model.gguf
curl -L https://huggingface.co/<model>/resolve/main/model.gguf -o model.gguf
# Inferenz starten (GPU-Offload)
./llama-cli -m model.gguf -ngl 99 –color -i -c 4096
# Als Server (API-kompatibel zu OpenAI)
./llama-server -m model.gguf -ngl 99 –host 0.0.0.0 –port 8080
-ngl 99 = alle Layer auf GPU |
-c 4096 = Kontextlänge |
CUDA erforderlich für GPU-Beschleunigung