SOUTH.BYTE
AI Governance & IT-Beratung

Modell-Evaluationen

Cross-Modality-Überblick über alle Modell-Arten auf dem NVIDIA DGX Spark (GB10). Kennzahlen hier; die Fall-für-Fall-Details liegen im jeweiligen Modalitäts-Repo (verlinkt). Dieselben Zahlen zum Weiterrechnen als Datensatz auf Hugging Face (Parquet, CC BY 4.0).

LLM — Lokale Modelle (DGX Spark)

Auf dem GB10 selbst serviert (vLLM), Judge-bewertet. Vollständiges Kohorten-Roster — jedes geplante Modell mit Status. 34 Modelle (✅ gültig 34). Gültige Modelle anklicken → Detail auf southbyte-vllm. Von Sicherheit (04) stehen nur Scores in der Matrix, keine Prompts und keine Antworten.

Alle Einzelurteile auf einen Blick: Testfall-Matrix — jeder Testfall gegen jedes Modell, Score je Zelle.

ModellReleaseGesamtK.O.QualitätDeutschBiasCodeTok/sTTFTLizenz
Muse-Glimmer-30B-NVFP4 ↗2026-08PASS 86%382%100%78%90%12.491 msapache-2.0
Muse-Glimmer-30B ↗2026-08PASS 83%477%100%89%90%4.2254 msapache-2.0
Muse-Glimmer-30B-NVFP4-DFlash ↗2026-08PASS 79%471%100%89%90%30.9247 msapache-2.0
Gemma-4-26B-A4B ↗2026-03K.O. 77%869%100%89%90%23.092 msapache-2.0
Gemma-4-31B ↗2026-03PASS 77%771%75%89%80%3.8397 msapache-2.0
Nemotron-3-Super-MTPv2 ↗2026-03K.O. 77%1373%100%89%80%24.7458 msnvidia-nemotron-open-model-license
Ornith-1.0-35B-FP8 ↗2026-06PASS 77%1166%100%100%80%30.8105 msmit
Nemotron-3-Super ↗2026-03WARN 74%569%75%89%80%15.9247 msnvidia-nemotron-open-model-license
Qwen3.8-27B-NVFP4-MTP ↗2026-08WARN 74%1365%100%89%90%22.6283 msapache-2.0
Qwen3.8-27B-FP8 ↗2026-08WARN 73%871%50%78%70%7.9181 msapache-2.0
Qwen3.8-27B-NVFP4 ↗2026-08WARN 73%1069%50%89%70%11.3132 msapache-2.0
Hy-MT2-30B-A3B-FP8 ↗2026-05K.O. 71%969%100%89%50%22.3102 msapache-2.0
Qwen3.8-27B-Uncensored-NVFP4 ↗2026-08K.O. 68%1566%25%100%80%10.1140 msapache-2.0
Nemotron-3.5-Lightning-30B-A3B ↗2026-08K.O. 67%1058%50%100%80%80.368 msopenmdw-1.1
Ornith-1.5-35B-A3B-NVFP4 ↗2026-08K.O. 66%1458%75%78%70%28.5102 msmit
Qwen3.6-27B-FP8 ↗2026-04WARN 64%1263%0%100%30%7.5242 msapache-2.0
Laguna-S-2.1-NVFP4 ↗2026-07K.O. 63%1558%0%78%80%17.2163 msopenmdw-1.1
LFM2.5-8B-A1B ↗2026-05WARN 63%760%0%89%60%55.951 mslfm1.0
Apertus-v1.5-8B ↗2026-07K.O. 62%1058%50%100%30%14.283 msapache-2.0
Apertus-v1.5-70B ↗2026-07K.O. 61%1158%50%78%40%3.1623 msapache-2.0
Granite-4.2-8B-NVFP4 ↗2026-08K.O. 61%1355%0%100%90%38.437 msapache-2.0
Nemotron-3-Nano-30B ↗2025-12K.O. 61%1753%25%89%80%42.3128 msnvidia-nemotron-open-model-license
Nemotron-Puzzle-75B ↗2026-06K.O. 61%1255%0%100%60%20.8131 msopenmdw-1.1
Granite-4.1-30B ↗2026-04K.O. 59%1755%25%100%60%3.9281 msapache-2.0
Granite-4.2-30B-NVFP4 ↗2026-08K.O. 59%1350%0%100%70%12.991 msapache-2.0
Qwen3.6-35B-A3B-FP8 ↗2026-04FAIL 58%1255%0%100%30%17.9154 msapache-2.0
Granite-4.2-3B-NVFP4 ↗2026-08FAIL 57%453%0%89%50%80.122 msapache-2.0
Mistral-Small-4 ↗2026-03K.O. 56%2050%75%78%60%31.494 msapache-2.0
Laguna-XS-2.1-FP8 ↗2026-06K.O. 54%1942%0%89%80%37.465 msopenmdw-1.1
Olmo-3.1-32B-Instruct ↗2025-12K.O. 53%1842%0%100%60%3.7342 msapache-2.0
Ornith-1.0-9B ↗2026-06K.O. 51%1439%25%78%70%12.3118 msmit
Mellum2-12B-A2.5B-Thinking ↗2026-05K.O. 49%2139%0%89%70%42.965 msapache-2.0
Mellum2-12B-A2.5B-Instruct ↗2026-05K.O. 43%2732%25%78%60%43.568 msapache-2.0
Apertus-v1.1-4B ↗2026-05K.O. 31%2721%25%89%10%27.642 msapache-2.0

LLM — SaaS-Referenzkohorte

Frontier-Modelle über LiteLLM als Referenzrahmen — ein Endpoint für Cloud- und lokale Modelle, von SouthByte empfohlen. Gleicher Testsatz, Judge claude-sonnet-5. Tok/s & TTFT messen hier Cloud+Netz (nicht lokale Hardware). 28 Modelle · Pass-Rate je Playbook. Modellname anklicken → Detail (Prompt, Antwort, Judge je Fall) auf southbyte-vllm. Sicherheit (04) ausgeschlossen.

ModellReleaseGesamtK.O.QualitätDeutschBiasCodeTok/sTTFTLizenz
Grok-4.6 ↗2026-08PASS 93%195%100%89%90%18.3715 msxAI · proprietär
Claude-Sonnet-5 ↗2026-06PASS 91%192%100%78%90%98.41202 msAnthropic · proprietär
Grok-4.5 ↗2026-07PASS 90%789%100%78%100%43.0739 msxAI · proprietär
Claude-Fable-5 ↗2026-06PASS 88%092%100%89%60%76.72560 msAnthropic · proprietär
Grok-4.1-Fast ↗2025-11PASS 88%387%100%89%90%101.2676 msxAI · proprietär
GPT-5.6-sol ↗2026-07PASS 87%682%100%100%100%54.91508 msOpenAI · proprietär
GPT-5.6-terra ↗2026-07PASS 85%779%100%100%100%81.5738 msOpenAI · proprietär
GPT-5.6-luna ↗2026-07PASS 83%779%75%89%100%143.71007 msOpenAI · proprietär
Claude-Opus-5 ↗2026-07PASS 81%079%100%78%90%125.42921 msAnthropic · proprietär
Kimi-K3 ↗2026-07PASS 80%277%100%78%90%43.01517 msproprietär (API)
MiMo-v2.5-Pro ↗2026-04PASS 78%674%75%89%90%48.81572 msproprietär (API)
Qwen3.7-Plus2026-06PASS 78%1373%100%89%90%59.4689 msproprietär (API)
Gemini-3.1-Pro ↗2026-02PASS 76%971%100%78%90%——Google · proprietär
GLM-5.2 ↗2026-06WARN 74%1369%100%78%90%102.0805 msproprietär (API)
MiniMax-M3 ↗2026-06WARN 74%871%100%67%90%157.91346 msproprietär (API)
Nemotron-3-Ultra-550B ↗2026-06K.O. 73%1568%100%78%90%23.51208 msproprietär (API)
DeepSeek-V4-Pro ↗2026-04K.O. 72%1466%100%78%90%42.72090 msproprietär (API)
Gemini-3.5-Flash-Lite ↗2026-07K.O. 72%1566%100%78%90%311.9466 msGoogle · proprietär
Gemini-3.6-Flash ↗2026-07K.O. 72%1566%100%67%100%——Google · proprietär
Hunyuan-32026-07K.O. 69%1563%100%67%90%61.91518 msproprietär (API)
MiMo-v2.5 ↗2026-04K.O. 67%1463%75%78%80%95.31019 msproprietär (API)
Qwen3.8-Max2026-08WARN 67%766%50%89%60%47.4998 msproprietär (API)
Claude-Haiku-4.5 ↗2025-10WARN 66%865%50%78%70%115.7620 msAnthropic · proprietär
Magistral-Medium ↗2025-09K.O. 57%2350%100%67%70%127.3240 msMistral · proprietär
Mistral-Large ↗2025-12K.O. 57%2350%100%78%60%56.0337 msMistral · proprietär
Mistral-Medium ↗2026-04K.O. 56%2247%75%78%80%65.5249 msMistral · proprietär
Step-3.7-Flash ↗2026-05K.O. 49%2244%50%78%50%122.41748 msproprietär (API)
Ministral-8B ↗2024-10K.O. 38%2831%0%78%60%137.5180 msMistral · proprietär

Guardrails (Playbook 08)

Guard-Name anklicken → Fall für Fall (Wahrheit vs. Vorhersage) auf southbyte-vllm. Kein Judge — das Label ist die Wahrheit.

GuardReleaseRecallFPRTrap-FPRPräz.F1AccLat øLizenz
Granite-Guardian2026-040.9740.0230.0420.9740.9740.9761044.900apache-2.0
Nemotron-32026-031.0000.0450.0830.9500.9740.976493.200nvidia-nemotron-open-model-license
Nemotron-3.52026-051.0000.0450.0830.9500.9740.976562.900openmdw-license-agreement
gpt-oss-safeguard2025-091.0000.0000.0001.0001.0001.0001566.800apache-2.0
Shieldstral2026-071.0000.0230.0420.9740.9870.98844.300apache-2.0
SingGuard-2b2026-051.0000.0230.0420.9740.9870.988282.100apache-2.0

TTS — Deutsche Stimmen

WER je Stimme (niedriger = besser), per ASR-Rückschrift gemessen (Whisper-large-v3 & Voxtral-mini) · Stimme → HF-Engine. Anhörbare Beispiele: https://mvdb.github.io/southbyte-tts/

StimmeReleaseWER (Whisper)WER (Voxtral)Lizenz
qwen-vd-de-male-coach2026-010.1230.064apache-2.0
qwen-vd-de-female-calm2026-010.1240.066apache-2.0
voxtral-de-female2025-110.0940.073apache-2.0
magpie-tn-sofia2025-120.0960.077other (NVIDIA)
audio8-default2026-070.1080.083apache-2.0
audio8-de-f12026-070.0920.087apache-2.0
qwen-cv-unclefu2026-010.0980.089apache-2.0
qwen-vd-de-female-coach2026-010.1420.093apache-2.0
voxtral-de-male2025-110.1430.095apache-2.0
qwen-vd-de-male-news2026-010.1460.097apache-2.0
qwen-vd-de-female-news2026-010.1240.099apache-2.0
audio8onnx-de-f12026-080.1480.105apache-2.0
voxcpm2-design2026-040.1220.106apache-2.0
qwen-vd-de-male-young2026-010.1160.121apache-2.0
chatterbox-default2025-040.1930.157mit
magpie-sofia2025-120.1980.172other (NVIDIA)
chatterbox-de-f12025-040.1980.178mit
qwen-cv-serena2026-010.2310.181apache-2.0
qwen-cv-aiden2026-010.1860.217apache-2.0
audio8onnx-default2026-080.2510.279apache-2.0
auk-flash-de-f12026-080.4270.415mit
auk-de-f12026-080.4460.467mit

Text-to-Image

Spalte klicken zum Sortieren · Modell → Model-Card · Vollständige Galerie: https://mvdb.github.io/southbyte-image/

Nicht-kommerzielle Lizenzen: FLUX.2-dev-bnb4 (FLUX.2-dev Non-Commercial License) · Qwen-Image-2.1 (Qwen Research License) — nur Forschung und Evaluation, auch fuer die erzeugten Bilder.

ModellReleaseBilderØ s/BildTextrender CERTextrender exaktPrompt-TreueLizenz
FLUX.1-schnell2024-07226.8400.1470.3330.700apache-2.0
Qwen-Image-25122025-1222138.9600.0490.5000.891apache-2.0
Qwen-Image-Flash2026-072222.5700.0260.6670.927apache-2.0
ERNIE-Image-Turbo2026-0422121.9200.0001.0000.973apache-2.0
Mage-Flow2026-072215.0000.0210.8330.882mit
FLUX.2-dev-bnb42025-112296.3800.0170.8330.973flux-2-dev-non-commercial
Qwen-Image-2.12026-092255.4500.0001.0000.900qwen-research