Modell-Evaluationen

Cross-Modality-Überblick über alle Modell-Arten auf dem NVIDIA DGX Spark (GB10). Kennzahlen hier; die Fall-für-Fall-Details liegen im jeweiligen Modalitäts-Repo (verlinkt). Dieselben Zahlen zum Weiterrechnen als Datensatz auf Hugging Face (Parquet, CC BY 4.0).

LLM — Lokale Modelle (DGX Spark)

Auf dem GB10 selbst serviert (vLLM), Judge-bewertet. Vollständiges Kohorten-Roster — jedes geplante Modell mit Status. 45 Modelle (✅ gültig 45). Gültige Modelle anklicken → Detail auf southbyte-vllm. Von Sicherheit (04) stehen nur Scores in der Matrix, keine Prompts und keine Antworten.

Alle Einzelurteile auf einen Blick: Testfall-Matrix — jeder Testfall gegen jedes Modell, Score je Zelle.

LLM — SaaS-Referenzkohorte

Frontier-Modelle über LiteLLM als Referenzrahmen — ein Endpoint für Cloud- und lokale Modelle, von SouthByte empfohlen. Gleicher Testsatz, Judge claude-sonnet-5. Tok/s & TTFT messen hier Cloud+Netz (nicht lokale Hardware). 37 Modelle · Pass-Rate je Playbook. Modellname anklicken → Detail (Prompt, Antwort, Judge je Fall) auf southbyte-vllm. Sicherheit (04) ausgeschlossen.

Guardrails (Playbook 08)

Guard-Name anklicken → Fall für Fall (Wahrheit vs. Vorhersage) auf southbyte-vllm. Kein Judge — das Label ist die Wahrheit.

Außer Konkurrenz

Entscheidungsmodelle nach dem Muster von Jev, keine Guards: sie beantworten die Policy als Ja/Nein-Frage mit einer Wahrscheinlichkeit (Schwelle 0,5), dieselben Kriterien und Fälle wie oben. Nicht im Vergleich der besten Werte.

TTS — Deutsche Stimmen

WER je Stimme (niedriger = besser), per ASR-Rückschrift gemessen (Whisper-large-v3 & Voxtral-mini) · Stimme → HF-Engine. Anhörbare Beispiele: https://mvdb.github.io/southbyte-tts/

Nicht-kommerzielle Lizenz: gradium/phonon-40m-de · gradium/phonon-40m-multilingual · mistralai/Voxtral-4B-TTS-2603 (CC BY-NC 4.0) — das Modell darf nur nicht-kommerziell genutzt werden.

Text-to-Image

Spalte klicken zum Sortieren · Modell → Model-Card · Vollständige Galerie: https://mvdb.github.io/southbyte-image/

Nicht-kommerzielle Lizenz: Qwen-Image-2.1 (Qwen Research License) · Qwen-Image-2.1-Turbo (Qwen Research License) — nur Forschung und Evaluation, auch fuer die erzeugten Bilder.

Nicht-kommerzielle Lizenz: FLUX.2-dev-bnb4 (FLUX.2-dev Non-Commercial License) — das Modell nur nicht-kommerziell; die erzeugten Bilder laut Lizenz fuer jeden Zweck, auch kommerziell, ausser zum Training konkurrierender Modelle, und nur mit Inhaltsfilter oder Pruefung sowie KI-Kennzeichnung, soweit gesetzlich verlangt.

Nicht-kommerzielle Lizenz: ideogram-4 (Ideogram Non-Commercial Model Agreement) — nur nicht-kommerziell, fuer Unternehmen nur Test und Evaluation; keine Ausgaben zur Bewerbung umsatzbringender Produkte oder Dienste; die Bilder der Galerie sind im Rahmen dieser Evaluation entstanden und dienen nur dem Vergleich.

Lizenz mit Bedingungen: FLUX.3-klein (FLUX Kommunity License v1.0) — nicht-kommerziell erlaubt; kommerzielle Nutzung der erzeugten Bilder nur fuer Anwender unter 5 Mio. US-Dollar Jahresumsatz und nur mit Inhaltsfilter oder Pruefung vor der Veroeffentlichung.

Lizenz mit Bedingungen: Krea-2-Turbo (Krea 2 Community License v1) — nicht-kommerziell erlaubt; kommerzielle Nutzung von Modell und Bildern nur fuer Anwender unter 1 Mio. US-Dollar Jahresumsatz; Inhaltsfilter oder Pruefung durch Menschen bei jedem Einsatz.

Hinweise zu einzelnen Modellen: HiDream-O1-Image-Dev: rechnet in 2048x2048 statt 1024x1024 (kleinstes Format des Modells), und Ø Zeit/Bild enthaelt die Prompt-Ueberarbeitung durch Prompt-Refine (Gemma-4-31B) - Zeiten nicht direkt vergleichbar. · ideogram-4: in 6 der 22 Bilder steht der Platzhalter 'Image blocked by safety filter', fuenfmal als graue Flaeche anstelle des Motivs, einmal ueber die fertige Szene gelegt, auch bei harmlosen Prompts. Laut Ideogram liefert das Modell selbst diesen Platzhalter; ein eigener Filter laeuft hier nicht. Ohne die fuenf grauen Flaechen laege die Prompt-Treue bei 0,976 statt 0,764, und die Textrendering-CER stammt allein aus dem einen blockierten Textfall.

Vision — echte Bilder lesen und verstehen

Echte Scans und Grafiken aus frei lizenzierten Archiven: Transkription in vier Schriftlagen, Fragen zu Tabellen, Diagrammen und Karten, Fallen (gefragt wird nach etwas, das nicht im Bild steht). Kein Judge. CER = Median der normalisierten Zeichenfehlerrate je Schriftlage, kleiner ist besser. Modellname anklicken → Fall für Fall mit Quelle, Wahrheit, Antwort und markierten Abweichungen. OCR-Spezialisten bekommen nur die Transkription. K.O. = in einer Falle einen Wert erfunden. Eigene Dimension, nicht Teil der LLM-Wertung.

Quellen der Bilder (Ausschnitte, ggf. verkleinert):

• UB-Mannheim/reichsanzeiger-gt: 1.0.0 (Ground Truth Deutscher Reichsanzeiger und Preussischer Staatsanzeiger, 1820-1939) — Schmidt, Thomas; Kamlah, Jan; Weil, Stefan; Shigapov, Renat (UB Mannheim); CC BY 4.0; https://doi.org/10.5281/zenodo.10144428 (6 Fälle)
• Handwritten Text Recognition Training and Test Set for German Kurrent of the 19th century (Teil Senatsprotokolle, Universitaet Tuebingen) — Gantner, Myriam; Vorlage: Universitaetsarchiv Tuebingen, Protokolle des Akademischen Senats (ubtue/Ground-Truth); CC BY 4.0; https://doi.org/10.5281/zenodo.17252677 (6 Fälle)
• Diplomatic HTR ground truth dataset for water damaged text lines (ENHG, 15th century), Formelbuch BayHStA Ausw. Staaten, Lit. Oesterreich 463 — Flohr, Henriette; Kunzek, Jan; CC BY 4.0; https://doi.org/10.5281/zenodo.21438740 (1 Fall)
• Diplomatic HTR ground truth dataset for an Early New High German transcription model (15th century), Formelbuch BayHStA Ausw. Staaten, Lit. Oesterreich 463 — Juszczak, Adam Piotr; Skidzun, Frederik; CC BY 4.0; https://doi.org/10.5281/zenodo.21257167 (1 Fall)
• The e-NDP project: collaborative digital edition of the Chapter registers of Notre-Dame of Paris (1326-1504), HTR Ground Truth — Claustre, Julie; Smith, Darwin; Torres Aguilar, Sergio; Bretthauer, Isabelle u. a.; CC BY 4.0; https://doi.org/10.5281/zenodo.7575693 (5 Fälle)
• Statistisches Jahrbuch 2019, Kapitel 1 Geografie und Klima — Statistisches Bundesamt (Destatis); Destatis: Vervielfaeltigung und Verbreitung mit Quellennachweis gestattet; https://www.destatis.de/DE/Themen/Querschnitt/Jahrbuch/jb-geo-klima.pdf?__blob=publicationFile&v=7 (10 Fälle)
• Bodenwetterkarte Analyse Europa/Nordatlantik, 24.10.2026 00 UTC — Deutscher Wetterdienst; CC BY 4.0; https://opendata.dwd.de/weather/charts/analysis/Z__C_EDZW_20261024085029_tka01%2Cana_bwkman_dwdc_O_000000_000000_202610240000_WV12.png (2 Fälle)