Dashboard

Ubersicht aller KI-Modell Test-Runs

Ziel der Test-Runs

Verschiedene KI-Modelle bekamen immer dieselbe Aufgabe: „suggest additional unit tests for our project“. Die Vorschläge sollten anschließend umgesetzt werden. Ausgangsbranch war immer test/ai-base, jedes Modell arbeitete auf einem eigenen Branch (Branches auf GitHub). Erste PHPUnit- und PHPFunctional-Tests existierten bereits, das Grundsetup war also schon vorhanden.

Modelle getestet

14

Branches bestanden

8/14

PHPUnit final

Top Score

100

Opus5

Meiste Tests

83

Opus5
Modell-Score Gesamtbewertung (niedriger = schlechter)
Finales Branch-Ergebnis PHPUnit auf dem Branch
Test-Qualität (max. 18) Unit-Test-Bewertung pro Modell
PHPUnit Korrektur-Effizienz Runs: bestanden vs. fehlgeschlagen
PHPStan Korrektur-Effizienz Runs: bestanden vs. fehlgeschlagen

Prompt-Verarbeitung (t/s) hoeher = schneller
Text-Generierung (t/s) hoeher = schneller
Alle Test-Runs
Legende: Lokal gelaufen Potenziell lokal (32 GB VRAM) Cloud-only
Datum Modell Provider Erw. Hardware Kosten Dauer Qualität PHPStan PHPUnit Score
2026-07-31 Opus5 Default cloud Cloud (nur via Provider) $8,17 25 min User 3 min · Session 28 min 18/18 OK PASS 83T / 0E 100
2026-07-29 GPT-5.6 Luna 5.6 Luna cloud Cloud (nur via Provider) $0,68 14 min User 7 min · Session 21 min 17/18 OK PASS 39T / 0E 96
2026-08-01 GLM5.2 5.2 cloud Cloud (nur via Provider) $1,45 7 min User 1 min · Session 8 min 15/18 OK PASS 34T / 0E 88
2026-07-26 Big Pickle cloud Cloud (nur via Provider) — 23 min 15/18 OK PASS 35T / 0E 88
2026-07-27 Hy3 295B 295B cloud Cloud (nur via Provider) $0,16 10 min User 2 min · Session 12 min 17/18 OK PASS 41T / 0E 86
2026-07-26 Qwen3.5-27B 3.5 cloud ~32 GB GPU VRAM $0,24 8 min User 1 min · Session 9 min 17/18 OK PASS 44T / 0E 86
2026-07-31 Ring2.6-1T 2.6 cloud Cloud (nur via Provider) $0,18 28 min 12/18 OK PASS 31T / 0E 62
2026-07-29 Qwen3.6-27B 3.6 cloud ~32 GB GPU VRAM $1,73 21 min User 3 min · Session 25 min 9/18 OK PASS 37T / 0E 55
2026-07-26 Qwen 3.5 9B Q8 3.5 local 16 GB GPU VRAM — 21 min User 3 min · Session 24 min — OK FAIL 89T / 67E 20
2026-07-29 GLM4.7-Flash-30B 4.7 Flash cloud ~32 GB GPU VRAM $0,17 16 min User 1 min · Session 17 min — OK FAIL 70T / 39E 15
2026-07-26 Qwen 3.5 9B Q8 Thinking 3.5 local 16 GB GPU VRAM — 18 min User 81 min · Session 100 min — Fail FAIL 74T / 42E 15
2026-07-27 Gemma4-31B-IT 4 IT cloud ~32 GB GPU VRAM $0,16 6 min User 7 min · Session 13 min — OK FAIL 26T / 2E 10
2026-07-26 Qwen3 Coder 30B A3B Instruct Coder cloud ~32 GB GPU VRAM $0,15 9 min User 7 min · Session 16 min 1/18 OK FAIL 21T / 1E 7
2026-07-26 Qwen 3.5 9B Q4 3.5 local 16 GB GPU VRAM — 56 min User 1 min · Session 58 min — OK FAIL 0T / 0E —