Qwen3.8 Flash schlägt Max Prime im Atlassian-Forge-Benchmark

In einer am 8. Oktober 2026 veröffentlichten technischen Benchmark-Bewertung übertraf das leichtgewichtige Modell Qwen3.8 Flash überraschend Alibabas Flaggschiff Qwen3.8 Max Prime beim Erstellen einer Atlassian-Forge-App. Bei der Evaluierung über das Open-Source-Agenten-Framework goose via OpenRouter erzielte Flash im Test Forge 1.0 ein Endergebnis von 0,7961 gegenüber 0,6953 von Max Prime. Beim Web-Payment-Benchmark Gauntlet 7.2 holte sich Max Prime jedoch die Führung zurück und erreichte 0,8364 Punkte im Vergleich zu 0,6846 Punkten bei Flash.

Eine einzelne Manifest-Einschränkung löst Obergrenze aus

Das schlechtere Abschneiden von Max Prime im Forge-Benchmark lag an einer strikten Punktzahl-Obergrenze, die durch einen Konfigurationsfehler im Manifest ausgelöst wurde. Bei der Definition eines Datenspeicher-Indexes für benutzerdefinierte Entitäten deklarierte Max Prime zwei Bereichsattribute (Range Attributes), um eine stabile Sortierung zu erreichen. Die Plattformregeln von Atlassian Forge erlauben jedoch nur ein einzelnes Bereichsattribut pro Index. Flash vermied diesen Strukturfehler, indem es Zeitstempel und Kennung in ein einzelnes formatiertes Zeichenketten-Attribut namens „timeSort“ packte. Da Max Prime die Index-Einschränkung verletzte, wurde seine Bewertung bei der Band-Obergrenze von 0,699 gedeckelt – obwohl das Modell ohne Deckelung einen Wert von 0,9269 erreicht hatte, nahe an Flashs 0,9426.

Kostenunterschiede und serverseitige Validierung

Die Vergleichsläufe verdeutlichten einen deutlichen Kostenunterschied zwischen beiden Konfigurationen. Flash schloss seinen Forge-Benchmark-Durchlauf für 0,47 US-Dollar ab, während für Max Prime 16,46 US-Dollar anfielen. Der Test deckte zudem Lücken in lokalen Validierungswerkzeugen auf: Der in der Benchmark-Umgebung festgelegte Offline-Linter akzeptierte den Code von Max Prime ohne Fehler, da das Schema Array-Definitionen zuließ. Die Beschränkung auf ein einzelnes Bereichsattribut wurde erst bei der Überprüfung gegen serverseitige Live-Regeln in Atlassian CLI 14.1.0 erkannt, was die Bereitstellung stoppte.

Benutzeroberflächen-Funktionen und Überprüfung der Regelkenntnis

Trotz des Fehlers im Speicher-Manifest führte Max Prime Standard-Anwendungscode und Komponenten der Benutzeroberfläche effektiver aus als Flash. Max Prime entschied 13 von 15 Differenz-Prüfungen beim Gauntlet-Zahlungs-Benchmark für sich und bestand wichtige Forge-Integrationsprüfungen, darunter 23 von 23 Zusicherungen für die Forge LLM API sowie das Live-Realtime-Widget. Flash konnte die Forge LLM API überhaupt nicht aufrufen, nachdem es 148 seiner 150 zugewiesenen Aufrufe aufgebraucht hatte. Direkte Prompt-Tests bei beiden Modellen zeigten, dass keines von beiden das Wissen über Forge-Indexregeln verlässlich abrief, sofern keine expliziten Dokumentationssätze im Kontextfenster bereitgestellt wurden.

KI-generierte redaktionelle Illustration; kein Dokumentarfoto.

Quelle: Qwen3.8 Flash vs Max Prime: Forge app benchmark