Große Sprachmodelle haben ein strukturelles Problem, das seit Jahren bekannt ist und das trotzdem kaum jemand gelöst hat: Je länger der Kontext, desto explodieren die Rechenkosten. Wer den Kontext verdoppelt, vervierfacht den Rechenaufwand – ein Wachstum, das Mathematiker als quadratisch bezeichnen. Genau dieses Skalierungsproblem will das Startup Subquadratic aus Miami beseitigt haben.
Das Problem: Dense Attention als Kostenfalle
Im Kern aller modernen Sprachmodelle steckt ein sogenannter Transformer – eine Architektur, die Google-Forscher 2017 eingeführt haben. Der Transformer läuft über einen Mechanismus namens Dense Attention: Er vergleicht jedes Wort im Text mit jedem anderen Wort. Das ist gründlich, aber teuer. Verdoppelt man die Textlänge, vervierfacht sich der Rechenaufwand. Bei sehr langen Dokumenten – ganzen Codebasen, Vertragsarchiven, wissenschaftlichen Korpora – wird das schnell unbezahlbar. Das ist der Grund, warum selbst die leistungsstärksten Modelle von OpenAI, Google oder Anthropic an praktischen Grenzen stoßen, sobald der Kontext wächst.
SubQ: Sparse Attention statt Dense Attention
Subquadratic, im Mai 2026 aus dem Stealth-Modus getreten, behauptet, dieses Grundproblem gelöst zu haben. Das Modell heißt SubQ und ersetzt Dense Attention durch einen sogenannten Sparse-Attention-Mechanismus: Statt alle Wortbeziehungen zu berechnen, wählt SubQ dynamisch nur die relevanten Verbindungen aus. Das reduziert laut Unternehmen das Skalierungsverhalten von quadratisch auf sub-quadratisch – also deutlich flacher.
Die beworbenen Zahlen sind bemerkenswert: SubQ soll 56-mal schneller sein als Modelle, die auf FlashAttention-2 basieren, und benötigt dabei 64,5-mal weniger Rechenleistung als klassische Dense-Attention-Modelle. Das Kontext-Fenster reicht laut Subquadratic auf bis zu 12 Millionen Tokens – das entspricht etwa dem zwölffachen Wert der meisten aktuellen Top-Modelle. Bei einem konkreten Daten-Retrieval-Test gibt das Unternehmen Kosten von 8 US-Dollar an, während ein vergleichbarer Lauf mit Claude Opus 2.600 Dollar kosten soll. Gleichzeitig beansprucht SubQ, bei Coding-Benchmarks mit führenden Modellen von OpenAI, Google und Anthropic mitzuhalten.
Unabhängige Tests – und anhaltende Skepsis
Anfangs stieß Subquadratic auf breite Skepsis: Die Datenlage beschränkte sich auf selbst veröffentlichte Testergebnisse, und das Modell war öffentlich kaum zugänglich. Inzwischen hat das Drittunternehmen Appen eine unabhängige Evaluation durchgeführt. Die Ergebnisse bestätigten laut MIT Technology Review zentrale Teile der Behauptungen: SubQ erreichte 56-mal höhere Geschwindigkeit im Speed-Test und 98 Prozent bei einem sogenannten Needle-in-a-Haystack-Test – der Fähigkeit, relevante Information in riesigen Textmengen zu finden. Auf dem Coding-Benchmark LiveCodeBench erzielte das Modell 89,7 Prozent und landete damit unter den stärksten Modellen weltweit.
Dennoch bleibt Vorsicht angebracht. Ein ehemaliger OpenAI-Forscher wird von The Next Web mit den Worten zitiert, die öffentliche Evidenz rechtfertige noch nicht den stärksten Anspruch – nämlich, dass das quadratische Attention-Bottleneck wirklich vollständig gelöst sei. Hinzu kommt ein technischer Wermutstropfen: Subquadratic hat SubQ nicht vollständig von Grund auf trainiert, sondern auf Gewichten des chinesischen Open-Source-Modells Qwen aufgebaut. Das ist gängige Praxis in der KI-Entwicklung, sitzt aber etwas unbequem neben dem Anspruch, LLMs grundlegend neu zu erfinden.
Was das für Unternehmen bedeutet
Für Marketer, Händler und Gründer im DACH-Raum ist das Thema vor allem mittelfristig relevant. Wer heute KI in seine Produktsuche oder Kundenberatung integriert, stößt früher oder später auf das Kostenproblem langer Kontexte: Wer einen Chatbot mit dem gesamten Produktkatalog, vielen Kundengesprächen oder komplexen Dokumenten füttern will, zahlt heute viel Geld für die nötige Rechenkapazität. Günstigere Long-Context-Modelle könnten diese Anwendungsfälle für deutlich mehr Unternehmen wirtschaftlich machen.
Ähnliches gilt für den KI-Einsatz in Agentensystemen: Agentenplattformen, die komplexe Workflows automatisieren, benötigen oft große Kontext-Fenster, um den Überblick über mehrstufige Aufgaben zu behalten. Wenn Effizienzsprünge wie jene, die Subquadratic behauptet, Bestand haben, könnte das die Kosten für solche Systeme dramatisch senken.
Kurzfristig empfiehlt sich jedoch Zurückhaltung. SubQ ist derzeit nur für eine begrenzte Gruppe von Enterprise-Beta-Nutzern zugänglich. Breitere öffentliche Benchmarks stehen noch aus. Unternehmen, die bereits auf ChatGPT Enterprise, Gemini oder vergleichbare Lösungen setzen, sollten ihre Rollouts nicht pausieren, nur weil eine neue Technologie spektakuläre Versprechen macht. Wer SubQ evaluieren möchte, sollte außerdem auf unabhängige Reproduzierbarkeit der Benchmarks bestehen – und Vertragsklauseln zur Benchmark-Transparenz gegenüber Anbietern einfordern, die Effizienzgewinne im Größenordnungsbereich versprechen.
Der breitere Trend ist trotzdem eindeutig: Die Wettbewerbsdynamik im KI-Markt verschiebt sich zunehmend von schieren Parameterzahlen hin zu Effizienz und Betriebskosten. Subquadratic ist nicht allein – andere Startups und Forschungsgruppen arbeiten an ähnlichen Ansätzen, von State-Space-Modellen bis zu KV-Cache-Komprimierung. Wie die Aufholjagd der Open-Source-Modelle zeigt, kann der Abstand zu proprietären Frontier-Modellen schneller schrumpfen als gedacht – manchmal durch unerwartete architekturelle Durchbrüche.
Quellen
- t3n – 56-mal schneller als die meisten LLMs? US-Startup macht mit seinem Modell spektakuläres KI-Versprechen
- MIT Technology Review – A startup claims it broke through a bottleneck that’s holding back LLMs
- The Next Web – A startup says it cracked the bottleneck holding back AI
- Subquadratic – Offizielle Website SubQ
Beitragsbild: Foto von Google DeepMind auf Pexels
Antworten