Die besten Sprachmodelle im September 2024

LLM Benchmarks | September 2024

Die Benchmarks bewerten die Modelle in Bezug auf ihre Eignung für die digitale Produktentwicklung. Je höher die Punktezahl, desto besser.

☁️ - Cloud-Modelle mit proprietärer Lizenz
✅ - Open-Source-Modelle, die lokal ohne Einschränkungen ausgeführt werden können
🦙 - Lokale Modelle mit Llama2-Lizenz

ChatGPT o1-Modelle sind die besten

OpenAI hat einen radikal neuen Modelltyp namens o1-preview veröffentlicht, gefolgt von o1-mini. Diese einzigartigen Modelle unterscheiden sich von allen anderen LLM-Modellen auf dem Markt – sie führen für jede Anfrage eine eigene „Chain of Thought“-Routine durch. Dies ermöglicht es dem Modell, komplexe Probleme in kleinere Aufgaben zu zerlegen und die Antworten wirklich durchdacht zu formulieren.

Dieser Ansatz glänzt beispielsweise bei komplexen Full-Stack-Software-Engineering-Herausforderungen. Vergleicht man o1 mit dem „herkömmlichen“ GPT-4, fühlt es sich wie ein erfahrener Mid-Level-Software-Ingenieur an, der überraschend wenig Anleitung benötigt.

Es gibt jedoch einen Nachteil bei diesem „Chain of Thought unter der Haube“-Prozess. O1 liefert zwar qualitativ hochwertige Ergebnisse, aber diese Ergebnisse brauchen Zeit und sind deutlich teurer. Ein Blick auf die Preisspalte zeigt den Kostenunterschied.

Wir sind gespannt, ob andere LLM-Anbieter diesen Trick übernehmen und ihre eigenen Versionen von LLMs mit abgestimmter Chain-of-Thought-Routine veröffentlichen.

Google Gemini 1.5 Pro v 002 - TOP 3

Wenn wir über die Spitzenresultate und Cloud-Anbieter sprechen, gibt es ein weiteres neues Modell in den TOP-3. Google hat es irgendwie geschafft, mit der Geschwindigkeit des Fortschritts mitzuhalten und ein hoch konkurrenzfähiges Modell zu veröffentlichen – Gemini 1.5 Pro v002.

Dieses Modell verbessert sich systematisch gegenüber der vorherigen Version in mehreren Kategorien: Code, CRM, Dokumente und Marketingtexte. Es ist außerdem das günstigste Modell in den TOP-6 unseres Benchmarks.

Fachleute loben dieses Modell bereits für seine hervorragenden mehrsprachigen Fähigkeiten, und Google Cloud-Nutzer freuen sich, ein erstklassiges LLM in ihrer Cloud verfügbar zu haben.

Lange Zeit schien es, als ob nur OpenAI und Anthropic wirklich in der Lage wären, den Stand der Technik bei erstklassigen LLM-Modellen voranzutreiben. Es schien auch, als ob große Konzerne zu langsam und altmodisch wären, um etwas wirklich Bahnbrechendes zu veröffentlichen. Google hat schließlich bewiesen, dass dem nicht so ist.

So sieht der Fortschritt der Google-Modelle im Laufe der Zeit aus:

Es fühlt sich mittlerweile nicht mehr ungewöhnlich an, Modelle ähnlicher Qualität auch von Amazon oder Microsoft zu erwarten. Vielleicht wird dies eine neue Wettbewerbsrunde anstoßen, die zu weiteren Preissenkungen und Qualitätsverbesserungen führt.
Nun haben wir genug über die Cloud-Anbieter gesprochen, legen wir den Fokus jetzt auf lokale Modelle.

(Lokale Modelle sind Modelle, die Sie herunterladen und auf Ihrer eigenen Hardware ausführen können.)

Qwen 2.5 and DeepSeek 2.5

Das kürzlich veröffentlichte Qwen 2.5 Instruct ist überraschend gut. Es ist das erste lokale Modell, das Claude 3.5 Sonnet bei unseren Geschäftsanwendungen übertrifft. Zudem ist es günstiger als die anderen LLM-Modelle in den oberen Rängen.

Ab diesem Benchmark verwenden wir die OpenRouter-Preise als Basispreis für lokal nutzbare LLM-Modelle. Dies ermöglicht eine Kostenschätzung der Arbeitslasten basierend auf realen Marktpreisen. Es berücksichtigt auch alle sinnvollen Leistungsoptimierungen, die LLM-Anbieter nutzen, um ihre Margen zu verbessern.

Qwen 2.5 72B befolgt Anweisungen gewissenhaft (im Vergleich zu Sonnet 3.5 oder älteren GPT-4-Versionen) und verfügt über eine ordentliche Fähigkeit zur logischen Schlussfolgerung. Dieses chinesische Modell weist jedoch Lücken in den Bereichen Code und Marketing auf.

DeepSeek 2.5 schnitt in unseren Produkt-Benchmarks bei weitem nicht so gut ab, obwohl es eine enorme Größe von 236 Milliarden Parametern hat. Es läuft etwa auf dem Niveau älterer Versionen von GPT-4 und Gemini 1.5 Pro.

Das sind wirklich großartige Neuigkeiten: Immer mehr lokale Modelle erreichen das Intelligenzniveau von GPT-4 Turbo. Besonders beeindruckend ist, dass das kleinere Qwen 72B-Modell es mit deutlichem Vorsprung übertroffen hat – ein Erfolg, der eine eigene Feier verdient 🚀

Und wir sind überzeugt: Das wird nicht die letzte Überraschung in diesem Jahr sein.

Llama 3.2 – Mittelmäßige Ergebnisse, aber es gibt eine wichtige Nuance

Meta hat kürzlich die neuen Versionen seiner Llama-Modelle in der 3.2-Serie veröffentlicht.
Die größeren Modelle sind nun multimodal, was jedoch auf Kosten der kognitiven Fähigkeiten bei textbasierten Geschäftsanwendungen ging, verglichen mit den vorherigen Versionen. Llama 3.2 liegt weiterhin deutlich hinter den Spitzenmodellen zurück.

Ein Blick auf die Tabelle zeigt:

• Das Llama 3.2 90B Vision-Modell arbeitet auf dem Niveau von Llama 3/3.1 70B, allerdings mit schwächerer logischer Schlussfolgerung.
• Das Llama 3.2 11B Vision-Modell erreicht das Niveau des früheren 8B-Modells, jedoch ebenfalls mit einer geringeren Fähigkeit zur logischen Schlussfolgerung.

Das bedeutet nicht, dass die neuen Modelle schlechter sind – sie bieten jetzt mehr Funktionalitäten. Unser aktueller Benchmark bewertet jedoch ausschließlich textbasierte Geschäftsaufgaben. Vision-Aufgaben werden in der nächsten Version (v2) hinzugefügt.

Es gibt jedoch eine Besonderheit, die das Llama 3.2-Release wirklich bemerkenswert macht. Diese Besonderheit liegt in den neuen Modellen mit 1B und 3B Parametern. Diese kleinen Llama 3.2-Modelle wurden speziell für ressourcenbeschränkte Umgebungen und Edge-Anwendungen entwickelt (optimiert für ARM-Prozessoren sowie Qualcomm- und MediaTek-Hardware). Trotz der knappen Ressourcen bieten sie einen 128k-Token-Kontext und eine überraschend hohe Antwortqualität bei Geschäftsanwendungen.

Erinnern Sie sich an das riesige DBRX 132B Instruct-Modell, das als „neuer Maßstab für offene LLMs“ galt? Nun, das Llama 3.2 1B-Modell erreicht in unseren Benchmarks fast das gleiche Niveau, und das 3B-Modell übertrifft es sogar deutlich. Werfen Sie einfach einen Blick auf die Platzierungen dieser Modelle in der Tabelle:

Diese Version betont die entscheidenden Informationen präziser und flüssiger, was den Text noch ansprechender macht.

Beachten Sie, dass diese Benchmark-Ergebnisse auf den Basisversionen von Llama basieren. Maßgeschneiderte Feinabstimmungen verbessern die Gesamtleistung in der Regel noch weiter.

Wie Sie sehen können, bleibt der Fortschritt nicht stehen. Wir erwarten, dass sich der Trend fortsetzt, bei dem immer mehr Unternehmen es schaffen, bessere kognitive Fähigkeiten in kleinere Modelle zu integrieren.

Um diesen Trend zu verdeutlichen, haben wir alle Veröffentlichungen lokal nutzbarer Modelle über einen Zeitverlauf visualisiert und sie anhand der groben Hardwareanforderungen für deren Ausführung gruppiert. Für jede Gruppe haben wir den aktuellen Trend berechnet (linregress).

Hinweis: Diese Gruppierung ist nur eine grobe Einschätzung. Wir verwenden die am häufigsten genutzten Hardware-Kombinationen, die wir bei unseren Kunden und in der KI-Forschung gesehen haben. Wir gehen außerdem davon aus, dass die Inferenz im fp16-Modus läuft, ohne weitere Quantisierungen, und dass genügend VRAM verfügbar ist, um etwas Kontext im Speicher zu behalten.

Zum Schluss möchten wir noch einige Beobachtungen teilen:

• Alle Modelle, sowohl kleine als auch große, verbessern sich kontinuierlich über die Zeit.
• Interessante große Modelle sind erst in diesem Jahr wirklich in den Fokus gerückt.
• Große Modelle verzeichnen derzeit die schnellsten Fortschritte.

Diese Erkenntnisse sind offensichtlich und erfordern eigentlich keine grafische Darstellung. Dennoch machen Visualisierungen den Fortschrittsgrad leichter verständlich. So lassen sich diese Informationen besser an Kunden vermitteln und in langfristige Planungen einbeziehen.

Transformieren Sie Ihre digitalen Projekte mit den besten KI-Sprachmodellen!

Entdecken Sie die transformative Kraft der besten LLM und revolutionieren Sie Ihre digitalen Produkte mit KI! Bleiben Sie zukunftsorientiert, steigern Sie die Effizienz und sichern Sie sich einen klaren Wettbewerbsvorteil. Wir unterstützen Sie dabei, Ihren Business Value auf das nächste Level zu heben.