Basierend auf echten Benchmark-Daten aus unseren eigenen Softwareprodukten bewerten wir jeden Monat aufs Neue die Leistungsfähigkeit verschiedener LLM-Modelle bei der Bewältigung spezifischer Herausforderungen. Wir untersuchen spezifische Kategorien wie Dokumentenverarbeitung, CRM-Integration, externe Integration, Marketingunterstützung und Codegenerierung.
LLM Benchmarks | Juni 2024
Es erwarten Sie folgende Insights & Highlights:
Der Elefant im Raum - Claude 3.5 Sonnet und die Artifacts-Function
Der Trend zu kleinen und leistungsstarken LLMs, die lokal betrieben werden können
Confidential Computing - wie es AI für Unternehmen sicherer und kostengünstiger machen kann
Wie gut kann das Modell mit großen Dokumenten und Wissensdatenbanken arbeiten?
Wie gut unterstützt das Modell die Arbeit mit Produktkatalogen und Marktplätzen?
Kann das Modell problemlos mit externen APIs, Diensten und Plugins interagieren?
Wie gut kann das Modell bei Marketingaktivitäten unterstützen, z.B. beim Brainstorming, der Ideenfindung und der Textgenerierung?
Wie gut kann das Modell in einem gegebenen Kontext logisch denken und Schlussfolgerungen ziehen?
Kann das Modell Code generieren und bei der Programmierung helfen?
Die geschätzten Kosten für die Ausführung der Arbeitslast. Für cloud-basierte Modelle berechnen wir die Kosten gemäß der Preisgestaltung. Für lokale Modelle schätzen wir die Kosten auf Grundlage der GPU-Anforderungen für jedes Modell, der GPU-Mietkosten, der Modellgeschwindigkeit und des operationellen Overheads.
Die Spalte "Speed" gibt die geschätzte Geschwindigkeit des Modells in Anfragen pro Sekunde an (ohne Batching). Je höher die Geschwindigkeit, desto besser.
Archiv
Neugierig, wie sich die Scores entwickelt haben? Hier finden Sie alle Links zu bisher veröffentlichten Leaderboards