Die besten Sprachmodelle für digitale Produkte

Basierend auf echten Benchmark-Daten aus unseren eigenen Softwareprodukten haben wir die Leistungsfähigkeit verschiedener LLM-Modelle bei der Bewältigung spezifischer Herausforderungen bewertet. Dabei wurden spezifische Kategorien wie Dokumentenverarbeitung, CRM-Integration, externe Integration, Marketingunterstützung und Codegenerierung untersucht.  

Die Highlights des Monats:

• Der Elefant im Raum - Claude 3.5 Sonnet und die Artifacts-Function

• Der Trend zu kleinen und leistungsstarken LLMs, die lokal betrieben werden können

• Confidential Computing - wie es AI für Unternehmen sicherer und kostengünstiger machen kann

Unsere Benchmarks bewerten die Modelle in Bezug auf ihre Eignung für die digitale Produktentwicklung. Je höher die Punktezahl, desto besser.

☁️ - Cloud-Modelle mit proprietärer Lizenz
✅ - Open-Source-Modelle, die lokal ohne Einschränkungen ausgeführt werden können
🦙 - Lokale Modelle mit Llama2-Lizenz

Eine genauere Erläuterung zu den jeweiligen Kategorien finden Sie unter der Tabelle.

Claude 3.5 Sonnet - Anthropic hat es schon wieder gemacht

Erinnern Sie sich, wie Anthropic im März eine große Qualitätsverbesserung in ihren Modellen vorgenommen hat?

Sie haben es gerade wieder getan, indem sie Claude 3.5 Sonnet veröffentlicht haben. Dieses mittelgroße Modell ist nicht nur leistungsfähiger als das Spitzenmodell Opus, sondern auch etwa fünfmal günstiger.

Verbesserte Leistungsfähigkeit mit Claude 3.5 Sonnet

Claude 3.5 Sonnet befolgt Anweisungen besser und hat die gleichen Reason-Fähigkeiten wie ihr Topmodell Haiku, was eine enorme Verbesserung darstellt.

NEU: ARTIFACTS FÜR BESSERE BENUTZERERFAHRUNG

Es gibt jedoch noch eine weitere große Verbesserung in der Produktlinie von Anthropic. Sie heißt Artifacts und bezieht sich nicht auf die Leistungsfähigkeit der LLMs, sondern auf die Benutzererfahrung und die Integration der LLMs.

ARTIFACTS: EFFIZIENTES ARBEITEN MIT DOKUMENTEN UND CODE

Die Idee von Artifacts ist: Wenn Sie an einem Dokument oder einem Stück Code arbeiten, wird Claude Web Chat dieses Dokument in ein separates, praktisches Fenster ziehen. Dieses Dokument wird nun zu einer eigenen Entität, nicht nur zu einem Schnipsel, der im Web Chat wiederholt wird. Artifacts sind versioniert, und Sie können ordnungsgemäß an ihnen iterieren.

Das mag wie eine kleine Funktion erscheinen, aber zusammen mit Claude 3.5 Sonnet wird es zu einem enormen Produktivitätsschub, der es lohnenswert macht, Claude Chat anstelle von ChatGPT zu verwenden, wenn man mit Dokumenten und Code-Snippets arbeitet.

Kleine, effiziente Modelle werden immer besser

Im letzten Monat haben wir mehrere lokale LLMs getestet. Dabei gab es einige angenehme Überraschungen:

So zum Beispiel Google Gemma 7B Instruct. Dieses Google-Modell wird oft kritisiert, weil es zu eingeschränkt und begrenzt sei.

Doch das OpenChat-3.5 Fine-Tuning dieses Modells offenbart die wahren Fähigkeiten und stellt dieses 7B-Modell über die erste Version von GPT-3.5.

Es wird gemunkelt, dass GPT-3.5 etwa 20-175B Parameter hatte, und dieses kleine 7B-Modell (das auf einem Laptop laufen kann) schafft es, es zu übertreffen! Das Fortschrittstempo ist beeindruckend.

Tatsächlich ist das einzige lokale LLM, das besser als dieses Modell (in unseren Benchmarks) abschneidet, das Qwen1.5-32B-Modell von AliBaba. Dieses Modell hat jedoch eine nicht standardmäßige Lizenz und benötigt mehr als viermal so viele Ressourcen zum Laufen.

Wie Sie auf dem Bild sehen können, gibt es bereits viele 7B-Modelle mit einer Leistung, die mit frühen Versionen von GPT-3.5 vergleichbar ist. Basierend auf den Trends wird der Fortschritt nicht einfach dort enden.

Schlechter abschneidende Modelle

Nicht alle lokalen Modelle schneiden in unserem Benchmark so gut ab. Hier sind einige, die schlecht abschnitten (meistens, weil sie selbst grundlegenden Anweisungen nicht genau folgen konnten):

- Yi 1.5 34B Chat

- Google Recurrent Gemma 9B IT

- Microsoft Phi 3 Mini/Medium

- Google Gemma 2B/7B

Apple Privacy Model und Confidential Computing

In seiner jüngsten Ankündigung hat Apple begonnen, mehr KI-Funktionen für sein Ökosystem einzuführen. Einer der interessantesten Aspekte war das Konzept des Private Cloud Compute.

Im Wesentlichen wird das iPhone ein kleines und effizientes LLM-Modell verwenden, um alle eingehenden Anfragen zu bearbeiten. Dieses LLM ist nicht sehr leistungsfähig und vergleichbar mit modernen 7B-Modellen. Es ist jedoch schnell und verarbeitet alle Anfragen auf sichere Weise lokal.

Besonders interessant wird es, wenn das LLM-gesteuerte System erkennt, dass es mehr Rechenleistung benötigt, um die Anfrage zu bearbeiten.

In diesem Fall hat es zwei Optionen:

• Es kann den Benutzer um Erlaubnis bitten, die spezifische Anfrage an OpenAI GPT zu senden.

• Es kann die Anfrage auf sichere Weise an eine von Apple verwaltete Private Cloud Compute weiterleiten.

Was ist Private Cloud Compute?

Es handelt sich um ein geschütztes Apple-Rechenzentrum, das eigene Chips verwendet, um leistungsstarke Large Language Models zu hosten. Diese Einrichtung bietet starke Garantien dafür, dass Ihre persönlichen Anfragen sicher bearbeitet werden und niemand, nicht einmal Apple, die Fragen und Antworten einsehen kann.

Dies wird durch eine Kombination aus spezieller Hardware, Verschlüsselung, gesicherten VM-Images und gegenseitiger Beglaubigung zwischen Software und Hardware erreicht. Letztendlich tun sie ihr Bestes, um es selbst für Apple oder Regierungen sehr schwierig und kostspielig zu machen, dieses System zu durchbrechen.

Bei Apple dreht sich alles um Unterhaltungselektronik, gibt es etwas Vergleichbares für Unternehmen?

Ja, das gibt es. Es nennt sich Confidential Computing. Das Konzept gibt es schon seit einiger Zeit (siehe das Confidential Computing Consortium), wurde aber erst kürzlich von Nvidia auf GPUs richtig angewendet. Nvidia führte es in der Hopper-Architektur (H100 GPUs) ein und eliminierte fast vollständig die Leistungseinbußen in der Blackwell-Architektur.

Das Konzept ist dasselbe wie bei Apples PCC:

• Daten werden während der Übertragung und im Ruhezustand verschlüsselt

• Daten werden während der Berechnungszeit entschlüsselt

• Hardware und Software sind so gestaltet, dass es unmöglich (wirklich schwierig und teuer) ist, die Daten während der Entschlüsselung anzusehen.

Große Cloud-Anbieter testen bereits VMs mit vertraulicher GPU-Berechnung (z. B. Microsoft Azure mit H100 seit 2023, Google Cloud mit H100 seit 2024).

Dieser Ansatz ist interessant, weil er Unternehmen, die ein sicheres LLM-gesteuertes System aufbauen müssen, eine dritte Option bietet:

Genau wie bei hybriden Clouds (sie waren früher ein großes Thema, sind aber heutzutage die Norm), können wir diese Optionen mischen und anpassen, um eine kosteneffektive und sichere Lösung zu finden, so wie es Apple mit PCC macht. Zum Beispiel:

• Sie haben ein kleines lokales Deployment, das kostengünstige 7B-Modelle auf einer eigenen Hardware ausführt. Diese wird alle Anfragen lokal bearbeiten.

• Wenn eine Benutzeranfrage eine leistungsfähigere KI/LLM benötigt und keine kritischen Informationen enthält, wird die Anfragen an Azure OpenAI weitergeleitet.

• Wenn eine Benutzeranfrage sowohl sensibel ist als auch eine hohe GPU-Rechenleistung erfordert, dann wird an eine vertrauliche Berechnung in der Cloud ausgeführt.

Letztendlich, wenn die leistungsfähigen und vertraulichen Arbeitslasten konstant genug sind, könnte es sinnvoll sein, ein paar lokale und leistungsstarke GPUs hinzuzufügen, um sie zu bewältigen. Während der Spitzenzeiten können wir immer noch vertrauliche Berechnungen in der Cloud mieten.