KI-Kostenkontrolle

Die Kosten bei der Nutzung von KI (in unserem Fall der automatisierten Kommunikation mit LLMs, Sprachmodellen) hängt von verschiedenen Faktoren ab: unter anderem von der Art der Nutzung, der Nutzeranzahl und dem gewählten Sprachmodell ab. Aber wie kann ich die angefallenen Kosten kontrollieren und sie innerhalb meines Budgets halten?

Die Firma Kauz.ai aus Düsseldorf bietet hier folgenden Ansatz: Einerseits haben Sie als Kunde die Möglichkeit, manuell unterschiedliche LLMs auszuwählen oder die automatische LLM-Auswahl auszuwählen. Falls Sie die Option "Automatische LLM-Auswahl" auswählen, wählt das System automatisch anhand verschiedener Faktoren (Use Case, Kontextfenster/Datenvolumen, Geschwindigkeit, Kosten,..) das am besten passende Modell für Ihren Anwendungsfall aus.

Automatische / Manuelle LLM-Modellauswahl

Das gibt bereits Vertrauen, dass das System Use-Case-orientiert am besten arbeitet, aber es gibt noch keine Kostentransparenz. Diese erhalten Sie mit dem entsprechenden Kosten-Dashboard innerhalb des aiStudios von Kauz. Dieses zeigt mit verschiedenen Filtermöglichkeiten zum Beispiel an, wie viele KI-Punkte sie in einem bestimmten Zeitraum mit welchem Bot verbraucht haben. KI-Punkte sind ein Abstraktionslevel, das Kauz gewählt hat, um die Kosten für die verschiedenen Modelle und Use Cases zusammenzuführen und vergleichbar zu machen. Eine bestimmte Anzahl an KI-Punkten (und damit LLM-Gebühren) sind in den Preispaketen von Kauz bereits enthalten. So ist in dem Kauz-KI-Einsteigerpaket zu 499€ / Monat ein KI-Punkte-Kontingent von 2.000 Punkten enthalten. Dies reicht für ca. 1.000 Standard-Konversationen im Monat (ca. 35 Konversationen/Tag) aus und ist für diese Einsteiger-Kunden bislang sehr ausreichend. Sollten doch einmal mehr KI-Punkte benötigt werden, so erfolgt eine Begrenzung der Nutzung mit der Möglichkeit, ad-hoc weitere KI-Punkte hinzuzukaufen. Insgesamt ein aktuell sehr fortgeschrittener Ansatz die KI-Nutzung zu kontrollieren.