Batch API oder Echtzeit-Aufruf: Wie man für verschiedene Workloads den richtigen Kanal wählt

Zunächst zwei Zeitskalen unterscheiden

LLM-Aufrufe unterscheiden sich stark in ihrer Zeitempfindlichkeit. Ein Nutzer, der im Chatfenster auf eine Antwort wartet, toleriert Sekunden; eine Aufgabe zur Erstellung eines Tagesberichts für ein Team kann Stunden tolerieren. Der Batch-Kanal ist genau für Letzteres konzipiert: Er stellt Anfragen in eine Warteschlange, verarbeitet sie gebündelt und tauscht eine längere Fertigstellungszeit gegen einen niedrigeren Preis pro Token.

Die [Batch-Processing-Dokumentation](https://platform.claude.com/docs/en/build-with-claude/batch-processing) von Anthropic und die [Pricing-Seite](https://claude.com/pricing) listen die Batch-Preise separat auf; auf OpenAI-Seite gibt es ebenfalls entsprechende Batch- und Batch-Rabatte. Gemeinsam ist beiden ein Rabatt auf den Standardpreis, der Unterschied liegt in der Übermittlungsart und dem Fertigstellungsfenster.

Entscheidungsframework: vier Fragen

1. Wartet jemand synchron auf dieses Ergebnis? Ja → Echtzeit. Nein → weiter.
2. Kann das Ergebnis einige Stunden später vorliegen? Ja → Batch-Kandidat. Zwingend minutenaktuell → Echtzeit.
3. Ist die Anfrage eine offline aufzählbare Menge? Ja (eine Reihe von Dokumenten, eine Reihe von Tickets, eine Reihe von Evaluierungsbeispielen) → Batch ist sehr geeignet.
4. Sind die Kosten für einen erneuten Lauf bei Fehlern hoch? Hoch → Echtzeit für sofortiges Feedback; niedrig → Batch mit gebündelten Wiederholungen ist günstiger.

Liste typischer Batch-Szenarien

• Inhaltsklassifizierung und Tagging: Einheitliches Tag-System für Hunderttausende von Produkten, Kommentaren und Tickets.
• Offline-Datenbereinigung: Unstrukturierten Text stapelweise in strukturierte Felder extrahieren.
• Regressions-Evaluierung: Vor Änderungen am Prompt einen festen Evaluierungsdatensatz durchlaufen lassen und vergleichen.
• Batch-Zusammenfassung / Übersetzung: Offline-Aufbereitung von Dokumentbibliotheken, Kundendienstprotokollen und Meeting-Notizen.
• Synthetische Datengenerierung: Stapelweise Generierung von Beispielen für Training oder Evaluierung.

Fallstricke bei Batch: Teilerfolge und Wiederholungen

Ein Batch-Job ist nicht entweder ganz erfolgreich oder ganz gescheitert. In einem Job mit mehreren hundert Anfragen scheitern üblicherweise einige wenige wegen Parameterfehlern, zu langer Eingaben oder Inhaltsrichtlinien. Technisch muss Folgendes gewährleistet sein:

• Ergebnisse pro Eintrag erfassen, nicht den Erfolg der gesamten Charge als booleschen Wert behandeln.
• Wiederholbar und nicht wiederholbar unterscheiden: 429 / 5xx sind wiederholbar, 400 Parameterfehler bringen auch bei Wiederholung nichts.
• Idempotenzschlüssel: Wiederholtes Übermitteln derselben Geschäftsdaten darf weder doppelte Abrechnung noch doppeltes Schreiben verursachen.
• Kostenvorabschätzung: Vor der Übermittlung eine Obergrenze anhand der Token schätzen, um unerwartete Rechnungen durch einen einzelnen Job zu vermeiden.

Beide Kanäle über ein Gateway verwalten

Echtzeit und Batch in zwei getrennte Konten, Keys und Abrechnungen aufzuteilen, ist die häufigste Architekturschuld: Bei Preisänderungen muss man zwei Stellen anpassen, bei der Fehlersuche zwei Backends durchsuchen.

Admesh verfolgt den Ansatz einer Base-URL, eines Keys und einer Abrechnung: Auf der Geschäftsseite entscheidet der Aufgabentyp, welcher Kanal genutzt wird, während Modellkatalog und Stückpreise stets aus derselben Backend-Konfiguration stammen und Marge sowie Nutzung an einer Stelle einsehbar sind.

Hinweise zu Rate-Limits und Parallelität ansehen →