Skip to main content
c.AI.Chat(ctx, request) ruft das AI Gateway auf, einen OpenAI-kompatiblen Endpoint für Chat Completions. Dafür sind der Scope ai:chat und mindestens ein Standard-Plan nötig.

Anfrage

Die Felder von squarecloud.ChatRequest mit ihren JSON-Namen: Die Antwort ist eine ChatCompletion in der Form von OpenAI: ID, Object, Created, Model, Choices (Index, Message, FinishReason) und Usage (PromptTokens, CompletionTokens, TotalTokens).

Kein Streaming

AI.Chat streamt nicht: Die Methode gibt die gesamte Completion zurück. ChatRequest hat kein stream-Feld; die API antwortet auf stream: true mit 400 stream_not_supported.

Timeout

Das Gateway gibt jeder Anfrage insgesamt 90 Sekunden und antwortet danach mit 503 server_overloaded. Ohne Deadline auf ctx wartet das SDK mindestens 2 Minuten, bevor ein Timeout eintritt, sodass du die Antwort des Gateways erhältst.

Fehler

KI-Fehler verwenden das Format von OpenAI, daher sind ihre Codes kleingeschrieben. Sie werden trotzdem als *APIError zurückgegeben, wobei Code auf den OpenAI-Code gesetzt ist (oder auf seinen type, wenn es keinen Code gibt):
Das SDK wiederholt KI-Fehler nie: Die Anfrage ist ein nicht idempotenter POST. Die Limits der Pläne findest du in der Referenz des AI Gateway.