c.AI.Chat(ctx, request) ruft das AI Gateway auf, einen OpenAI-kompatiblen Endpoint für Chat Completions. Dafür sind der Scope ai:chat und mindestens ein Standard-Plan nötig.
Anfrage
Die Felder vonsquarecloud.ChatRequest mit ihren JSON-Namen:
Die Antwort ist eine
ChatCompletion in der Form von OpenAI: ID, Object, Created, Model, Choices (Index, Message, FinishReason) und Usage (PromptTokens, CompletionTokens, TotalTokens).
Kein Streaming
AI.Chat streamt nicht: Die Methode gibt die gesamte Completion zurück. ChatRequest hat kein stream-Feld; die API antwortet auf stream: true mit 400 stream_not_supported.
Timeout
Das Gateway gibt jeder Anfrage insgesamt 90 Sekunden und antwortet danach mit 503server_overloaded. Ohne Deadline auf ctx wartet das SDK mindestens 2 Minuten, bevor ein Timeout eintritt, sodass du die Antwort des Gateways erhältst.
Fehler
KI-Fehler verwenden das Format von OpenAI, daher sind ihre Codes kleingeschrieben. Sie werden trotzdem als*APIError zurückgegeben, wobei Code auf den OpenAI-Code gesetzt ist (oder auf seinen type, wenn es keinen Code gibt):
Das SDK wiederholt KI-Fehler nie: Die Anfrage ist ein nicht idempotenter
POST. Die Limits der Pläne findest du in der Referenz des AI Gateway.
