api.ai.chat(request) ruft das AI Gateway auf, einen OpenAI-kompatiblen Endpoint für Chat Completions. Dafür sind der Scope ai:chat und mindestens ein Standard-Plan nötig.
Anfrage
Die Antwort hat die Form von OpenAI:
id, object, created, model, choices (index, message, finish_reason) und usage.
Kein Streaming
ai.chat() streamt nicht: Die Methode gibt die gesamte Completion zurück. stream: true ergibt 400 stream_not_supported.
Timeout
Das Gateway gibt jeder Anfrage insgesamt 90 Sekunden und antwortet danach mit 503server_overloaded. Das SDK wartet mindestens 120 s, bevor ein Timeout eintritt, sodass du die Antwort des Gateways erhältst.
Fehler
KI-Fehler verwenden das Format von OpenAI, daher sind ihre Codes kleingeschrieben. Sie werfen trotzdem einenSquareCloudAPIError, wobei code auf den OpenAI-Code gesetzt ist (oder auf seinen type, wenn es keinen Code gibt):
Das SDK wiederholt KI-Fehler nie: Die Anfrage ist ein nicht idempotenter
POST. Die Limits der Pläne findest du in der Referenz des AI Gateway.
