Alibaba Cloud AI Gateway、Intelligent Routingの提供を開始

發生什麼事

Alibaba Cloud Blogは、AI GatewayのIntelligent Routingの提供開始を発表しました。ゲートウェイはまず、プロトコル、ツールの対応状況、コンテキスト長などの条件に合わない候補を除外し、呼び出し側が選んだモードに応じてモデルを決めます。モードはバランス、コスト、低レイテンシ、品質の4種類です。同じ話題が続く複数ターンの会話では前のターンと同じモデルを使い、agentのツール呼び出しチェーンではタスク開始時にモデルを1つ選び、その後も同じモデルを使います。