快訊 · 台北時間

Together 推出全程在美國處理的 serverless 推論端點

一句重點:第一批 7 個開源模型可以改走美國境內的端點,換 base URL 就行,費用多 25%。

發生什麼事

@togethercompute 宣布推出依地區劃分的 serverless 推論端點,第一批是 7 個主流開源模型,推論全程在美國處理。切換時只要把 base URL 換成新端點,API key 和模型 ID 都不用改,計價是標準費率的 1.25 倍。貼文沒有列出是哪 7 個模型,也沒提其他地區的安排(🗣 自述)。

01參考來源

  • @togethercompute:Together 官方,宣布美國境內處理的 serverless 推論端點