發生什麼事
@togethercompute 宣布推出依地區劃分的 serverless 推論端點,第一批是 7 個主流開源模型,推論全程在美國處理。切換時只要把 base URL 換成新端點,API key 和模型 ID 都不用改,計價是標準費率的 1.25 倍。貼文沒有列出是哪 7 個模型,也沒提其他地區的安排(🗣 自述)。
01參考來源
- @togethercompute:Together 官方,宣布美國境內處理的 serverless 推論端點
一句重點:第一批 7 個開源模型可以改走美國境內的端點,換 base URL 就行,費用多 25%。
@togethercompute 宣布推出依地區劃分的 serverless 推論端點,第一批是 7 個主流開源模型,推論全程在美國處理。切換時只要把 base URL 換成新端點,API key 和模型 ID 都不用改,計價是標準費率的 1.25 倍。貼文沒有列出是哪 7 個模型,也沒提其他地區的安排(🗣 自述)。