Grayson ViewsGrayson Views
AppAI
繁中简中
隱私條款
登入
  1. AppAI
  2. ›網站
  3. ›Grayson Views
  4. ›多數企業 AI 會改用便宜的開放權重模型?IBM 執行長 Arvind Krishna 這樣預測【AI原聲帶】
隱私權政策服務條款
AppAI

多數企業 AI 會改用便宜的開放權重模型?IBM 執行長 Arvind Krishna 這樣預測【AI原聲帶】

看影片
在 YouTube 觀看

重點時刻

  1. 0:00企業 AI 為什麼多數會改用開放權重模型
  2. 1:56Nikesh Arora 說,他們檢查每台端點的流量,一年成本約 20 到 25 美元,因為機器學習是在端點本機執行。
  3. 2:17他說如果把這些流量全交給 OpenAI 用 token 計費,一家公司一年就可能貢獻 OpenAI 全部的營收。
  4. 2:29他的做法是把小型語言模型壓縮、針對單一任務訓練,直到準確率達 99.9%,並說不需要每件事都用法拉利。
  5. 3:21他說遇到正在發生的資安入侵時,客戶願意用最新的前沿模型,因為入侵的衝擊可達數十億美元。
  6. 4:28Arvind Krishna 說,頂尖模型每百萬 token 約 20 美元,極端情況 50 美元;開放權重模型如 Kimi K3,自己跑約一週工程調整,可降到 1 到 2 美元,約便宜 40 倍,卻能做約 95% 的工作。

企業用 AI,真的每件事都要用最貴的頂尖模型嗎?IBM 執行長 Arvind Krishna 認為,多數企業的 AI 用量會轉向成本低、可自行掌控的開放權重模型(open-weight model),頂尖的閉源前沿模型(frontier model)只留給少數高風險情境。他和 Palo Alto Networks 執行長 Nikesh Arora 在同一場對談中,各自從成本、智慧財產與資安實務來算這筆帳,這段約六分鐘。

看完整影片

原片 All-In Podcast

重點速覽

重點從哪裡看
Nikesh Arora 說,他們檢查每台端點的流量,一年成本約 20 到 25 美元,因為機器學習是在端點本機執行。▶ 1:56
他說如果把這些流量全交給 OpenAI 用 token 計費,一家公司一年就可能貢獻 OpenAI 全部的營收。▶ 2:17
他的做法是把小型語言模型壓縮、針對單一任務訓練,直到準確率達 99.9%,並說不需要每件事都用法拉利。▶ 2:29
他說遇到正在發生的資安入侵時,客戶願意用最新的前沿模型,因為入侵的衝擊可達數十億美元。▶ 3:21
Arvind Krishna 說,頂尖模型每百萬 token 約 20 美元,極端情況 50 美元;開放權重模型如 Kimi K3,自己跑約一週工程調整,可降到 1 到 2 美元,約便宜 40 倍,卻能做約 95% 的工作。▶ 4:28
他提出三個理由:成本、思考鏈可能洩漏智慧財產、地緣政治;並預測 75% 到 90% 的 token 用量會轉到開放權重模型。—

▶ 0:00 企業 AI 為什麼多數會改用開放權重模型

企業 AI 該一直用最貴的模型,還是開放權重模型?

  • Nikesh Arora 說,他們檢查每台端點的流量,一年成本約 20 到 25 美元,因為機器學習是在端點本機執行。 ▶ 1:56
  • 他說如果把這些流量全交給 OpenAI 用 token 計費,一家公司一年就可能貢獻 OpenAI 全部的營收。 ▶ 2:17
  • 他的做法是把小型語言模型壓縮、針對單一任務訓練,直到準確率達 99.9%,並說不需要每件事都用法拉利。 ▶ 2:29
  • 他說遇到正在發生的資安入侵時,客戶願意用最新的前沿模型,因為入侵的衝擊可達數十億美元。 ▶ 3:21
  • Arvind Krishna 說,頂尖模型每百萬 token 約 20 美元,極端情況 50 美元;開放權重模型如 Kimi K3,自己跑約一週工程調整,可降到 1 到 2 美元,約便宜 40 倍,卻能做約 95% 的工作。 ▶ 4:28

不是每件事都需要法拉利級 AI

日常防護遭到入侵
壓縮過的小模型最新前沿模型
每台每年二十美元代理群全力推理
準確率練到99.9%損失動輒數十億

依任務決定要花多少智慧

▶ 3:03

自架開放模型,成本便宜約四十倍

美元/每百萬 t

項目數值補充
最頂級前沿模型50最高價
前一代前沿模型20
自架 Kimi K31約一到兩美元

便宜約四十倍

沒有企業會拒絕這種價差

▶ 5:08

多數企業 AI 會改用開放權重模型

項目說明
開放權重七成五到九成用量
成本便宜約四十倍
智財保護思考過程不外流
可稽核能解釋每個判斷
地緣政治沙盒自跑風險低

前沿模型只留給少數關鍵場景

▶ 6:33

其他重點

  • 他提出三個理由:成本、思考鏈可能洩漏智慧財產、地緣政治;並預測 75% 到 90% 的 token 用量會轉到開放權重模型。

來賓

Arvind Krishna IBM 執行長 2020 年接任執行長

Nikesh Arora Palo Alto Networks 執行長 前 Google 高階主管

原片 頻道 All-In Podcast

本頁由剪片存檔自動產生

訂閱電子報