企業用 AI,真的每件事都要用最貴的頂尖模型嗎?IBM 執行長 Arvind Krishna 認為,多數企業的 AI 用量會轉向成本低、可自行掌控的開放權重模型(open-weight model),頂尖的閉源前沿模型(frontier model)只留給少數高風險情境。他和 Palo Alto Networks 執行長 Nikesh Arora 在同一場對談中,各自從成本、智慧財產與資安實務來算這筆帳,這段約六分鐘。
原片 All-In Podcast
| 重點 | 從哪裡看 |
|---|---|
| Nikesh Arora 說,他們檢查每台端點的流量,一年成本約 20 到 25 美元,因為機器學習是在端點本機執行。 | ▶ 1:56 |
| 他說如果把這些流量全交給 OpenAI 用 token 計費,一家公司一年就可能貢獻 OpenAI 全部的營收。 | ▶ 2:17 |
| 他的做法是把小型語言模型壓縮、針對單一任務訓練,直到準確率達 99.9%,並說不需要每件事都用法拉利。 | ▶ 2:29 |
| 他說遇到正在發生的資安入侵時,客戶願意用最新的前沿模型,因為入侵的衝擊可達數十億美元。 | ▶ 3:21 |
| Arvind Krishna 說,頂尖模型每百萬 token 約 20 美元,極端情況 50 美元;開放權重模型如 Kimi K3,自己跑約一週工程調整,可降到 1 到 2 美元,約便宜 40 倍,卻能做約 95% 的工作。 | ▶ 4:28 |
| 他提出三個理由:成本、思考鏈可能洩漏智慧財產、地緣政治;並預測 75% 到 90% 的 token 用量會轉到開放權重模型。 | — |
企業 AI 該一直用最貴的模型,還是開放權重模型?
| 日常防護 | 遭到入侵 |
|---|---|
| 壓縮過的小模型 | 最新前沿模型 |
| 每台每年二十美元 | 代理群全力推理 |
| 準確率練到99.9% | 損失動輒數十億 |
依任務決定要花多少智慧
美元/每百萬 t
| 項目 | 數值 | 補充 |
|---|---|---|
| 最頂級前沿模型 | 50 | 最高價 |
| 前一代前沿模型 | 20 | |
| 自架 Kimi K3 | 1 | 約一到兩美元 |
便宜約四十倍
沒有企業會拒絕這種價差
| 項目 | 說明 |
|---|---|
| 開放權重 | 七成五到九成用量 |
| 成本 | 便宜約四十倍 |
| 智財保護 | 思考過程不外流 |
| 可稽核 | 能解釋每個判斷 |
| 地緣政治 | 沙盒自跑風險低 |
前沿模型只留給少數關鍵場景
Arvind Krishna IBM 執行長 2020 年接任執行長
Nikesh Arora Palo Alto Networks 執行長 前 Google 高階主管
原片 頻道 All-In Podcast
本頁由剪片存檔自動產生