此页由繁体中文自动转换
此页由繁体中文自动转换
企业用 AI,真的每件事都要用最贵的顶尖模型吗?IBM 执行长 Arvind Krishna 认为,多数企业的 AI 用量会转向成本低、可自行掌控的开放权重模型(open-weight model),顶尖的闭源前沿模型(frontier model)只留给少数高风险情境。他和 Palo Alto Networks 执行长 Nikesh Arora 在同一场对谈中,各自从成本、智慧财产与资安实务来算这笔帐,这段约六分钟。
原片 All-In Podcast
| 重点 | 从哪里看 |
|---|---|
| Nikesh Arora 说,他们检查每台端点的流量,一年成本约 20 到 25 美元,因为机器学习是在端点本机执行。 | ▶ 1:56 |
| 他说如果把这些流量全交给 OpenAI 用 token 计费,一家公司一年就可能贡献 OpenAI 全部的营收。 | ▶ 2:17 |
| 他的做法是把小型语言模型压缩、针对单一任务训练,直到准确率达 99.9%,并说不需要每件事都用法拉利。 | ▶ 2:29 |
| 他说遇到正在发生的资安入侵时,客户愿意用最新的前沿模型,因为入侵的冲击可达数十亿美元。 | ▶ 3:21 |
| Arvind Krishna 说,顶尖模型每百万 token 约 20 美元,极端情况 50 美元;开放权重模型如 Kimi K3,自己跑约一周工程调整,可降到 1 到 2 美元,约便宜 40 倍,却能做约 95% 的工作。 | ▶ 4:28 |
| 他提出三个理由:成本、思考链可能泄漏智慧财产、地缘政治;并预测 75% 到 90% 的 token 用量会转到开放权重模型。 | — |
企业 AI 该一直用最贵的模型,还是开放权重模型?
| 日常防护 | 遭到入侵 |
|---|---|
| 压缩过的小模型 | 最新前沿模型 |
| 每台每年二十美元 | 代理群全力推理 |
| 准确率练到99.9% | 损失动辄数十亿 |
依任务决定要花多少智慧
美元/每百万 t
| 项目 | 数值 | 补充 |
|---|---|---|
| 最顶级前沿模型 | 50 | 最高价 |
| 前一代前沿模型 | 20 | |
| 自架 Kimi K3 | 1 | 约一到两美元 |
便宜约四十倍
没有企业会拒绝这种价差
| 项目 | 说明 |
|---|---|
| 开放权重 | 七成五到九成用量 |
| 成本 | 便宜约四十倍 |
| 智财保护 | 思考过程不外流 |
| 可稽核 | 能解释每个判断 |
| 地缘政治 | 沙盒自跑风险低 |
前沿模型只留给少数关键场景
Arvind Krishna IBM 执行长 2020 年接任执行长
Nikesh Arora Palo Alto Networks 执行长 前 Google 高阶主管
原片 频道 All-In Podcast
本页由剪片存档自动产生