Google 做 AI 模型時能事先定好目標、能力和評測(eval)。不過 Gemini 產品負責人說,模型沒辦法預測,就像石內卜的魔藥學課,材料放齊了,還是會出現預料之外的「魔法」。所以做 AI 產品的產品經理(PM),工作不再只是決定輸入什麼,還要在模型做出來以後找出它特別厲害的地方、摸清它的 vibes,再做成使用者真的想用的產品。Tulsee Doshi 負責 Google 前沿模型的產品,包括 Gemini,之前帶 Google 負責任 AI 的產品團隊六年。她在 Lenny's Podcast 從 PM 的角度,談大家對模型怎麼做出來有哪些誤解。
原片 Lenny's Podcast
| 重點 | 從哪裡看 |
|---|---|
| 照 Tulsee Doshi 的說法:客戶和內部使用者常以為,模型像傳統產品一樣,目標設好就一定做得到,但模型本身無法預測 | ▶ 1:10 |
| 石內卜魔藥課的比喻:材料都放進去,也想清楚想要什麼結果,還是得預期會出現讓人意外、獨一無二的「魔法」 | ▶ 1:41 |
| PM 不只要決定模型的輸入,還要看模型做出來的結果:它在哪裡特別突出、哪裡獨特到出乎意料,再把這些變成給使用者的好產品 | ▶ 1:58 |
| 訓練過程有很多地方可以預測:研究員一直盯著訓練、判斷什麼時候要介入,也看著各項指標往上升 | ▶ 3:18 |
| 她說 PM 還得摸清模型的 vibes:某項能力變強了,放進產品會怎麼表現、跟它對話的感覺如何、它的行為和個性是什麼 | ▶ 3:35 |
Google 怎麼做出一個新模型?
| 項目 | 說明 |
|---|---|
| 設定目標 | 能力與評測指標 |
| 放進配方 | 資料與訓練 |
| 意外魔法 | 結果無法預測 |
| 找出亮點 | 模型哪裡出色 |
| 做成產品 | 交給使用者 |
Tulsee Doshi Google 前沿模型產品負責人 主導負責任 AI 產品六年
原片 頻道 Lenny's Podcast
本頁由剪片存檔自動產生