Grayson ViewsGrayson Views
AppAI
繁中简中
隱私條款
登入
  1. AppAI
  2. ›網站
  3. ›Grayson Views
  4. ›做 AI 模型像石內卜的魔藥課,材料放齊還是會冒出意外|Gemini 產品負責人 Tulsee Doshi【AI原聲帶】
隱私權政策服務條款
AppAI

做 AI 模型像石內卜的魔藥課,材料放齊還是會冒出意外|Gemini 產品負責人 Tulsee Doshi【AI原聲帶】

看影片
在 YouTube 觀看

重點時刻

  1. 0:00設好目標,模型卻不照劇本走
  2. 1:10照 Tulsee Doshi 的說法:客戶和內部使用者常以為,模型像傳統產品一樣,目標設好就一定做得到,但模型本身無法預測
  3. 1:41石內卜魔藥課的比喻:材料都放進去,也想清楚想要什麼結果,還是得預期會出現讓人意外、獨一無二的「魔法」
  4. 1:58PM 不只要決定模型的輸入,還要看模型做出來的結果:它在哪裡特別突出、哪裡獨特到出乎意料,再把這些變成給使用者的好產品
  5. 3:18訓練過程有很多地方可以預測:研究員一直盯著訓練、判斷什麼時候要介入,也看著各項指標往上升
  6. 3:35她說 PM 還得摸清模型的 vibes:某項能力變強了,放進產品會怎麼表現、跟它對話的感覺如何、它的行為和個性是什麼

Google 做 AI 模型時能事先定好目標、能力和評測(eval)。不過 Gemini 產品負責人說,模型沒辦法預測,就像石內卜的魔藥學課,材料放齊了,還是會出現預料之外的「魔法」。所以做 AI 產品的產品經理(PM),工作不再只是決定輸入什麼,還要在模型做出來以後找出它特別厲害的地方、摸清它的 vibes,再做成使用者真的想用的產品。Tulsee Doshi 負責 Google 前沿模型的產品,包括 Gemini,之前帶 Google 負責任 AI 的產品團隊六年。她在 Lenny's Podcast 從 PM 的角度,談大家對模型怎麼做出來有哪些誤解。

看完整影片

原片 Lenny's Podcast

重點速覽

重點從哪裡看
照 Tulsee Doshi 的說法:客戶和內部使用者常以為,模型像傳統產品一樣,目標設好就一定做得到,但模型本身無法預測▶ 1:10
石內卜魔藥課的比喻:材料都放進去,也想清楚想要什麼結果,還是得預期會出現讓人意外、獨一無二的「魔法」▶ 1:41
PM 不只要決定模型的輸入,還要看模型做出來的結果:它在哪裡特別突出、哪裡獨特到出乎意料,再把這些變成給使用者的好產品▶ 1:58
訓練過程有很多地方可以預測:研究員一直盯著訓練、判斷什麼時候要介入,也看著各項指標往上升▶ 3:18
她說 PM 還得摸清模型的 vibes:某項能力變強了,放進產品會怎麼表現、跟它對話的感覺如何、它的行為和個性是什麼▶ 3:35

▶ 0:00 設好目標,模型卻不照劇本走

Google 怎麼做出一個新模型?

  • 照 Tulsee Doshi 的說法:客戶和內部使用者常以為,模型像傳統產品一樣,目標設好就一定做得到,但模型本身無法預測 ▶ 1:10
  • 石內卜魔藥課的比喻:材料都放進去,也想清楚想要什麼結果,還是得預期會出現讓人意外、獨一無二的「魔法」 ▶ 1:41
  • PM 不只要決定模型的輸入,還要看模型做出來的結果:它在哪裡特別突出、哪裡獨特到出乎意料,再把這些變成給使用者的好產品 ▶ 1:58
  • 訓練過程有很多地方可以預測:研究員一直盯著訓練、判斷什麼時候要介入,也看著各項指標往上升 ▶ 3:18
  • 她說 PM 還得摸清模型的 vibes:某項能力變強了,放進產品會怎麼表現、跟它對話的感覺如何、它的行為和個性是什麼 ▶ 3:35

模型結果難預測,PM 要從產出找亮點

項目說明
設定目標能力與評測指標
放進配方資料與訓練
意外魔法結果無法預測
找出亮點模型哪裡出色
做成產品交給使用者

來賓

Tulsee Doshi Google 前沿模型產品負責人 主導負責任 AI 產品六年

原片 頻道 Lenny's Podcast

本頁由剪片存檔自動產生

訂閱電子報