AI幫你做得更好，你也學會了嗎？從職場實驗看懂技能習得
科楠老師｜圖靈學院｜2026年11月17日
一位同事第一次整理問卷資料。他請生成式 AI 建議分析步驟，順利交出表格與圖表。隔天，另一份問卷有缺漏值，他得獨立解釋哪些資料可以納入計算。昨天的成果與今天的表現，分別回答兩個問題。第一個關於人與工具搭配時能完成多少工作，第二個關於使用者能否在不同情境中運用所學。研究人員把兩者分開測量，才能知道工具介入後改變了什麼。
職場實驗如何測量技能習得？
Wiles 等人在2026年10月26日於《Nature Human Behaviour》發表一項隨機對照實驗，納入487名管理顧問。研究讓介入組取得 ChatGPT 使用權和相關訓練，處理超出原有專長的資料科學任務。這些任務也超出研究中 ChatGPT 能獨立解決的範圍。介入組在三項任務的得分高於對照組。研究另以專業資料科學家作為基準，受助顧問的表現仍有差距。實驗結束後，研究人員請受試者在無工具的條件下回答技術題，結果沒有找到介入組表現較好的證據。
這項比較同時改變了工具使用權與訓練，所估計的是兩者合併的效果。若想知道哪一種訓練能提高獨立分析能力，可以另外安排不同的訓練組，讓各組使用同一套工具，再比較後測。論文也揭露研究使用 BCG 的員工時間與內部資源，部分作者任職或曾任職於 BCG，另有作者任職於 OpenAI。這些資訊交代了實驗如何取得參與者與資源。
當場完成、事後記得、換題會用
假設工作是比較兩間店的退貨率。第一家退了二十件，第二家退了十件。光看退貨件數會認為第一家問題較多，加入各自的銷售件數後，排序可能改變。工具可以在工作進行中提醒你補上分母。事後測驗則可以要求你說明何時該以售出件數計算，何時要以訂單數計算，以及為何兩種口徑會得到不同答案。
再把題目換成客服申訴率，測的就是能否把同一原理用到另一個問題。若練習題與後測都使用相同欄位和相同數字，答對可能只反映記得上一次的操作。改動資料與情境，可以讓評量更貼近實際工作。這是本文設計的例題，與原研究的題目分開。
提示的設計會改變練習經驗
Bastani 等人在2025年6月25日於《PNAS》發表較早的高中數學實驗。他們比較一般聊天式介面、設計成提供教師提示的 AI 家教，以及沒有工具的對照組。兩種 AI 介入都提高練習時的表現。之後的無工具考試中，一般介面組比對照組低，提示式家教組與對照組的差異未達統計顯著。後者的結果表示，該試驗沒有測得明確的正向或負向差異，估計仍有不確定性。
高中數學與顧問的資料科學任務，在參與者、評量方式及工具設計上都有差異。可以比較的是研究問題。兩篇論文都同時觀察使用工具的表現與後續獨立作答。這讓讀者能看出，練習分數提高後，獨立評量是否也有可辨識的改變。要把結果套用到一門課或一項職務，仍需先對照該情境採用的工具、教法與測驗。
怎麼安排能看見理解的練習？
把資料分析拆成幾個可觀察的決定，比只核對最後一張圖更容易看見理解程度。例如先請學員選擇比較基準，再說出理由。遇到卡關時，可以讓工具指出缺少哪個資訊，由學員自己決定計算方法。完成後，請學員用原始資料重算一筆，說明這筆結果如何對應到圖上。老師或同事便能知道，學員在哪一步需要更多練習。
同一套練習也可以用在文字工作。請學員先寫一段自己的說明，再看工具提供的版本，逐句確認哪些修改讓意思更清楚、哪些修改帶入原資料沒有的主張。接著換一個主題，讓學員獨立寫一段。比較兩段文字時，可以看結構、證據和措辭是否進步，並請學員指出他保留了哪種修改方法。這些做法是依研究問題延伸的教學安排，效果需要在各自的情境中驗證。
為後測留出時間
如果教學的目標是隔週也能用到所學，當天交作業和隔週換題重做就應各自留一份紀錄。評量可以問學員如何選擇分析單位、如何發現一個不合理的結果、如何用另一個方法檢查。每項問題都有具體的表現可看，老師也能知道下一堂課要補的是概念、操作還是檢查習慣。
把交付品質與獨立能力放進同一份評量
以工作訓練為例，主管可以先決定哪一項工作本來就允許工具輔助，再選出遇到異常時員工需要獨立判斷的部分。前者可在平常的工具環境評估速度、正確率與修改成本，後者可用同類但內容不同的問題，觀察員工能否指出錯誤來源。兩份紀錄放在一起，能分辨流程改善與人員能力的變化，也能避免用單次測驗替整個職務下結論。
先決定什麼樣的答案算正確
評分也需要一致。例如一份分析得到正確數值，卻用了錯誤的分母，與計算方法正確但四捨五入有差異，應如何給分？如果評分者只看最後的文字是否流暢，就可能漏掉推理與資料處理上的問題。先列出判準，再評閱各組答案，可以讓比較更清楚。
也要交代工具操作是否計入工作時間。有人很快取得初稿，之後花了大量時間查錯。有人先多問幾個問題，最後修改較少。若只記錄初稿產生時間，就無法得知完成可交付成果需要多少時間。這是評量設計的例子，原研究以外的工作流程仍需另外測試。
當團隊改換模型、增加示範或調整練習時數，評量表也應記下這些條件。下一批人若做得更好，團隊才有線索追查變化來自哪裡。若樣本很少，先把觀察寫成待驗證的問題，並保留原始任務和評分規則，下一次比較就能延續。讓成果與能力各有明確的測量方式，使用者才能知道自己在什麼工作上受益，又在哪一步需要繼續練習。
參考資料
1. Wiles, E., Krayer, L., Abbadi, M. et al. Generative AI and the temporary upskilling of knowledge workers. Nature Human Behaviour.
DOI https://doi.org/10.1038/s41562-026-02566-6
2. Bastani, H., Bastani, O., Sungu, A. et al. Generative AI without guardrails can harm learning: Evidence from high school mathematics. PNAS 122(26), e2422633122.
勘誤 https://doi.org/10.1073/pnas.2518204122
DOI https://doi.org/10.1073/pnas.2422633122
