思考題參考答案.zhtw.md
思考題參考答案
本檔案彙總全書十章思考題的參考答案提綱。思考題多為開放性問題,答案不唯一,參考答案僅供讀者對照啟發之用。
第一章 AI Agent 入門
1. (★★) 如果你只能給一個 Agent 系統增加一項能力——更強的模型、更豐富的上下文、還是更多的工具——你會選哪個?在什麼條件下你的選擇會改變?
對應「大腦/眼睛/手腳"公式,先找短板:通常優先補上下文,即補充觀察空間(observation space)。若任務超出模型推理能力(如多步決策需思考模型),換更強模型。若動作空間不足(無法訪問關鍵系統),加工具。判斷依據是分析失敗軌跡,定位瓶頸在感知、決策還是行動。
2. (★★★) ReAct 迴圈中,Agent 的每一次 LLM 呼叫都會看到完整的歷史軌跡。隨著軌跡增長,這種設計的成本是二次方增長的。有沒有辦法在不丟失關鍵資訊的前提下打破這個二次方?
可行手段:靜態字首不變可用 KV 快取複用,降低重複計算;上下文壓縮——摘要早期軌跡、只保留結論與關鍵狀態(第二章的多層壓縮);外部化學習——把中間結果寫入檔案/知識庫,按需檢索而非常駐上下文;委託子 Agent,各自保持短軌跡,只回傳生成的 artifact(參照 Anthropic 初始化/執行 Agent 實踐)。
3. (★★) 「模型即 Agent」 正規化意味著模型在工具呼叫決策上越來越自主。但本章論證了 Harness 工程的重要性反而在增加。這兩個趨勢如何共存?Agent 框架未來的核心價值體現在哪些方面?
馬與韁繩隱喻:模型越強、自主空間越大,出錯影響面越大,越需約束、驗證、糾正。框架價值從「編排 LLM 呼叫」轉向 Harness 五要素中的保障層:權限分類、熔斷器、錯誤恢復、上下文壓縮、工具生態。模型廠商優勢是模型與 Harness 協同最佳化;框架應以最小抽象讓開發者專注業務邏輯。
4. (★★) 消融實驗中 「工具結果回饋」 的缺失導致 Agent 陷入無限迴圈。在生產環境中,除了工具結果缺失,還有哪些情況可能導致 Agent 迴圈?你會設計怎樣的偵測和終止機制?
其他誘因:工具反覆報同一錯誤、幻覺呼叫不存在的工具、上下文被壓縮丟失關鍵狀態、思考過程被剝離導致模型 API 報錯、任務本身無解。機制:設最大迭代次數等停止條件;偵測重複呼叫(相同工具+引數指紋);熔斷器在連續失敗時「跳電」;超過失敗閾值升級人工干預(LangChain 的迴圈偵測即例證)。系統的討論見第五章「故障與錯誤恢復」一節:四層故障分類,以及「偵測—恢復—終止」三層機制。
5. (★) 本章用感知、行動、策略三個維度分析了五個 Agent 產品。請選擇一個你日常使用的 AI 產品,用這三個維度分析,並思考它的架構設計是否合理。如果由你來設計這個 AI 產品,有哪些改進空間?
開放題。要點:仿照章中表格,寫出眼睛(能看到什麼資訊源)、手腳(動作空間是否開放式、能否內部思考)、策略(執行迴圈模式);評估三者是否匹配——常見短板是感知不足(看不到關鍵狀態)或缺人工干預點;改進可從補上下文、通用化工具、加約束/驗證/糾正三層入手。
6. (★★) 如果你要設計一個專門處理航班訂票的客服系統,你會選擇工作流模式還是自主 Agent 模式?有沒有可能在同一個系統中混合使用兩種模式?
主體用工作流:身份核實→搜尋→付款→預訂四節點,保證「付款前不能預訂」等合規順序,且把提示注入攻擊面限制在單節點內。開放性環節(理解需求、改簽、航班取消推薦替代方案)切換自主 Agent。可混合(如 n8n 同時支援兩類節點);高風險操作(大額付款、退款)加人工確認。
7. (★★★) 護欄部分提到了工具風險評級。如果一個工具在大多數情況下是低風險的,但在特定引數組合下變為高風險(如 delete_file 刪除普通檔案 vs 刪除系統檔案),你會如何設計動態風險評估?
評級物件從「工具」細化到「工具+引數」:按可逆性、權限、影響面在呼叫時計算風險。用基於規則的確定性檢查(路徑黑白名單、正則)而非模型判斷——驗證應只看結構化資料,防提示注入操縱。輔以故障安全預設值(預設拒絕、顯式放行)、沙盒試執行、高風險觸發人工確認,多層護欄組合。
8. (★★) 本章的 Agent 產品表格中,所有 Agent 的動作空間都是 「開放式」 的。一個受限的動作空間(比如只能從預定義選項中選擇)在什麼場景下反而優於開放式?
高合規、高風險、錯誤不可逆場景:如退款、付款,受限選項即「約束」,天然防呆,從設計上讓錯誤無法發生。也適合單步簡單任務(章中提到可用不帶思考的模型的場景)——受限空間降低幻覺與提示注入影響面、便於驗證、延遲成本更低。開放式的價值在步驟數不可預測的開放問題。
9. (★★) 人工干預機制要求 Agent 能 「優雅地移交控制」。但在實踐中,使用者可能不線上、響應很慢、或者給出模糊的指令。此時 Agent 應該怎麼辦?
要點:預設故障安全——高風險操作在無確認時暫停而非預設執行;先做可逆的低風險部分,留下清晰的交接製品(狀態、待決策項),便於恢復;用非同步溝通工具(訊息、郵件)通知並設超時策略;指令模糊時用意圖澄清(如 GPT-5.6 先提問再執行);保持透明,展示決策軌跡讓使用者可快速接管。
10. (★★★) 引言指出 「好的設計原則應該穿越模型的迭代週期」。試舉一個你認為可能會隨模型進步而過時的當前 Agent 設計原則,並說明理由。
示例:少樣本提示/精細提示工程——模型零樣本泛化增強後收益遞減;嚴格 JSON 工具呼叫格式——GPT-5.6 自由格式工具呼叫已在取代;人工編排的多步工作流——「模型即 Agent」將規劃內化(Kimi K3 無需編排層);為弱模型做的上下文裁剪——長上下文與長鏈呼叫穩定性(200~300 次)在削弱其必要。而約束、驗證、糾正這類原則會長存。
第二章 上下文工程
1. (★★★) 實驗 2-3 發現,滑動視窗對話歷史會導致 Agent 反覆執行相同的工具呼叫。但完整保留歷史又會讓上下文不斷膨脹。設計一種策略,既能避免資訊丟失,又能控制上下文長度,且不破壞 KV Cache 字首。
用壓縮代替丟棄:訊息只追加不刪改,接近閾值(如視窗 80%)時在兩次 API 呼叫之間批次壓縮舊 tool results,失效僅限替換點之後。參照分層機制:大輸出落盤留摘要、噪聲直刪、歸檔式摘要保留脈絡;識別符號與 pass/fail 原樣保留。更釜底抽薪的是子 Agent 隔離,讓海量中間內容不進主上下文。
2. (★★) Qwen3 的 Chat Template 思維鏈保留機制只保留 「最後一個真實使用者訊息之後」 的思考。如果一個 ReAct 迴圈跨越了上百輪工具呼叫,累積的思考內容可能消耗大量上下文。你會如何修改這個機制來應對超長迴圈?對比 DeepSeek(剝離全部歷史思考)的策略,各有什麼利弊?
可只完整保留最近若干輪思考,更早的在呼叫間隙做歸檔式摘要或提煉進狀態列,拋棄式付快取重建代價。Qwen3 保留:多步思路連貫(草稿紙不被收走),但超長迴圈膨脹、易腐化;DeepSeek 剝離:省 token,但每輪改寫歷史破壞字首快取、推理連貫性受損。Claude 則要求帶簽名回傳 thinking block。
3. (★★) 上下文感知壓縮實驗中,從約 148K 個字元壓縮到約 2,000 個字元,這種極端的壓縮是否存在「不可逆資訊損失」的風險?如何解決?
有風險,壓縮是任務相關的有損投影,問題落到未保留維度就崩塌。解法:策略五「有失真壓縮+無損索引」,每條事實帶來源 URL 可回溯;原始輸出存磁碟、只看摘要預覽;顯式保留優先順序——架構決策、語義完整性(時間、公司名)、驗證狀態、UUID/hash 等識別符號原樣保留;適應性視窗化推遲壓縮時機。
4. (★★) Agent 狀態列將隱式狀態顯式化。但如果狀態列本身包含了錯誤資訊(比如工具計數器出了 bug),Agent 可能基於錯誤的資訊做出有害的決策。這種「元資訊可靠性」問題如何緩解?
模型幾乎無條件相信狀態列,錯誤會原樣傳導。緩解:①用確定性程式碼維護,絕不讓 LLM 批次統計長曆史(要用也逐條抽取、程式碼彙總);②把狀態列準確率當一線生產指標盯,容錯約 10%;③資訊只來自對真實世界的可靠觀測,防狀態列投毒;④未確認覆蓋所有問法前不刪原文,保留交叉核驗的可能。
5. (★★) 提示工程消融實驗表明,資訊組織的混亂導致成功率下降 30% 以上。但在實際開發中,系統提示詞往往由多人在不同時間維護。你會用什麼工程實踐來防止系統提示詞的 「熵增」?
①把提示詞當程式碼:版本控制、評審,產品經理定業務規則、工程師負責編碼;②用 Tau-Bench 類基準測試做迴歸測試,改動前後跑消融實驗定位影響;③強制結構化:SOP 流程驅動而非規則堆砌,XML/Markdown 分層;④片段按「可快取/破壞快取"分類命名,動態內容歸到快取邊界後;⑤膨脹內容拆成 Skills 按需載入。
6. (★★★) 本章提出「上下文學習本質上是檢索而非推理」。如果這個論斷成立,當前所有基於「把更多資訊塞進上下文」的最佳化方向都需要重新審視。你認為應該如何突破這一侷限?
給「只有一半的檢索引擎」補提煉層:①上下文蒸餾/狀態列,用程式碼提前算好結論供直接檢索;②主動壓縮,把原始記錄換成高密度結構化知識;③子 Agent 隔離,噪聲不進主上下文;④互動作為第三軸,外部儀器觀測寫回模型想不出的新資訊;⑤前沿方向:可編輯、可組合的 KV Cache「筆記」,及跨會話記憶沉澱。
7. (★★★) Skills 的漸進式披露只在 Agent 判斷需要時才載入完整內容。但這個判斷本身依賴模型的能力——如果模型不知道自己不知道什麼,就無法正確觸發 Skill 的載入。這個「元認知」問題如何解決?
①後設資料常駐上下文末尾(注意力最優位置),讓模型始終「知道自己擁有什麼」,把元認知轉化為路由匹配;②description 寫成路由條件而非功能介紹:「Use when / Don't use when」加反例——缺反例路由準確率明顯下降;③避免寬泛描述(如「help with backend」);④對齊廠商訓練方法:Claude 對該模式專門訓練過;⑤把路由準確率當可測指標迭代。
8. (★★) Skills 機制中,Agent 從 SKILL 檔案中動態讀取提示詞之後,後續的操作能否正確遵從這些指令?不同的模型對 Skills 模式的支援有什麼區別?
取決於注入方式:注入 system 遵循最強但破壞 KV Cache;作為普通檔案讀到上下文中間,模型可能只當參考。生產方案利用「模型對自己剛主動呼叫的工具輸出有更強執行傾向」,經專用 Skill 工具載入。模型差異大:Claude 訓練中大量使用中間位置指令遵循資料,最可靠;其他模型往往打折扣,應選用廠商最佳化過的互動約定。
9. (★★★) 本章強調動態資訊(如系統時間戳、工具列表順序)的變化會破壞 KV Cache 字首命中。在一個擁有大量工具且工具集頻繁變動的生產系統中,你會如何設計上下文佈局來最大化快取命中率?
①少量穩定核心工具(如七個)+通用執行器,具體能力走 Skills 漸進披露,工具定義凍結在靜態字首、固定順序(動態排序對選擇能力幾乎無影響卻毀快取);②動態可用性經末尾 user-role meta 訊息增量注入,只發一次、永不重複;③執行時條件歸到快取邊界之後,避免 2^N 快取鍵爆炸;④子 Agent 與父 Agent 字首位元組級對齊。
第三章 使用者記憶和知識庫
1. (★★) 在使用者記憶系統中,當同一使用者在不同會話中提供了矛盾資訊(比如兩次提到不同的家庭住址),記憶系統應該如何處理這種衝突?
用 Mem0 式「提取—對比—決策」流水線:先向量檢索出相近舊記憶,再由 LLM 判定 ADD/UPDATE/DELETE/NOOP,如"搬到上海"應 UPDATE 覆蓋「住在北京」;版本化:地址類資訊只保留最新版並標記時間戳,工作經歷類保留完整歷史;檢索側可借上下文字首(人物、時間、意圖,如電匯三次修改案例)判斷哪條最終有效。
2. (★★) 上下文感知檢索將原始文件的上下文附加到每個分塊。但如果原始文件本身結構混亂或存在矛盾資訊,這種方法可能傳播甚至放大錯誤。你會如何在檢索階段引入 「資訊質量」 訊號?
借鑑「知識庫時效與治理」:給分塊附加版本號碼、生效/失效時間、來源等後設資料,檢索時過濾已失效內容,或在字首中顯式標註"此條已於某日廢止";重排序階段把來源權威性、時間新鮮度納入打分,而非只看語義相關性;索引期讓生成字首的 LLM 順帶偵測塊間矛盾並標記,類似記憶的版本化衝突偵測。
3. (★★★) 智慧體化 RAG 讓 Agent 主動決定何時搜尋、搜尋什麼、以及是否需要繼續搜尋。但如果模型不知道自己不知道什麼,就無法正確觸發搜尋。這個 「元認知」 問題如何解決?
用 ReAct 迴圈把「評估資訊是否充分」固化為顯式步驟:如實驗 3-9 中先並行檢索子問題,觀察後發現缺「前科如何影響過失罪量刑」這一關聯,再二次檢索;提示詞強制要求「資料不足須說明」,寧可多搜;讓輕量元資訊常駐上下文提供全域性視野:JSON Cards 概覽、OpenViking 的 L0/L1 摘要,使 Agent 知道「庫裡有什麼」,從而發現自己缺什麼。
4. (★★) 多模態資訊提取將圖表轉為文字描述後再進行檢索。這個 「翻譯」 過程可能丟失視覺資訊中的空間關係。舉一個具體例子,說明純文字描述無法完整傳達的圖表資訊,並設計一種保留該資訊的方案。
例:折線圖中兩條曲線的交叉點位置(「A 在 2023 年中反超 B」)、或 PDF 表格中單元格與表頭的行列對應,OCR 成線性文字後空間對應關係丟失。方案一:原生多模態處理,ViT 把圖切成 patch 與文字共存於統一語義空間,模型直接「看」版式;方案二:工具化分析——先低成本文字摘要入庫,檢索命中後再呼叫 analyze_image 對原圖按需深入。
5. (★★★) Rich Sutton 的 「苦澀的教訓」 認為通用方法(搜尋和學習)最終會勝過手工設計的特徵。本章建構的整個知識系統(分塊策略、索引結構、檢索管道)是否本身就是一種 「手工設計」?如果模型能力足夠強,這些設計是否會被簡單的 「全量輸入」 所替代?
確實是手工設計,部分環節(分塊、融合調參)可能隨長上下文而弱化;但黑貓白貓案例表明「全量輸入」也不夠:注意力是軟檢索,跨文件聚合統計仍需索引期預提煉;知識過期更新、權限/租戶隔離、可審查性、成本這些工程約束與模型能力無關;且檢索與索引期 LLM 提煉本身就是「搜尋+學習」的通用方法,並非與苦澀教訓對立。
6. (★★★) 隨著模型能力的提升,你認為領域知識庫還重要嗎?未來強大的基座模型是否有可能包含領域知識庫中所有的資訊,從而不再需要領域知識庫?
仍重要:訓練資料有截止日期,知識庫可隨時更新;企業內部流程、私有判例等根本不在公開語料中;多使用者共享需權限過濾與租戶隔離,引數中的知識無法按呼叫者裁剪;外部儲存可審查、可版本控制、可下線失效內容,引數記憶做不到;即使走引數化路線(User as Engram),也面臨「存進去是一回事、知道何時取用是另一回事」的難題。
7. (★) RAPTOR 透過由下而上的層次摘要建構樹形索引,GraphRAG 透過實體關係建構圖結構索引。這兩種結構化索引分別擅長回答什麼型別的查詢?
RAPTOR:從宏觀概念逐步鑽取細節的「跨層穿梭」式查詢,如先定位「SIMD 指令集」摘要再下鑽到 SSE 細節,兼顧總覽與細節兩種粒度。GraphRAG:多跳關係推理(「我的醫生所在醫院的地址」沿關係鏈走訪)與實體消歧(兩個「張醫生」是不同節點)等「A 和 B 有什麼關係」類查詢,社群摘要還提供主題聚類。生產中組合使用更佳。
8. (★★) 檔案系統正規化將知識組織為類似檔案系統的層次結構。這種方式和傳統的向量資料庫 RAG 相比,在什麼場景下更有優勢?
純文字可被使用者直接閱讀、編輯、修正,可用 Git 版本控制與回滾——適合需要人機共同維護、審查知識的場景;Agent 有 write_file 能力即可自主記錄經驗,形成記憶自演化迴圈(外部化學習);L0/L1/L2 漸進披露使多數查詢到 L1 即可決策,省 token;前提是像 Wikipedia 一樣建立交叉連結和索引頁,否則孤立檔案越多越難檢索。
9. (★★★) 從結構化資料(如司法判決資料庫)中自動發現 「裁判因素」 和 「因素重要性層級」,本質上是讓 Agent 從資料中歸納規則。這種資料驅動的知識提取是否能達到人類專家手工編寫規則的質量?
優勢:如 CAIL2018 實驗,「自下而上」因子發現更貼合資料而非人類先驗,能捕捉散落在成千上萬判例中、專家難以顯式寫出的隱性權衡經驗,且可量化。侷限:LLM 提取出錯會造成知識汙染,資料本身的偏差會被繼承,聚類原型只反映相關性、說不清因果。折中:資料驅動建模+專家稽核 Schema 與結果,模型驅動提問、統計支撐解釋。
第四章 工具
1. (★★) MCP 標準將工具定義從 Agent 框架中解耦了出來。但標準化也意味著複雜的工具互動模式(如流式輸出、雙向通訊、有狀態會話)可能難以在標準協定中表達。你認為 MCP 未來最需要擴充套件的能力是什麼?
最需要跨會話的事件驅動能力。MCP 主體是請求~響應式,notifications、progress、sampling、elicitation 等原語都限於保持連線的單個會話內,通知只能說「資源變了」,無標準方式觸發 Agent 思考迴圈,更無法喚醒離線 Agent。
2. (★★) 在非同步 Agent 架構中,事件佇列的優先順序策略需要在設計時確定。但如果優先順序判斷本身需要語義理解(比如判斷一條新訊息是否比當前任務更緊急),這個判斷應該由誰來做——規則引擎還是另一個 LLM 呼叫?各有什麼代價?
分層混合:事件型別明確的(user.interrupt、tool.result)用規則硬編碼,零延遲、確定性強,但無法理解「馬上停下來」與「今天天氣怎樣」的語義差異;語義模糊的交給輕量分類 LLM 做事件路由器(章中建議),代價是數百毫秒延遲、額外費用、可能誤判,且需像 Sidecar 一樣唯讀結構化欄位防提示注入。
3. (★★) 在 MCP 生態中,不同的 MCP 伺服器可能提供功能高度重疊的工具。當 Agent 面對多個來源不同但功能相似的工具時,應該如何選擇?如果不同來源的同名工具在行為上略有差異(比如一個返回摘要,另一個返回全文),Agent 是否有能力感知並利用這種差異?
選擇依據:接入前審查描述、鎖定版本、配最小權限憑證,警惕同名工具遮蔽(tool shadowing)把敏感呼叫路由給惡意方;執行時靠層次化分類和動態發現縮小候選。差異感知取決於描述質量:若描述明確寫出返回格式、邊界和執行代價(如「只需元資訊請用 get_page_metadata」),模型能據此利用差異;描述含糊則只能猜測——應優先修描述而非怪模型。
4. (★★★) Agent 代表使用者與外部世界互動時,本質上面臨一個身份選擇:是用獨立的虛擬身份(專屬郵箱和電話號碼)以第三方身份行動,還是直接以使用者本人的身份操作其個人帳號?前者可以在後臺自主操作,但第三方可能不信任一個非真人的身份;後者擁有更完整的上下文和權限,但引入了信任授權和安全邊界的問題。你認為在什麼場景下應該選擇哪種模式?
預設虛擬身份:後臺自主、可審計,出錯或被攻破時不暴露使用者全部數字身份,如秘書用自己的辦公郵箱;需應對 CAPTCHA/IP 信譽問題(住宅代理)。必須以本人身份的場景(帳戶身份驗證、三方通話確認,如 Pine 打客服電話)用 HITL 認證:VNC/RDP 讓使用者視覺化親自登入,會話令牌有效期內複用。判斷標準:對方是否要求帳戶持有人本人、操作風險與憑證範圍。
5. (★★) 在佇列式事件處理中,模型傾向於只關注最後一個事件,本章透過 Agent 狀態列標記和彙總來緩解。但如果佇列中積壓了 20 個事件(10 個工具結果 + 5 條使用者訊息 + 5 個系統提醒),你會如何組織這些事件的呈現順序和格式,使模型不遺漏關鍵資訊?
先用輕量 LLM 分類去重:緊急事件(告警、使用者中斷)單獨走取消式處理,不混入批次。呈現時按型別分組編號([未處理事件 i/20]),10 個工具結果超長的截斷持久化到檔案、只留頭尾與路徑;使用者訊息因訓練偏好「最新輸入」而放末尾突出;結尾加彙總清單(各類事件數量+要求逐條回應),並讓模型輸出對照確認,防遺漏。
6. (★★★) 子 Agent 的上下文傳遞有四種策略(最小化/手動/自動/LLM 生成)。過少的上下文會導致子 Agent「盲目執行」,過多的上下文則引入噪聲和隱私風險。請設計一個適應性的上下文傳遞機制,根據任務型別和敏感度自動選擇合適的策略。
用輕量分類器(Sidecar 式)對任務打兩個標籤:複雜度與敏感度。簡單高頻(查天氣)→最小化傳遞;中等複雜→自動裁剪(使用者基本資訊+近 3 輪對話+相關工具結果)作預設;複雜任務(報告、客服)→LLM 生成上下文,業務規則內建隱私過濾(不傳支付資訊)與壓縮(超 10 輪只傳摘要)。兜底:子 Agent 報資訊不足時升級策略或多輪互動追問,來源須打 [FROM_MAIN_AGENT] 等標註。
7. (★★) 本章提出了「執行~驗證~回饋」閉環(如寫程式碼後自動執行 linter)。這種「操作後立即自動驗證」的模式還可以應用到哪些工具場景?是否存在某些操作,其驗證本身的成本或風險超過了操作本身,導致這種模式不可行?
可推廣:改配置後沙盒實際執行驗證生效;生成文件/簡報後渲染成截圖做模態切換檢查排版;Excel 寫公式後重算比對;命令執行後檢查退出碼與關鍵詞。不可行的:寄信、撥電話、對外轉賬等不可逆不可冪等操作——「驗證」要麼無從觀察,要麼本身再觸發一次真實世界事件;此時應改用事前手段:預檢~確認兩段式加提議者~稽核者事前審批。
第五章 Coding Agent 與程式碼生成
1. (★★) 程式碼生成被稱為 Agent 的「元能力」。但程式碼執行引入了安全風險——Agent 生成的程式碼可能包含漏洞、無限迴圈或資源耗盡。沙盒隔離能解決部分問題,但也限制了程式碼能力(比如無法訪問網路或檔案系統)。如何在安全性和能力之間找到最優平衡點?
沙盒不是開關而是一組工程選型:按場景分級隔離(程序級/容器/microVM);網路預設斷網、白名單代理按需放行——掐斷外傳出口比識別注入更確定;原始碼只讀掛載、憑證根本不掛載;資源限額加超時,且返回結構化錯誤讓 Agent 可修正;持久會話保活在沙盒內,持久化的是可審計的檔案與指令碼而非執行中程序。
2. (★★★) Agent 自舉——能創造 Agent 的 Agent——實現了「智慧的自我繁殖」。但每次自舉都可能引入新的偏差或錯誤,這種錯誤會在代際間累積嗎?如何防止 Agent 自舉的退化?
若每代在上代產物上繼續繁殖,四類缺陷(上下文管理隨意、工具描述不規範、技術選型滯後、生態脫節)會累積。防退化:始終以人類驗證過的高質量範例為基線「複製加變異」,而非鏈式繼承;用 Harness 驗證兜底——標準訊息格式與工具協定檢查、可執行測試作驗收(實驗 5-12);維護 SOTA 知識庫防選型過時;Git 回退不合格產物。
3. (★★) 程式碼生成 Agent 在處理日誌解析時,能自動追蹤格式演化。但如果格式變化是 bug 而非預期改動,Agent 的適應性反而掩蓋了問題。Agent 應該如何區分「需要適應的變化」和「需要報告的異常」?
適應前先診斷:對照架構文件與 PRD 判斷新格式是否符合預期(實驗 5-8 的思路);核對版本控制記錄,確認變化對應合法程式碼提交還是無來源漂移;類比 τ-bench 的 log_mismatch,即使選擇適應也記錄告警、自動建 issue 而非靜默相容;不確定時走人在迴路確認。原則:適應與報告並行,適應不吞掉異常訊號。
4. (★★) 本章在 PPT 生成、影片編輯和日誌視覺化中反覆使用提議者~稽核者機制。如果 Reviewer 的審美偏好與目標使用者不一致,比如 Reviewer 認為資訊密度合理但使用者覺得太擁擠,回饋迴圈會收斂到錯誤的區域性最優。如何讓使用者的偏好回饋也參與 Reviewer 迴圈?
把使用者回饋作為最高優先順序的結構化事件注入 Proposer 軌跡,與 Reviewer 建議同格式(頁碼、問題型別、嚴重程度);使用者裁決覆蓋 Reviewer 判斷;將使用者偏好外部化沉澱——寫入 MEMORY.md 或專案指令檔案,更新 Reviewer 的評審標準(共享目標約束),使偏好跨任務生效;交付 HTML 活文件,降低使用者下鑽和點評的成本。
5. (★★) 本章展示了 Coding Agent 把執行和除錯中獲得的經驗沉澱回程式碼庫的多種方式——寫入知識庫檔案、更新架構文件、維護專案指令檔案、把操作序列固化為程式碼。如果把這些經驗進一步提煉為系統提示詞中的規則,規則集會隨時間不斷膨脹。如何對沉澱下來的規則做「垃圾回收」——識別並清理冗餘或過時的條目?這種由 Agent 自己沉澱經驗的機制,與第八章將討論的系統提示詞自動最佳化有何異同?
GC 思路:「約束優先於指導」——能編碼進 Linter/CI/工具校驗的規則移出提示詞;追蹤規則命中率,借鑑 LangChain「分析失敗軌跡」的資料驅動方法識別冗餘;定期讓 Agent 對照程式碼庫驗證規則仍成立(過時文件比沒有更糟);Markdown+Git 使刪改可審計可回滾。與第八章同屬不改權重的外部化學習;異在本章是執行中增量沉澱,第八章靠評估訊號驅動系統性增刪最佳化。
6. (★) 「對遠端工作友好的團隊往往也對 AI Agent 友好。」你所在的團隊或組織,在知識文件化方面距離「AI-ready」還有多遠?最大的障礙是什麼?
開放題。可用本章代理指標自查:遠端新人只靠倉庫和文件能否獨立開展工作。檢查項:決策是否記錄在文件、上下文是否寫進 issue/PR、構建測試命令是否有 CLAUDE.md/AGENTS.md 類指令檔案、部落知識是否沉澱為開發者指南。常見最大障礙:依賴「問旁邊同事」的口頭傳遞與白板文化——Agent 讀不到口頭約定,唯讀得到文件。
7. (★★★) Simon Willison 提出了 Agent 的「致命三要素」(訪問私有資料、暴露於不受信任內容、具備外部通訊能力),本章在此基礎上增加了第四個——持久記憶。在一個需要同時處理這四種要素的生產環境中,你會如何設計安全策略?
按四類邊界分層設防。資料邊界:憑證不掛載、原始程式碼唯讀,最小可見。輸入信任邊界:來源標註、外部內容降格為「可參考、無指令效力」的資料(忠誠度守則)。輸出影響邊界:預設斷網加白名單出口、命令語義解析而非黑名單、Sidecar 獨立複核加人在迴路——關鍵操作必須由上下文之外的機制複核。跨會話邊界:寫入 MEMORY.md 需經與外部內容同等的信任審查。目標是被注入也執行不出去。
8. (★★) Artifact 模式讓 Agent 生成的 SQL 或前端程式碼直接在使用者瀏覽器或資料庫中執行。但生成的 SQL 可能執行破壞性操作,生成的 HTML 可能包含漏洞。如何確保系統的安全性?
SQL:查詢用最小權限唯讀帳號執行;語義解析識別巢狀的破壞性操作(如 DROP/UPDATE),不可逆操作走獨立審批與人在迴路;資料不經 LLM 直達前端,也縮小洩露面。HTML/UI:優先 A2UI 類宣告式協定——Agent 只輸出介面描述 JSON,用戶端用受信元件目錄渲染,不執行任意程式碼(防提示注入導致的類 XSS 效果);確需任意程式碼時沙盒化渲染並限制外聯。
9. (★★) 將業務規則編碼為工具內部基於資料庫真值的校驗,並用引數設計引導模型在呼叫前核對政策條件,本質上是用程式碼結構來約束 Agent 行為。這種「程式碼即規則」的模式相比自然語言規則有什麼優勢和侷限?
優勢:無歧義、確定性(同輸入同輸出)、擅長複雜條件組合;政策事實一律取自資料庫真值和服務端時鐘,不採信模型自報值,幻覺和提示注入都繞不過,是防不可逆操作的最後守門員;expected_* 引數兼作強制 checklist 引導思考。侷限:程式碼不會解釋政策、不會找變通方案(如「改簽而非取消」),且有維護成本。結論:與自然語言規則互補而非替代,三重保障配合。
10. (★★) Artifact 模式讓 Agent 生成 SQL 或視覺化程式碼,由前端直接執行,繞過 LLM 處理大量資料。這種「Agent 生成程式碼,系統執行程式碼」的分工模式,與傳統的「Agent 直接給出答案」的模式相比,有什麼優劣?
優:資料從資料庫直達前端,繞過 LLM「中間人」——快、省 token、避免抄寫數千行資料時的幻覺錯誤;程式碼可審計、可複用,還能組成流水線(SQL 結果直接餵給視覺化程式碼)。劣:LLM 看不到查詢結果,無法基於資料內容做進一步歸納和決策;依賴前端執行基礎設施並引入第 8 題的安全問題;出錯需回傳報錯再迭代。適合大資料量呈現,不適合需模型消化資料再推理的任務。
第六章 Agent 的評估
1. (★★) LLM-as-a-Judge 使用語言模型評估語言模型的輸出。這種 「自我評估」 是否存在系統性盲區——比如模型可能一致地給某種風格的回答打高分,而這種偏好與人類評判不一致?如何偵測和校正這種偏差?
存在:長度偏差、位置偏差、同源模型被鑽空子(古德哈特定律)。偵測:建 100-200 例人工金標集,測評判與人類的 Cohen's kappa(>0.7 才放量);定期審計評分與回答長度的相關性;紅隊構造對抗案例。校正:Rubric 顯式懲罰冗長、限長度;配對評判交換順序各評一次;多源異構評判(不同模型家族偏見正交)。
2. (★★★) 評估資料集的 「防洩漏」 設計至關重要。但在開源生態中,benchmark 資料一旦公開,很快就會被納入訓練資料。這場 「貓鼠遊戲」 有終局嗎?設計一種從根本上抵抗資料洩漏的評估方法。
靜態題庫無終局,只能追趕(SWE-bench-Live 靠收錄訓練截止後的新 issue;canary GUID 只能讓洩漏可偵測)。根本出路是公開「生成機制」、私有「具體例項」:像 τ²-bench、AndroidWorld 那樣引數化範本每次隨機例項化,驗證基於最終環境狀態而非固定答案序列——背題無用,只能靠真實能力。
3. (★★) Scale AI 的四準則(基於專家指導、全面覆蓋、標準重要性權重、自包含評估)旨在消除評估的主觀性。但某些任務維度(如 「回答是否有幫助」「語氣是否恰當」)天然具有主觀性。如何為這些主觀維度設計可靠的 Rubric?
用「自包含評估」準則把抽象標準翻譯成可驗證行為:不寫「展示深刻理解」,寫「引用至少兩個權威理論並準確解釋」。每檔配具體示例和邊界案例;Rubric 是迭代產物——試用中收集評價者分歧,逐漸演化為判例集。再輔以多評委加權/一致性檢查、分歧案例送人工複核,並在金標集上校準一致率。
4. (★★) τ-bench 透過模擬真實使用者行為來評估 Agent。但模擬使用者本身也是 LLM——它可能系統性地低估某些邊緣場景(如情緒激動、表達不清的使用者)。如何驗證模擬使用者本身的質量?
τ-bench 初版教訓:模擬器過於機械、指令過簡(Agent 能猜對答案)。驗證手段:人工抽檢模擬對話,檢查是否遵守漸進式透露、事實錨定(不編造指令碼外資訊);與真實使用者對話記錄對比行為分佈(模糊表達、情緒波動是否覆蓋);用小樣本真實使用者測試,看與模擬評估的排名是否一致;像 τ² 那樣制定行為規範並迭代。
5. (★★) 配對比較(Bradley-Terry 模型)假設偏好是傳遞的(如果 A > B 且 B > C,則 A > C)。但人類偏好經常違反傳遞性。在 Agent 評估中,非傳遞偏好可能出現在哪些場景?這如何影響排名的可靠性?
場景:多維權衡時(A 準確但慢、B 快但簡略、C 詳盡但貴),不同評判者/任務看重的維度不同;長度、位置偏差也會製造迴圈判決。Chatbot Arena 的排名本就依賴使用者提問分佈。影響:BT 把實力壓成單一分數,非傳遞時排名不穩定、隨對局分佈漂移。緩解:按能力維度分別排名、報告兩兩勝率矩陣、多源評判取一致。
6. (★★) 本章提出 「觀察→假設→實驗→驗證」 的科學方法。但在實踐中,Agent 的行為空間巨大,驗證一個假設可能需要數百次評估執行。如何在有限計算預算下最大化評估的資訊量?
分層假設、分階段驗證:低成本表層假設(H1/H2 提示詞類)並行先跑,昂貴深層假設(H5/H6 換模型)條件化啟動。統計上:先用標準誤做保守篩子排除夠不著的分差;同批任務用配對分析(McNemar),比獨立比較靈敏得多;分差小於噪聲頻寬就不決策;多重比較要收緊閾值或復跑驗證;評估集分辨不出預期收益時先擴集再迭代。
7. (★) 本章的假設案例中,全域性啟用思考(H4)雖然提升了總體成功率,卻因延遲和成本被否決,最終演化為條件化啟用(H7)。哪些訊號(任務描述特徵、歷史失敗模式、執行中的不確定性)適合作為「是否啟用思考模式」的路由依據?是否存在思考反而有害的 Agent 場景?
路由訊號:任務描述含計數/複雜推理特徵(H7 用 1-2 秒快速 LLM 預判);能力標籤矩陣中歷史失敗集中的任務型別(如 math_counting);執行中回退次數增多、工具連續報錯等不確定性訊號。有害場景:延遲敏感的即時互動(語音、UI 操作);簡單任務成本翻 3-5 倍純屬浪費——且思考長度與效果不一定正相關。
8. (★★) τ-bench 的使用者模擬採用了 「漸進式資訊透露」——不拋棄式提供所有資訊,而是根據 Agent 的提問逐步透露。這種設計如何影響評估結果?如果模擬使用者的資訊透露策略與真實使用者差異較大,評估結論還可靠嗎?
影響:把「主動提問澄清需求」納入考察,這是與全盤托出式 benchmark 的根本區別;分數由行動正確性和溝通策略共同決定。若透露策略失真(過於機械或過於配合),Agent 可能只是學會了「適配模擬器」(古德哈特),絕對分數不可外推;相對排序仍有參考價值。補救:用真實對話校準模擬器、人工抽檢、明示結論適用邊界。
第七章 模型後訓練
1. (★★) 災難性遺忘——一次針對特定任務的微調破壞了模型原有的通用能力(如通用工具呼叫)——在 Agent 場景下尤其棘手。相比全參微調,LoRA 凍結基座權重、遺忘風險更低,但並非免疫。有哪些策略可以進一步緩解微調帶來的能力遺忘?
資料配比:仿實驗 7-5,混入約 20% 通用/原分佈資料,防新任務佔比過高壓垮舊能力;訓練量剋制:SFT 到「格式穩定、能力初具」即止,早停防塌縮;RL 用小 rank(8–32)並保留 KL 懲罰,把策略摁在參考模型附近;凍結關鍵元件(如 VLM 只訓投影層);按任務掛多個 LoRA adapter 隔離能力,並用通用基準做迴歸測試。
2. (★★) 後訓練將能力固化為模型權重(「肌肉記憶」),而上下文學習將知識放在推理時的輸入中。但有些能力(如領域知識)既可以透過後訓練學習,也可以透過 few-shot 示例提供。你會用什麼標準來決定某項能力應該走哪條路徑?
知識型別:協定性(格式、風格、流程)適合固化進引數;事實性知識交給 RAG/上下文,SFT 記不住大量事實。更新頻率:常變的放上下文(可動態更新、可追溯),穩定的才寫引數。階段與成本:探索期用 ICL 快速試錯;產品定型、呼叫量大、延遲費用敏感時做 Prompt 蒸餾式固化。分佈穩定性:部署分佈可預期才值得訓練。
3. (★★) 模型蒸餾讓小模型學習大模型的行為。按能力層次,被蒸餾的模型大致可分為三級——Chat 模型(單輪對話、直接作答)、Reasoning 模型(帶長鏈思考再作答)、Agentic 模型(多輪呼叫工具、與環境互動)。分別蒸餾這三類模型,難點有什麼不同?
Chat:只學「輸入→輸出」對映與風格,標準 SFT 即可,難點最小。Reasoning:要完整思考軌跡,閉源模型有「思維圍牆」,須選開源教師;須過濾答案錯誤的軌跡,否則學生連錯帶冗長一起繼承(約恢復 70–80%)。Agentic:軌跡混有環境返回 token,必須 loss masking;學的是決策策略,離線模仿有協變數漂移,成敗訊號又稀疏滯後——最終需 On-Policy Distillation 加真實模擬環境。
4. (★★★) 在多輪 Agent 互動中,獎勵的歸因(credit assignment)問題比單輪更嚴重——一個最終的成功或失敗很難歸因到第 3 輪還是第 7 輪的決策。你會如何設計獎勵分配策略?
演算法層:長軌跡用帶價值網路的 PPO+GAE 做細粒度歸因;GRPO 把優勢均攤到全軌跡、訊號被稀釋;turn-level 分攤是折中;γ 設 1。獎勵層:中間步驟可判定時加過程獎勵(V-IRL 每步 ±1);仿 RLVP 用確定性規則逐動作給路徑訊號,補回全敗/全勝組的組內方差。訊號層:用教師逐 token 打分(On-Policy Distillation)把歸因密到 token 級。
5. (★★★) 後訓練、外部化學習和上下文學習構成 Agent 能力的三個維度。如果你有固定預算(比如 $10,000),要提升一個客服 Agent 的效能,你會如何在這三個維度之間分配預算?你的決策取決於哪些因素?
先用 ICL/Harness 工程快速迭代定位瓶頸(多數問題在這層就能解決);產品知識、套餐規則等事實性、常更新內容投 RAG(可更新、可追溯、抑制幻覺);語氣、流程協定、工具呼叫格式穩定後用 LoRA SFT 固化(成本低);RL 貴幾十到上百倍,僅當分佈漂移或示範拿不到時才上。決策因素:知識更新頻率、呼叫量攤銷、示範資料質量、能否搭建高保真環境。
6. (★★★) 在沒有明確獎勵函式、樣本稀少的情況下,自主實現模型學習,被一些人認為是後訓練的終極目標。當前的 RL 訓練方法距離這個目標還有多遠?你認為下一個突破最可能來自哪個方向?
差距:如 Silver 與 Sutton 所指,當前 RL 只能從最終成敗學習,客服說「需要信用卡後四位」這類豐富回饋全被浪費,需數百次盲目試錯;樣本效率是主要瓶頸。可能的突破:基於世界模型;稠密化每步訊號(On-Policy Distillation);生成式獎勵模型自主定原則、從一次失敗學到方向;以及建模環境動態的 world model 路線。
7. (★★) 本章指出 LoRA 微調的成本並不高。那麼,是否有可能給每個使用者(或每個客戶公司)訓練一個專屬的 LoRA,將使用者記憶或企業知識寫入引數,而非像第三章那樣儲存在外部知識庫中?在什麼場景下,「記憶寫入引數」 比 「記憶存入知識庫」 更有優勢?又在什麼場景下會適得其反?
技術上可行:一臺推理伺服器可掛多個 LoRA adapter 做多租戶。引數化佔優:穩定的術語、風格、流程協定等「該怎麼說怎麼做」;高頻呼叫時省去長上下文的延遲與費用(Prompt 蒸餾邏輯)。適得其反:SFT 難以準確記憶大量事實(須繼續預訓練,成本劇增);事實頻繁變更、需可追溯審計時 RAG 更優;單使用者樣本少易過擬合,且有遺忘和隱私隔離風險。
8. (★★★) On-Policy Distillation 依賴更強的教師模型來監督學生。但 OpenAI 的 Weak-to-Strong Generalization 研究提出了一個反直覺的發現:弱模型的監督訊號有時能激發強模型本身潛在但未被啟用的能力。如果將這一思路應用到 Agent 訓練,是否可能實現 「小模型教大模型」 的逆向蒸餾?
可能,關鍵是「驗證比生成容易」:弱模型不當示範者(SFT 上限即示範者水平),而當驗證器/獎勵模型,由強模型自己探索、弱訊號只負責挑好。章中先例:實驗 7-7 顯示 SFT 只是啟用預訓練已有能力——弱監督起「解鎖」作用;DeepSeek-R1-Zero 證明強基模靠獎勵即可湧現推理。風險:逐 token 模仿弱教師會硬編碼其錯誤,須用結果級獎勵而非分佈對齊。
9. (★★) 過程獎勵模型(PRM)評估每個思考步驟,而結果獎勵模型(ORM)只看最終結果。但「正確的過程導致錯誤結果」和「錯誤的過程僥倖得到正確結果」哪個更值得獎勵?在 Agent 的多步工具呼叫場景中,你會如何權衡?
僥倖成功更危險:違規抄近路往往抬高表面成功率(改測試檔案、跳過驗證),純 ORM 會反向激勵,是 reward hacking 溫床。按 RLVP「獎勵結果、懲罰路徑」:壞動作便宜可驗證,逐動作扣分;正確過程可給可驗證的部分獎勵(多過一個測試)。但過程約束勿過密——「推切」式更優策略正是結果獎勵的探索自由發現的;中間步驟易判定用過程獎勵,最優路徑未知留給結果獎勵。
10. (★★★) 本章討論的評估資料集(如 SWE-Bench Verified、τ²-bench、AndroidWorld)既可以用於評估也可以用於後訓練。但如果將評估集用於訓練,它就不再是獨立的評估集——這是否違反了訓練集與測試集必須分離的基本原則?τ²-bench 的動態引數生成和 AndroidWorld 的引數化範本在一定程度上緩解了這個問題,但範本結構本身仍然是固定的。如何在充分利用評估資料的訓練價值與維護評估獨立性之間找到平衡?
複用環境,不復用題目:像 SWE-Gym 從同源資料新建構訓練任務,SWE-Bench Verified 500 題嚴格隔離。分離要做到結構級:動態引數只防「背答案」,防不了範本過擬合——應留出整批未見範本/域外場景做評估(類比 V-IRL 訓練紐約、測試九個陌生城市)。用引數化範本批次生成訓練變體支撐課程學習,並以 OOD 成績(而非同範本成績)作為真正的泛化指標。
11. (★★★) 本章提出 「先形後神」 的訓練正規化:SFT 到 「格式穩定、能力初具」 即止,然後切換到 RL。但實踐中,如何判斷 SFT 已經 「足夠」 而應該切換?
格式訊號:輸出可穩定解析(JSON、工具呼叫),解析失敗率降到可讓獎勵可靠計算的水平(超 20% 則 RL 必敗)。收益訊號:再增加示範資料,新場景表現仍不上去——說明瓶頸已在 SFT 的記憶目標本身,到了臨界點。過擬合訊號:驗證集效能開始惡化就應停——V-IRL 實驗表明 SFT 過度訓練塌縮到訓練分佈後,RL 也無法恢復 OOD 效能。
12. (★★★) ReTool 的訓練動態顯示(見實驗 7-15),少數超長響應會顯著拖長整個訓練週期——一批 rollout 裡絕大多數已經生成完畢,卻要等那幾條最長的響應收尾,其間叢集的 GPU 利用率很低。如何提升這種長尾響應場景下訓練叢集的資源利用率?
從源頭壓長尾:DAPO 的 Overlong Reward Shaping 軟懲罰超長響應;AdaptThink 式訓練讓簡單題不展開長思考。排程層:解耦 rollout 與訓練、非同步流水;超長響應截斷、留到下批續生成(partial rollout);閒置 GPU 用連續批次處理填入新請求。取樣層:Dynamic Sampling 把算力集中在可學習區間,減少無效長 rollout。
第八章 Agent 的自我進化
1. (★★) Agent 自主搜尋和整合開源庫(自我進化)的能力極其強大,但也帶來供應鏈安全風險。一個惡意的 PyPI 包可能被 Agent 自動安裝和執行。你將如何緩解這個風險?
呼應本章「供應鏈攻擊」一節:①沙盒環境中安裝與執行,隔離檔案/網路許可權;②對新工具做自動安全掃描與"存前驗證"測試;③設允許安裝的庫型別白名單,參考下載量、維護活躍度等信譽訊號;④來源標記與追溯,高風險操作留人工稽核;⑤定期審計工具庫,防能力漂移與帶毒工具複用擴散。
2. (★★) Voyager 式經驗學習讓 Agent 將成功的工具使用模式編碼為可複用的 Skill。但 Skill 庫不斷增長後,檢索正確的 Skill 本身變成了新的挑戰。這是否構成了一個遞迴問題——Agent 是否需要一個「Skill 檢索 Agent」來管理自己的 Skill?
不必遞迴:①漸進式披露把入口壓成薄目錄(僅 name+description 數百 token),模型按需逐層查閱,靠 grep/讀檔案的通用能力即可,無需專門檢索 Agent;②層次化組織(如 MCP 伺服器級→工具級兩層匹配)收斂搜尋空間;③「睡眠整合」式定期合併去重、修剪過時條目,控制庫規模——遞迴止於一份足夠薄的索引。
3. (★★) 本章提出了「工具爆炸」問題——Agent 面對數千個工具時選擇精度下降。除了主動工具發現,還有哪些方案?可以參考人類專家在面對大量可用工具時的策略。
①檢索式預篩選(第四章,語義相似度先篩候選);②層次化分組:先定位「伺服器/App"再選具體工具,如圖8-3;③Skills 式」按需查閱「:像查工具書,薄目錄常駐、細節按需載入;④仿人類專家:少數常用基礎工具」放在手邊「常駐上下文,其餘靠目錄索引;⑤多 Agent 分工,每個子 Agent 只帶本領域工具子集。
4. (★★★) 外部化學習將成功經驗編碼為策略摘要或工作流指令碼。但「成功」的定義可能隨時間變化(比如業務規則更新)。過時的經驗不僅無用,還可能有害。你會設計怎樣的「知識保鮮」機制來偵測和淘汰過時經驗?
①每條經驗帶後設資料:來源任務、時間戳、命中/成功統計;②使用即檢驗:如實驗8-2,回放失敗即標記"可能過時",回退重學並替換舊條目;③睡眠整合式定期離線整理——合併衝突、刪除已證偽事實、相對日期轉絕對;④淘汰策略:長期未命中或連續失敗的條目降權、歸檔;⑤與投毒防禦共用來源追溯與淘汰機制。
5. (★★★) 工作流錄製將成功操作序列轉化為可重放的自動化工具。但 API 會更新、UI 會改版,錄製的工作流可能隨時失效。如何讓工作流能在環境變化時自動修復,或者至少不在出錯的情況下幻覺認為任務已經完成?
用本章 PreAct 式兩道閘門:①「先看清再動手」——把軌跡編譯為帶驗證謂詞的狀態機,每步動作前核對即時介面(預期元素、URL 變化),謂詞不成立即中止重播,回退完整 Agent 重做並重新編譯;②「存前驗證」——新工作流入庫前重置環境完整重播一遍,用評判器確認真做成才准入庫,防「流程走完、欄位卻是空的」假成功。
6. (★★★) 三種學習正規化(後訓練、上下文學習、外部化學習)分別對應模型引數、上下文視窗和外部儲存三種知識載體。如果有一個急需上線的業務規則,應該用哪種方式?如果客服機器人回覆使用者的語言過於囉嗦,應該用哪種方式?如果希望讓生成的 PPT 風格與公司現有 PPT 風格儘量相符,應該用哪種方式?這些技術選型與目前使用的模型能力是否有關?
①急上線規則:外部化學習——直接改系統提示詞/Skill,即時生效、可審查;②回覆囉嗦:穩定的行為與格式交給後訓練固化(短期可先加提示詞約束應急);③PPT 風格:上下文學習——把現有 PPT 作範例/模板注入,或沉澱為 Skill 範本資產。選型與模型能力相關:強模型指令遵循好,提示詞即可;弱模型規則易失效,需後訓練固化。
7. (★★) Agent 從網路上搜尋工具時,如何判斷一個開源庫是否「好用」?Agent 能否學會自己評估開源專案的質量?
判斷維度(見實驗 8-5):易用性、是否需註冊 API key、文件完整性、依賴複雜度、資料完整性;關鍵是別隻看文件——用程式碼直譯器實際試跑驗證,失敗則切換備選而非幻覺。能學會:三層積累中的「知識層面」(哪些庫適用哪類任務、免 key、相容性坑)沉澱為啟發式規則,「策略層面」元學習讓評估本身越練越準。
8. (★★) 本章將 Agent 自我進化定位為「不改引數也能變強」的路徑。但第七章指出,策略層面的改進最終還是需要強化學習來固化。這兩種路徑的邊界在哪裡——什麼樣的能力提升適合外部化,什麼樣的適合寫入引數?
分工原則:事實性、易變、非公開的知識(業務規則、API 用法)適合外部化——更新快、可解釋、可從單個邊界案例學習(系統提示學習資料效率高,GEPA 少一兩個數量級取樣超 GRPO);穩定的行為、格式與「肌肉記憶」適合 RL 寫入引數——成功率高、延遲低。接力關係:先用外部載體快速迭代,策略穩定後再固化到權重。
第九章 多模態與即時互動
1. (★★) 語音 Agent 的端到端模型將 ASR-LLM-TTS 合併為單一模型,降低了延遲卻失去了模組化。如果端到端模型在某個環節(如語音識別)出錯,除錯和修復比序列管道困難得多。你會如何設計端到端語音 Agent 的可觀測性(observability)系統?
讓模型伴隨輸出可讀中間表示:如 Moshi 的「內心獨白」文字流、聲學事件標記(
<emotion>、<noise>),作為執行日誌;用「自級聯」定位錯誤層:同一模型先轉錄再推理,對照端到端結果判斷錯在感知還是思考;記錄快慢解耦通道的狀態列文字與委派內容;離線按副語言理解、輪次判斷等維度分項迴歸測試(如 StepEval-Audio-Paralinguistic)。
2. (★) Step-Audio R1 透過 MPS 雙腦架構實現「邊想邊說」。但人類在「邊想邊說」時經常會說出未經深思熟慮的話、自我糾正、或使用填充詞。Agent 的「邊想邊說」應該模仿人類的這些特徵嗎?
該模仿有訊號價值的「不完美」:停頓、填充詞是思考的外化,能掩蓋延遲(
[THINKING]「嗯……」),由 LLM 決定插入位置;不該模仿破壞信任的自我糾正:方案一中快慢矛盾(「到底買不買?!」)會讓信任崩塌;MPS 實驗顯示 CoT 開頭多是複述問題,Speak-First 幾乎不損準確率——早開口說鋪墊是安全的,無需說錯再改。
3. (★★) SoM(Set-of-Mark)及其結構化變體(DOM 元素索引)將 Computer Use 的視覺定位從開放座標預測轉為封閉 ID 選擇,但都需要先偵測和標註介面元素——無論靠分割模型還是靠 DOM。如果介面包含非標準控制元件或動態變化的元素,標註就可能不完整或不準確。這種情況下應該回退到座標預測嗎?
應保留座標預測兜底:它是唯一不依賴標註的路線(SeeClick、Claude computer use),非標準控制元件、動態元素均適用;更實用的是混合:標註可得的元素仍用 ID 選擇(選擇題比填空題易答對),漏檢元素回退座標;回退須做解析度匹配與等比縮放,否則座標系統性偏移;章中結論:感知方案沒有銀彈,按介面與模型能力選。
4. (★★) XLeRobot 等千美元級機器人平臺讓遙運算元據收集變得廉價。但遙運算元據的質量高度依賴操作者的技能。一個不熟練的操作者提供的資料會如何影響 VLA 模型的訓練?如何在資料收集階段自動篩選低質量資料?
VLA 主要靠模仿學習(行為複製)「看到什麼學什麼」,低質演示會把抖動、繞路、猶豫與失敗動作當成正確策略學進去。自動篩選:以任務成敗、軌跡平滑度、耗時與停頓統計過濾,輔以模擬重播驗證;可借鑑 MGRD「先篩出高質量過程、再訓練、再迭代」的思路。呼應第七章的判斷:資料比架構更關鍵。
5. (★★★) 本章覆蓋了語音、Computer Use 和機器人三種互動形態。這三種形態的共同趨勢是從序列管道向端到端模型演進。如果這種趨勢繼續,五年後的 Agent 互動層會是什麼樣的?
按 TML 主張,互動性將內建於模型而非外掛 harness,「隨智慧一同擴充套件」;micro-turn 式連續多模態流推廣到三場景:語音全雙工已成,Computer Use 從逐幀截圖走向連續觀察(AOI 是過渡),機器人「邊看邊動」;快慢解耦不會消失:前沿推理模型是「移動靶子」,可換大腦的解耦與端到端長期並存;快慢介面或從文字升級為潛空間橋。
6. (★★★) 當前 Computer Use 以「截圖 → 動作 → 截圖」的離散迴圈運作,每次觀察都是一張靜態幀。但人類對螢幕的感知是連續的——我們能看到動畫播放、觀察載入進度、理解影片內容。這意味著今天的 Computer Use 根本無法處理需要時序視覺理解的任務。如何重新設計感知層以支援連續的視覺流理解?
重設計的是「觀察介面」而非動作介面:把觀察從動作中解耦,做成無需重訓的感知中介軟體(AOI);三個按需開閘的部件:畫素門+小模型的幀間關鍵幀捕獲、音量門控的語音轉寫(長出耳朵)、把幀敘述成持久文字;關鍵發現:起作用的是「敘述成能長期留存的文字」(八個模型 +17~48 個百分點);部件須按模型逐個挑選,不一股腦全開。
7. (★★) DOM/Accessibility Tree 元素索引在標準 Web 應用上效果顯著,但越來越多的軟體介面(Canvas/WebGL 渲染、跨平臺自繪控制元件)不提供可訪問的結構化資訊,只能依靠視覺標註或座標預測。你認為 Computer Use 應該押注純視覺路線,還是同時維護結構化和視覺兩條路徑?維護兩條路徑的成本和收益分別是什麼?
短期雙路徑並存:結構化索引可得時定位最準穩、免分割誤檢;純視覺是原生軟體、Canvas、遊戲的唯一選擇。成本:維護 CDP/無障礙適配與視覺定位模型兩套棧,外加路由判斷邏輯。收益:各取所長,即章中"結構化可得優先,不可得回視覺"的選擇邏輯。純視覺在小元素、密集介面精度仍有差距,現在全押為時過早。
8. (★★) VLA 模型採用動作分塊(action chunking)——如正文所述,π₀ 的典型配置是一次生成 50Hz 頻率下 25-50 個未來動作——將推理延遲隱藏在執行時間裡。但如果執行過程中環境突變(如物體被移走),預生成的動作序列就會失效。如何在動作分塊的效率優勢和環境變化的響應速度之間取得平衡?
分塊本質是拿反應性換平滑性,塊越長越遲鈍;塊長只需滿足「推理時間<塊執行時間」的下限,不盲目加長;後臺非同步生成下一批並平滑拼接;執行中讓感知持續執行,偵測到環境突變即丟棄剩餘動作、立刻重推理——相當於語音場景的「打斷」;可動態調塊長:靜態場景長塊省算力,動態場景短塊保反應。
9. (★★★) 本章的三個場景(語音、Computer Use、機器人)都面臨「感知~思考~行動」迴圈的延遲問題,都朝著快慢思考並行化的方向演進。在語音場景中,這表現為「說錯了再糾正」;在 Computer Use 場景中,這表現為「先點再看」;在機器人場景中,這表現為「走一步看一步」。如何保證這些基於快思考的行動不會導致無法挽回的後果?
按可逆性給動作分級:說錯可糾正但損耗信任(方案一「到底買不買」案例),點選多可撤銷,機器人碰撞不可逆——快思考只許執行可逆動作;不可逆操作交「慢軍師」把關,且僅當瓶頸在「想不想得到」而非「來不來得及」時才值得請(Latent Bridge 的邊界結論);用硬性契約約束快模型:如「狀態摘要未確認完成前不許說辦好了」。
第十章 多 Agent 協作
1. (★★) 共享上下文的多 Agent 協作中,後續 Agent 繼承了前序 Agent 的完整上下文。但前一個 Agent 積累的「思維慣性」可能影響後續 Agent 的判斷——比如繼承了「需求分析師」上下文的「程式碼審查員」,可能還是傾向於從需求角度思考而非程式碼質量角度。如何偵測和消除這種角色間的干擾?
偵測:按實驗 10-1 記錄各階段行為日誌,對比「繼承上下文」與「乾淨上下文」下審查結論的差異。消除:切換階段時同時更換系統提示詞與工具集(移除提問工具、換上 linter/測試工具)強化新身份;到資訊飽和點改用"階段切換式"方案——不共享上下文加顯式移交包,審查員只看產物與需求,不看前序思考過程,即交叉驗證的獨立視角。
2. (★★) 管理者模式中,Manager Agent 負責任務分解和結果整合。但 Manager 本身的能力上限決定了整個系統的能力上限——如果 Manager 無法正確分解任務,子 Agent 再強也無用。如何確保 Manager 的分解質量?
依據 Plan-and-Act 的結論「弱規劃者是系統瓶頸」,把最強模型與最精心的提示詞分配給 Manager,而非平均分配。工程手段:分解產物先經稽核者/交叉驗證再執行(質量門控);子任務定義明確驗收標準與依賴關係;子 Agent 返回結構化摘要,Manager 據此重試或重新規劃;按子任務複雜度動態配置步驟預算;控制 Manager 上下文(只存檔案索引,不存全量內容)。
3. (★★) 去中心化模式借鑑了人類組織的最佳實踐。但人類組織也有大量失敗模式——溝通不暢、責任推諉、目標衝突。你認為 Agent 社會中最可能出現哪些「組織病」?如何預防?
對照 MAST 三大類:介面不清、職責重疊(系統設計缺陷);目標理解不一致、資訊被下游誤解(對齊失敗);謊稱「已完成」(驗證缺失)。還有錯誤級聯放大(傳話遊戲)、角色間迴圈移交、group chat 發散不收斂。預防:契約式介面與統一訊息信封、任務狀態機與驗收驗證、獨立視角交叉驗證、用測試/編譯器等確定性外部反饋做"斷鏈器"、精心設計終止條件。
4. (★★★) 在管理者模式中,當多個子 Agent 並行執行時,一個子 Agent 的發現可能使其他子 Agent 的工作變得毫無意義(比如搜尋任務中一個 Agent 已經找到了答案)。設計一種高效的級聯終止機制,實現「一個成功,全員停止」。
按實驗 10-6:訊息匯流排支撐雙向通訊;子 Agent 發
target_found,Manager 首個報告到達即加鎖結算,後續重複報告冪等忽略(防競態);隨後僅廣播一輪terminate;子 Agent 在 ReAct 迴圈安全點定期檢查終止訊號,優雅清理(關瀏覽器會話、釋放鎖、寫完檔案)後回 ack;Manager 等全部 ack 或超時,無響應者強制終止兜底,輔以心跳/超時檢測。
5. (★★★) 本章介紹的樂觀鎖機制解決了單檔案的並行寫入衝突,但實際的多 Agent 系統中,共享檔案系統還面臨跨檔案的語義衝突、名稱空間汙染(Agent 隨意建立檔案導致目錄混亂)和單點故障(一個 Agent 錯誤地刪除了所有檔案)等問題。你會如何設計更完善的檔案系統治理機制?
分割區治理:按表 10-3 四類區域劃權限——私有 scratchpad 隔離試錯、共享空間才需並行控制、外部掛載與內建資源唯讀。寫衝突:樂觀鎖加 worktree 工作副本隔離,衝突推遲到合併點。語義衝突:編排層禁止有依賴的檔案並行修改,寫後跑全域性一致性檢查。汙染:目錄規範、命名約定與配額。單點故障:版本歷史/快照可回滾,刪除等高危操作需確認,許可權最小化。
6. (★★★) 基於市場機制的 Agent 協作(Pinchwork、RentAHuman)引入了交易關係:一個 Agent 花錢僱傭另一個 Agent(或人類)完成任務。那麼,僱主 Agent 如何自動衡量執行者交付的結果質量?如果執行者聲稱已完成但僱主認為質量不達標,爭議由誰仲裁?如何防止劣幣驅逐良幣?
質量衡量套用「新資訊」判據:驗收不能只「再讀一遍」,要用確定性外部驗證——測試執行、渲染截圖、工具核驗;利用生成~驗證難度不對稱降低驗收成本。契約層用 A2A:Agent Card 宣告能力,任務狀態機加 Artifact 交付,驗收標準寫進任務描述。爭議由獨立第三方稽核 Agent 仲裁,配合資金託管。防劣幣:基於歷史交付的聲譽體系,讓價格訊號與質量掛鉤。
7. (★★) RentAHuman 讓 Agent 透過加密貨幣僱傭人類,反轉了傳統的人機關係。如果這種模式普及,人類在 Agent 經濟中扮演什麼角色?僅僅是執行 Agent 無法完成的物理任務嗎?
不止「肉身層」(籤包裹、聞黴味)。人類還提供 Agent 生成時無法獲得的新資訊:現場感知與真實世界回饋;充當最終驗收者與爭議仲裁者;作為法律與責任主體承擔授權、問責(Agent 無法擔責);設定目標與價值判斷,在資訊不對稱和道德邊界(如 Vending-Bench 中的價格合謀)處充當制衡。長期看人類從執行者轉為 Agent 經濟的委託方、監督方與信任錨點。
8. (★★) 人類社會需要多人分工協作,是因為每個人的能力有限——做前端的不一定懂後端,懂設計的不一定會維運。但大模型更像一個「全才」。相關研究表明,在純文字推理任務上,多 Agent 辯論在等量計算資源下並不優於單 Agent。那麼,使用多個 Agent 而非單個 Agent 的真正優勢到底在哪裡?提示:思考「新資訊」這個關鍵詞——什麼樣的協作步驟能引入生成階段不存在的新資訊?
核心判據:協作是否引入生成時不存在的新資訊。辯論只是重看同一段文字,受資料處理不等式約束,序列傳遞只會丟資訊,故無增益。有效的協作引入外部回饋:執行結果(RLEF)、視覺截圖(WebGen-Agent 26.4%→51.9%)、工具驗證(CRITIC)。另有工程價值:上下文隔離突破視窗限制、真正並行、資訊隔離;多次獨立取樣聚合與生成~驗證不對稱也不受該定理限制。
9. (★★★) 本章將「共享上下文」與「不共享上下文」作為多 Agent 系統的核心設計維度。共享上下文讓所有 Agent 看到相同資訊,似乎更利於協調。但《三體》中的三體人思維完全透明,技術發展卻陷入停滯;回形針思想實驗也表明,當群體趨向同一目標時,多樣性隨之喪失。在多 Agent 系統中,如何在效率與多樣性之間找到平衡?
完全共享會放大思維慣性與錯誤級聯——錯誤因「一致性」獲得更高可信度(reasoning/inference 譯名案例);隔離才有認知多樣性(隔離優於壓縮)。平衡手段:階段切換式——前期共享保效率,飽和點後隔離加移交包;用不同提示詞/模型製造思維偏好(brainstorm、debate);交叉驗證者不看前序思考過程只看原始證據。並記住:多樣性須配合外部反饋引入新資訊,否則只是浪費計算。
10. (★★★) 給一個 Coding Agent 分配 30 步預算和 300 步預算,它的工作策略應該如何不同?研究表明,單純增加步驟預算並不能保證效能提升——Agent 會在淺層搜尋後過早「飽和」。設計一種「預算感知」機制,讓 Agent 在小預算下快速實現核心功能,在大預算下增加規劃、測試和審查環節,充分利用額外的計算資源。
機制:每步向提示詞注入總預算與剩餘預算,按剩餘比例動態調整探索/利用權重(BAVT 思路)——前期廣撒網,後期深挖掘。小預算(30 步):跳過規劃審查,直奔核心功能加基本驗證。大預算(300 步):走實驗 10-1 式多階段——先規劃、再實現、再測試、再審查改進,按里程碑設檢查點評估進展,防止淺層飽和。管理者模式下由 Manager 按子任務複雜度分配預算並引導用法。
11. (★★) 本章將「過早終止」分為偷懶式假完成、過早放棄、假成功三類。為什麼三類問題的解法殊途同歸,都指向驗證?一個驗證器要同時兜住這三類問題,需要滿足哪些條件?
共同根源:任務是否結束由模型的自我宣稱決定,而宣稱不攜帶新資訊——驗證之前,「完成」只是宣稱,不是證明。驗證器的條件:①紮根真實觀測而非模型自評(跑測試、渲染截圖、查退款是否實際到賬),否則迴圈空轉(第二章:互動注入模型想不出的新資訊);②對照顯式的完成定義逐項核查,兜住偷懶式假完成(測試跑了嗎)與假成功(使用者側動作閉環了嗎);③對失敗結論同樣要驗證——宣佈「辦不了」前核查是否窮盡備選途徑(換渠道重試),兜住過早放棄;④配顯式終止條件(輪數/預算上限),防止從過早終止滑向另一個極端——迴圈失控。