README.zh-TW.md
README.zh-TW.md
第 7 章 · 模型後訓練
預訓練/SFT/RL 三階段:何時選 SFT、何時選 RL,工具呼叫內化、樣本效率
配套專案
| 專案 | 型別 | 一句話說明 |
|---|---|---|
| AdaptThink | 📖 | 讓推理模型按問題難度自適應選 Thinking/NoThinking,約束最佳化 + 重要性取樣降成本 45–69% 同時提升準確率 |
| retool | 📖 | 多輪對話 + 程式碼沙箱提升數學推理,SFT→RL 兩階段;Qwen2.5-32B + AIME 2024 + DAPO + SandboxFusion |
AWorld/ · AWorld-train |
📖 | 基於 AWorld 框架訓練具身 Agent,在虛擬環境中執行任務並從經驗中學習 |
SFTvsRL/ |
📖 | 系統性對比監督微調與強化學習在不同任務上的效果與適用場景 |
verl/ |
📖 | 為 LLM RLHF 設計的高效 RL 框架,支援 PPO/GRPO/DAPO 等 |
| Intuitor | ✅ | 訓練模型的直覺推理,快速做出合理判斷而不依賴詳細思考鏈 |
| MultilingualReasoning | ✅ | 訓練模型在多語言環境下的推理能力,提升跨語言任務表現 |
| SpatialReasoning | 📖 | 訓練模型的空間推理能力,處理位置、方向、距離等空間關係 |
| SimpleVLA-RL | 📖 | 視覺-語言-動作 RL,讓模型理解視覺輸入並執行相應動作 |
| continued-pretraining | ✅ | 在特定領域資料上持續預訓練,提升目標領域表現 |
| MiniMind-pretrain | 📖 | 從零預訓練小型 LLM/VLM,理解完整預訓練流程與關鍵技術 |
| sesame | ✅ | 專注於序列建模任務的訓練和評估方法 |
| orpheus | ✅ | 訓練模型的音樂生成與理解能力 |
tinker-cookbook/ |
📖 | 收集各種模型訓練的實用技巧與最佳實踐 |
專案型別說明
| 圖示 | 型別 | 含義 |
|---|---|---|
| ✅ | 可獨立執行 | 本倉庫自帶完整程式碼,配置好 API Key 即可執行 |
| 📖 | 復現指南 | 依賴需自行 git clone 的外部倉庫(訓練框架、評測基準等) |
| 🚧 | 設計文件 | 僅包含架構與實現方案,可執行程式碼仍在完善中 |