◉ClassyGitshadowzzh

README.zh-TW.md

README.zh-TW.md

第 7 章 · 模型後訓練

預訓練/SFT/RL 三階段:何時選 SFT、何時選 RL,工具呼叫內化、樣本效率

← 返回主目錄 · 📖 讀本章正文

配套專案

專案 型別 一句話說明
AdaptThink 📖 讓推理模型按問題難度自適應選 Thinking/NoThinking,約束最佳化 + 重要性取樣降成本 45–69% 同時提升準確率
retool 📖 多輪對話 + 程式碼沙箱提升數學推理,SFT→RL 兩階段;Qwen2.5-32B + AIME 2024 + DAPO + SandboxFusion
AWorld/ · AWorld-train 📖 基於 AWorld 框架訓練具身 Agent,在虛擬環境中執行任務並從經驗中學習
SFTvsRL/ 📖 系統性對比監督微調與強化學習在不同任務上的效果與適用場景
verl/ 📖 為 LLM RLHF 設計的高效 RL 框架,支援 PPO/GRPO/DAPO 等
Intuitor ✅ 訓練模型的直覺推理,快速做出合理判斷而不依賴詳細思考鏈
MultilingualReasoning ✅ 訓練模型在多語言環境下的推理能力,提升跨語言任務表現
SpatialReasoning 📖 訓練模型的空間推理能力,處理位置、方向、距離等空間關係
SimpleVLA-RL 📖 視覺-語言-動作 RL,讓模型理解視覺輸入並執行相應動作
continued-pretraining ✅ 在特定領域資料上持續預訓練,提升目標領域表現
MiniMind-pretrain 📖 從零預訓練小型 LLM/VLM,理解完整預訓練流程與關鍵技術
sesame ✅ 專注於序列建模任務的訓練和評估方法
orpheus ✅ 訓練模型的音樂生成與理解能力
tinker-cookbook/ 📖 收集各種模型訓練的實用技巧與最佳實踐

專案型別說明

圖示 型別 含義
✅ 可獨立執行 本倉庫自帶完整程式碼,配置好 API Key 即可執行
📖 復現指南 依賴需自行 git clone 的外部倉庫(訓練框架、評測基準等)
🚧 設計文件 僅包含架構與實現方案,可執行程式碼仍在完善中