Axolotl
使用 Axolotl 微調大語言模型（LLM）的專業指導 - YAML 配置、100+ 模型支持、LoRA/QLoRA、DPO/KTO/ORPO/GRPO、多模態支持
技能元數據
| 來源 | 捆綁包（默認安裝） |
| 路徑 | skills/mlops/training/axolotl |
| 版本 | 1.0.0 |
| 作者 | Orchestra Research |
| 許可證 | MIT |
| 依賴項 | axolotl, torch, transformers, datasets, peft, accelerate, deepspeed |
| 標籤 | Fine-Tuning, Axolotl, LLM, LoRA, QLoRA, DPO, KTO, ORPO, GRPO, YAML, HuggingFace, DeepSpeed, Multimodal |
參考：完整 SKILL.md
以下是 Hermes 在觸發此技能時加載的完整技能定義。這是技能激活時代理所看到的指令。
Axolotl 技能
提供全面的 Axolotl 開發協助，內容基於官方文檔生成。
何時使用此技能
在以下情況下應觸發此技能：
- 使用 Axolotl 時
- 詢問 Axolotl 功能或 API 時
- 實現 Axolotl 解決方案時
- 調試 Axolotl 代碼時
- 學習 Axolotl 最佳實踐時
快速參考
常見模式
模式 1： 為了驗證訓練任務是否存在可接受的數據傳輸速度，運行 NCCL 測試有助於定位瓶頸，例如：
./build/all_reduce_perf -b 8 -e 128M -f 2 -g 3
模式 2： 在 Axolotl YAML 配置中將模型配置為使用 FSDP。例如：
fsdp_version: 2
fsdp_config:
offload_params: true
state_dict_type: FULL_STATE_DICT
auto_wrap_policy: TRANSFORMER_BASED_WRAP
transformer_layer_cls_to_wrap: LlamaDecoderLayer
reshard_after_forward: true
模式 3： context_parallel_size 應為 GPU 總數的約數。例如：
context_parallel_size
模式 4： 例如：- 使用 8 個 GPU 且無序列並行時：每步處理 8 個不同的批次 - 使用 8 個 GPU 且 context_parallel_size=4 時：每步僅處理 2 個不同的批次（每個批次拆分到 4 個 GPU 上）- 如果每個 GPU 的 micro_batch_size 為 2，則全局批次大小從 16 減少到 4
context_parallel_size=4
模式 5： 在配置中設置 save_compressed: true 可啟用以壓縮格式保存模型，這將：- 減少約 40% 的磁盤空間佔用 - 保持與 vLLM 的兼容性以實現加速推理 - 保持與 llmcompressor 的兼容性以進行進一步優化（例如：量化）
save_compressed: true
模式 6： 注意 無需將集成放置在 integrations 文件夾中。它可以位於任何位置，只要它已安裝在 Python 環境的包中即可。參見此倉庫獲取示例：https://github.com/axolotl-ai-cloud/diff-transformer
integrations
模式 7： 處理單樣本數據和批量數據。- 單樣本：sample['input_ids'] 是一個 list[int] - 批量數據：sample['input_ids'] 是一個 list[list[int]]
utils.trainer.drop_long_seq(sample, sequence_len=2048, min_sequence_len=2)
示例代碼模式
示例 1 (python):
cli.cloud.modal_.ModalCloud(config, app=None)
示例 2 (python):
cli.cloud.modal_.run_cmd(cmd, run_folder, volumes=None)
示例 3 (python):
core.trainers.base.AxolotlTrainer(
*_args,
bench_data_collator=None,
eval_data_collator=None,
dataset_tags=None,
**kwargs,
)
示例 4 (python):
core.trainers.base.AxolotlTrainer.log(logs, start_time=None)
示例 5 (python):
prompt_strategies.input_output.RawInputOutputPrompter()
參考文件
此技能在 references/ 中包含綜合文檔：
- api.md - API 文檔
- dataset-formats.md - 數據集格式文檔
- other.md - 其他文檔
需要詳細信息時，使用 view 命令讀取特定的參考文件。
使用此技能
針對初學者
從 getting_started 或 tutorials 參考文件開始，瞭解基礎概念。
針對特定功能
使用相應的類別參考文件（api、guides 等）獲取詳細信息。
針對代碼示例
上述快速參考部分包含從官方文檔中提取的常見模式。
資源
references/
從官方來源提取的組織化文檔。這些文件包含：
- 詳細解釋
- 帶有語言標註的代碼示例
- 指向原始文檔的鏈接
- 用於快速導航的目錄
scripts/
在此處添加用於常見自動化任務的輔助腳本。
assets/
在此處添加模板、樣板代碼或示例項目。
注意事項
- 此技能是從官方文檔自動生成的
- 參考文件保留了源文檔的結構和示例
- 代碼示例包含語言檢測以實現更好的語法高亮顯示
- 快速參考模式是從文檔中的常見用法示例中提取的
更新
要使用更新的文檔刷新此技能：
- 使用相同的配置重新運行抓取程序
- 技能將使用最新信息重建