Fine Tuning Llama Factory 其他

# Llama-Factory - 其他 **页面数:** 1 --- ## 欢迎使用 LLaMA Factory!¶ **URL:** https://llamafactory.readthedocs.io/en/latest/ **内容:** - 欢迎使用 LLaMA Factory!¶ - 文档¶ LLaMA Factory 是一个易于使用且高效的大语言模型训练和微调平台。使用 LLaMA Factory，您无需编写任何代码即可在本地微调数百种预训练模型。框架特性包括： 模型: LLaMA, LLaVA, Mistral, Mixtral-MoE, Qwen, Yi, Gemma, Baichuan, ChatGLM, Phi 等。 训练器: （增量）预训练，（多模态）指令监督微调，奖励模型训练，PPO 训练，DPO 训练，KTO 训练，ORPO 训练等。 计算精度: 16-bit 全参数微调，冻结微调，LoRA 微调，以及基于 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 的 2/3/4/5/6/8-bit QLoRA 微调。 优化算法: GaLore, BAdam, DoRA, LongLoRA, LLaMA Pro, Mixture-of-Depths, LoRA+, LoftQ, 和 PiSSA。 加速算子: FlashAttention-2 和 Unsloth。 推理引擎: Transformers 和 vLLM。 实验监控: LlamaBoard, TensorBoard, Wandb, MLflow, SwanLab 等。 ---