LoRA微调

### Hugging Face Transformers中的LoRA实现 使用PEFT库在Hugging Face Transformers中快速应用LoRA： ```python from peft import LoraConfig, get_peft_model from transformers import AutoModelForCausalLM # 加载预训练模型 model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf") # 配置LoRA参数 lora_config = LoraConfig( r=8, # 秩大小 lora_alpha=16, # 缩放因子 target_modules=["q_proj", "v_proj"], # 目标模块 lora_dropout=0.1, # dropout率 bias="none", task_type="CAUSAL_LM" ) # 应用LoRA model = get_peft_model(model, lora_config) model.print_trainable_parameters() # 查看可训练参数 ``` 关键配置说明： - `r=8`：秩大小，控制参数量 - `lora_alpha=16`：缩放因子，影响学习率 - `target_modules`：指定要应用LoRA的模块

### 使用Trainer API进行LoRA训练 ```python from transformers import TrainingArguments, Trainer from peft import LoraConfig, get_peft_model # 配置训练参数 training_args = TrainingArguments( output_dir="./lora-finetuned", per_device_train_batch_size=4, gradient_accumulation_steps=4, learning_rate=2e-4, num_train_epochs=3, logging_steps=10, save_strategy="epoch", fp16=True, # 启用混合精度训练 ) # 创建Trainer trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, data_collator=data_collator, ) # 开始训练 trainer.train() ``` 性能优化技巧： - 梯度累积：在小批量情况下模拟大批量效果 - 混合精度：FP16训练可减少50%显存占用 - 学习率调度：余弦退火或线性预热效果更好

### 4-bit量化 + LoRA 微调 ```python from transformers import BitsAndBytesConfig from peft import LoraConfig, prepare_model_for_kbit_training # 配置4-bit量化 bnb_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.float16, ) # 加载量化模型 model = AutoModelForCausalLM.from_pretrained( "meta-llama/Llama-2-7b-hf", quantization_config=bnb_config, device_map="auto", ) # 准备模型进行k-bit训练 model = prepare_model_for_kbit_training(model) # 应用LoRA lora_config = LoraConfig( r=64, lora_alpha=16, target_modules=["q_proj", "v_proj"], lora_dropout=0.1, bias="none", task_type="CAUSAL_LM" ) model = get_peft_model(model, lora_config) ``` 显存占用对比： - 原始Llama-2-7B：约14GB - 4-bit量化：约6GB - 4-bit + LoRA：约6GB + 可训练参数

### 使用Hugging Face Evaluate进行评估 ```python import evaluate from evaluate import load # 加载评估指标 accuracy = load("accuracy") rouge = load("rouge") # 评估函数 def compute_metrics(eval_pred): predictions, labels = eval_pred predictions = np.argmax(predictions, axis=1) return accuracy.compute(predictions=predictions, references=labels) # 在Trainer中使用 training_args = TrainingArguments( evaluation_strategy="epoch", ... ) trainer = Trainer( model=model, args=training_args, compute_metrics=compute_metrics, ) ``` 多维度评估框架： 1. 任务性能：准确率、F1分数等 2. 推理速度：延迟、吞吐量测试 3. 资源消耗：显存、CPU使用率 4. 泛化能力：跨领域测试

### LLaVA模型的LoRA微调 ```python # LLaVA架构包含视觉编码器和语言模型 # 对语言模型部分应用LoRA lora_config = LoraConfig( r=32, lora_alpha=64, target_modules=["q_proj", "v_proj", "k_proj", "o_proj"], lora_dropout=0.1, bias="none", task_type="CAUSAL_LM" ) # 只对语言模型部分应用LoRA language_model = model.language_model language_model = get_peft_model(language_model, lora_config) # 冻结视觉编码器，只训练LoRA参数 for param in model.vision_tower.parameters(): param.requires_grad = False ``` 训练策略： - 视觉编码器：通常保持冻结 - 语言模型：应用LoRA进行微调 - 投影层：可选择性微调或冻结