Update finetune.py

finetune.py

@@ -95,6 +95,7 @@ lora_config = LoraConfig(
     task_type="CAUSAL_LM",
 )
 model = get_peft_model(model, lora_config)
+model.gradient_checkpointing_enable()
 
 # ============================================
 # 7. TrainingArguments
@@ -118,6 +119,7 @@ training_args = TrainingArguments(
     save_total_limit=2,
     load_best_model_at_end=True,
     metric_for_best_model="eval_loss",
+    use_peft=True,
 )
 
 # ============================================