Update finetune.py

finetune.py

@@ -29,13 +29,18 @@ if torch.cuda.is_available():
 # 3. Dataset
 dataset = load_dataset("lamekemal/brvm_finetune")
 
+bnb_config = BitsAndBytesConfig(
+    load_in_8bit=True,              # ou load_in_4bit=True pour encore moins de VRAM
+    bnb_8bit_use_fp32_cpu_offload=True,  # décharge certains modules sur CPU
+)
+
 # 4. Charger modèle + tokenizer (FP16 natif, pas de quantization)
 model = AutoModelForCausalLM.from_pretrained(
     base_model,
     torch_dtype=torch.float16,
     device_map="auto",
     trust_remote_code=True,
-    load_in_8bit=True,       # 🔹 mode 8-bit
+    quantization_config=bnb_config
 )
 model.config.use_cache = False
 model.gradient_checkpointing_enable()