Update modules/treinamento.py

modules/treinamento.py

@@ -1,4 +1,3 @@
-# modules/treinamento.py — VERSÃO FINAL OFICIAL: TREINO LEVE, KWARGS CORRIGIDO, LUANDA DOMINA!
 import json
 import os
 import threading
@@ -11,8 +10,20 @@ from torch.utils.data import Dataset
 import torch
 from .database import Database
 
-# CAMINHOS NO HF SPACES
-FINETUNED_PATH = "/home/user/data/finetuned_hermes"
+# CONFIGURAÇÃO DO MODELO PHI-3
+BASE_MODEL = "microsoft/Phi-3-mini-4k-instruct"
+MODEL_ID = "PHI-3 3.8B"
+CHAT_TEMPLATE = (
+    "<|user|>\n"
+    "{user_input}"
+    "<|end|>\n"
+    "<|assistant|>\n"
+    "{assistant_output}"
+    "<|end|>"
+)
+
+# CAMINHOS NO HF SPACES (AJUSTADOS PARA PHI-3)
+FINETUNED_PATH = "/home/user/data/finetuned_phi3"
 DATA_PATH = f"{FINETUNED_PATH}/dataset.jsonl"
 EMBEDDINGS_PATH = f"{FINETUNED_PATH}/embeddings.jsonl"
 LORA_PATH = f"{FINETUNED_PATH}/lora_leve"
@@ -38,7 +49,13 @@ class LeveDataset(Dataset):
 
     def __getitem__(self, idx):
         item = self.data[idx]
-        text = f"<|im_start|>user\n{item['user']}<|im_end|>\n<|im_start|>assistant\n{item['assistant']}<|im_end|>"
+        
+        # AJUSTE DO FORMATO DE CHAT PARA PHI-3
+        text = CHAT_TEMPLATE.format(
+            user_input=item['user'],
+            assistant_output=item['assistant']
+        )
+        
         encoded = TOKENIZER(
             text,
             truncation=True,
@@ -56,7 +73,7 @@ class Treinamento:
         self.db = db
         self.interval_seconds = interval_hours * 3600
         self._carregar_dataset()
-        logger.info(f"TREINAMENTO ULTRA LEVE ATIVO → SÓ TREINA COM >30 KANDANDOS! (Intervalo: {interval_hours}h)")
+        logger.info(f"TREINAMENTO ULTRA LEVE PHI-3 ATIVO → SÓ TREINA COM >30 KANDANDOS! (Intervalo: {interval_hours}h)")
         threading.Thread(target=self._treino_inteligente, daemon=True).start()
 
     def _carregar_dataset(self):
@@ -120,19 +137,21 @@ class Treinamento:
                 logger.info(f"Ainda só {len(_dataset)} kandandos → pulando treino (CPU em paz)")
                 continue
 
-            logger.info("INICIANDO TREINO ULTRA LEVE → LORA ANGOLANO TURBINADO! (15s, CPU <40%)")
+            logger.info(f"INICIANDO TREINO ULTRA LEVE {MODEL_ID} → LORA ANGOLANO TURBINADO! (CPU <40%)")
 
             try:
                 if TOKENIZER is None:
                     TOKENIZER = AutoTokenizer.from_pretrained(
-                        "NousResearch/OpenHermes-2.5-Mistral-7B",
+                        BASE_MODEL,
                         use_fast=True,
                         trust_remote_code=True
                     )
-                    TOKENIZER.pad_token = TOKENIZER.eos_token
-
+                    # Phi-3 já tem pad_token_id definido, mas garantimos
+                    if TOKENIZER.pad_token is None:
+                        TOKENIZER.pad_token = TOKENIZER.eos_token
+                    
                 model = AutoModelForCausalLM.from_pretrained(
-                    "NousResearch/OpenHermes-2.5-Mistral-7B",
+                    BASE_MODEL,
                     load_in_4bit=True,
                     device_map="auto",
                     torch_dtype=torch.float16,
@@ -143,7 +162,8 @@ class Treinamento:
                 lora_config = LoraConfig(
                     r=4,
                     lora_alpha=8,
-                    target_modules=["q_proj", "v_proj"],
+                    # TARGET MODULES CORRIGIDO PARA PHI-3 (qkv_proj)
+                    target_modules=["qkv_proj"], 
                     lora_dropout=0.05,
                     bias="none",
                     task_type="CAUSAL_LM"
@@ -180,7 +200,7 @@ class Treinamento:
                 trainer.train()
                 trainer.save_model(LORA_PATH)
 
-                logger.success("LORA ANGOLANO TREINADO EM ~15s! SOTAQUE DE LUANDA + FORTE!")
+                logger.success(f"LORA ANGOLANO PHI-3 TREINADO! SOTAQUE DE LUANDA + FORTE!")
                 logger.info(f"Novo LoRA salvo em: {LORA_PATH}")
 
                 # LIMPA RAM
@@ -188,6 +208,6 @@ class Treinamento:
                 torch.cuda.empty_cache()
 
             except Exception as e:
-                logger.error(f"ERRO NO TREINO LEVE: {e}")
+                logger.error(f"ERRO NO TREINO LEVE PHI-3: {e}")
                 import traceback
                 logger.error(traceback.format_exc())