Update modules/treinamento.py

modules/treinamento.py

@@ -3,18 +3,17 @@ import threading
 import time
 import json
 import os
+import shutil
+import subprocess
 from loguru import logger
 from sentence_transformers import SentenceTransformer
-from peft import LoraConfig, get_peft_model, set_peft_model_state_dict
-from llama_cpp import Llama
+from peft import LoraConfig
 from .database import Database
-from .local_llm import _get_llm  # ← REUSO DO MESMO LLAMA OBJECT
+from .local_llm import _get_llm
 
-# === CONFIGURAÇÕES GLOBAIS ===
 EMBEDDING_MODEL = "paraphrase-multilingual-MiniLM-L12-v2"
 embedding_model = SentenceTransformer(EMBEDDING_MODEL)
-
-FINETUNED_PATH: str = "/home/user/data/finetuned_hermes"
+FINETUNED_PATH = "/home/user/data/finetuned_hermes"
 os.makedirs(FINETUNED_PATH, exist_ok=True)
 
 def gerar_embedding(text: str):
@@ -26,8 +25,6 @@ class Treinamento:
         self.interval_hours = interval_hours
         self._thread = None
         self._running = False
-
-        # REUSO DO LLAMA JÁ CARREGADO
         self.llm = _get_llm()
         if self.llm:
             logger.info("Treinamento conectado ao OpenHermes GGUF GLOBAL (sem reload!)")
@@ -41,7 +38,6 @@ class Treinamento:
     def _aprender_roleplay(self, numero: str, msg: str, resp: str):
         if not numero or not self.llm:
             return
-
         dataset_path = f"{FINETUNED_PATH}/roleplay.jsonl"
         entry = {
             "messages": [
@@ -59,33 +55,21 @@ class Treinamento:
         if not self.llm:
             logger.warning("Modelo não carregado. Pulando finetune.")
             return
-
         dataset_path = f"{FINETUNED_PATH}/roleplay.jsonl"
         if not os.path.exists(dataset_path) or os.path.getsize(dataset_path) < 1000:
             logger.info("Poucos dados. Esperando mais interações...")
             return
-
         logger.info("INICIANDO FINETUNE LORA (ANGOLANO STYLE) COM llama.cpp...")
-
         try:
-            # === CRIA CONFIG LORA ===
             lora_config = LoraConfig(
-                r=32,
-                lora_alpha=64,
+                r=32, lora_alpha=64,
                 target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
-                lora_dropout=0.05,
-                bias="none",
-                task_type="CAUSAL_LM"
+                lora_dropout=0.05, bias="none", task_type="CAUSAL_LM"
             )
-
-            # === APLICA LORA NO LLAMA (cria arquivo temporário) ===
             lora_path = f"{FINETUNED_PATH}/temp_lora"
             os.makedirs(lora_path, exist_ok=True)
-
-            # Salva config
             lora_config.save_pretrained(lora_path)
 
-            # === TREINA COM llama.cpp CLI (mais rápido e estável) ===
             cmd = [
                 "python", "-m", "llama_cpp.convert",
                 "--outfile", f"{lora_path}/adapter_model.bin",
@@ -99,27 +83,19 @@ class Treinamento:
                 "--threads", "4",
                 "--ctx", "4096"
             ]
-
-            import subprocess
             result = subprocess.run(cmd, capture_output=True, text=True)
             if result.returncode == 0:
                 logger.info("FINETUNE LORA CONCLUÍDO COM SUCESSO!")
-                # Move pro lugar certo
-                import shutil
                 if os.path.exists(f"{lora_path}/adapter_model.bin"):
                     shutil.move(f"{lora_path}/adapter_model.bin", f"{FINETUNED_PATH}/adapter_model.bin")
                     shutil.move(f"{lora_path}/adapter_config.json", f"{FINETUNED_PATH}/adapter_config.json")
-                   logger.info("LORA ANGOLANO SALVO EM /home/user/data/finetuned_hermes")
-                # Limpa dataset
+                    logger.info("LORA ANGOLANO SALVO EM /home/user/data/finetuned_hermes")  # ← INDENTAÇÃO CORRIGIDA!
                 open(dataset_path, 'w').close()
                 logger.info("Dataset limpo. Pronto pro próximo ciclo.")
             else:
                 logger.error(f"Erro no treino: {result.stderr}")
-
         except Exception as e:
             logger.error(f"Erro crítico no finetune: {e}")
-            import traceback
-            logger.error(traceback.format_exc())
 
     def _run_loop(self):
         interval = self.interval_hours * 3600
@@ -136,4 +112,4 @@ class Treinamento:
         self._running = True
         self._thread = threading.Thread(target=self._run_loop, daemon=True)
         self._thread.start()
-        logger.info(f"Treinamento periódico iniciado (a cada {self.interval_hours}h)")
+        logger.info(f"Treinamento periódico iniciado (a cada {self.interval_hours}h)")