Update modules/treinamento.py

modules/treinamento.py

@@ -1,34 +1,30 @@
-# modules/treinamento.py
-"""
-Sistema de treinamento avançado para Akira IA.
-Focado agora em heurística leve (tom, gírias) para adaptar prompts de APIs (Mistral/Gemini).
-"""
 import threading
 import time
-import logging
-import re
 import json
 import collections
-from typing import Optional, Any, List, Dict, Tuple
+from typing import Optional, List, Tuple
 from dataclasses import dataclass
-from .database import Database  # Importação adicionada para type hints
+from .database import Database
+from loguru import logger
+import torch
+from transformers import AutoTokenizer, AutoModel
+
+# Embeddings
+MODEL_NAME = "GanymedeNil/text-embedding-3-large"
+tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
+model = AutoModel.from_pretrained(MODEL_NAME)
+
+def gerar_embedding(text: str):
+    inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True)
+    with torch.no_grad():
+        outputs = model(**inputs)
+        emb = outputs.last_hidden_state.mean(dim=1)
+    return emb.squeeze().cpu().numpy()
 
-# Usamos loguru no resto do projeto, vamos manter a consistência
-from loguru import logger 
-
-# ================================================================
-# REMOÇÃO DO MODELO NLP PESADO
-# Os embeddings foram removidos para garantir o deploy leve e rápido.
 # ================================================================
-SentenceTransformer = None
-MODEL_NAME = None
-logger.info("Modelo NLP Pesado (Embedding) Desativado. Foco em Heurística.")
-
-# Listas angolanas (MANTIDAS)
-PALAVRAS_POSITIVAS = ['bom', 'ótimo', 'incrível', 'feliz', 'alegre', 'fixe', 'bué', 'top', 'show', 'adoro', 'rsrs', 'kkk']
-PALAVRAS_NEGATIVAS = ['ruim', 'péssimo', 'triste', 'ódio', 'puto', 'merda', 'caralho', 'chateado']
-GIRIAS_ANGOLANAS = ['mano', 'puto', 'cota', 'mwangolé', 'kota', 'oroh', 'bué', 'fixe', 'baza', 'kuduro']
-PALAVRAS_RUDES = ['caralho', 'puto', 'merda', 'fdp', 'vsf', 'burro', 'idiota', 'parvo']
+# Heurística mantida
+PALAVRAS_RUDES = ['caralho','puto','merda','fdp','vsf','burro','idiota','parvo']
+GIRIAS_ANGOLANAS = ['mano','puto','cota','mwangolé','kota','oroh','bué','fixe','baza','kuduro']
 
 @dataclass
 class Interacao:
@@ -40,136 +36,40 @@ class Interacao:
     mensagem_original: str = ""
 
 class Treinamento:
-    """
-    Treinamento contínuo da Akira:
-    - Registra interações
-    - Analisa tom, emoção, gírias (Heurística)
-    - Adapta prompts de APIs (Mistral/Gemini)
-    """
-    def __init__(self, db: Database, contexto: Optional[Any] = None, interval_hours: int = 1):
+    def __init__(self, db: Database, interval_hours: int = 1):
         self.db = db
-        self.contexto = contexto 
         self.interval_hours = interval_hours
         self._thread = None
         self._running = False
-        self._model = None # Mantido como None
-        self.privileged_users = ['244937035662', 'isaac', 'isaac quarenta']
-
-    def _ensure_nlp_model(self):
-        """Função esvaziada. O modelo pesado não é mais necessário."""
-        return
+        self.privileged_users = ['244937035662','isaac','isaac quarenta']
 
-    def registrar_interacao(self, usuario: str, mensagem: str, resposta: str, numero: str = '', is_reply: bool = False, mensagem_original: str = ''):
-        """Salva + aprende na hora"""
-        try:
-            self.db.salvar_mensagem(usuario, mensagem, resposta, numero, is_reply, mensagem_original)
-            self._aprender_em_tempo_real(numero, mensagem, resposta)
-            logger.info(f"Interação aprendida: {numero}")
-        except Exception as e:
-            logger.warning(f'Erro ao registrar: {e}')
+    def registrar_interacao(self, usuario, mensagem, resposta, numero='', is_reply=False, mensagem_original=''):
+        # salva no DB
+        self.db.salvar_mensagem(usuario, mensagem, resposta, numero, is_reply, mensagem_original)
+        self._aprender_em_tempo_real(numero, mensagem, resposta)
 
-    def _aprender_em_tempo_real(self, numero: str, msg: str, resp: str):
-        if not numero or numero == 'unknown':
-            return
+    def _aprender_em_tempo_real(self, numero, msg, resp):
+        if not numero: return
         texto = f"{msg} {resp}".lower()
-        
-        # === ANÁLISE NLP (Embedding REMOVIDO) ===
-        # O código de embedding foi removido aqui.
-        
-        # === ANÁLISE HEURÍSTICA (MANTIDA) ===
+        embedding = gerar_embedding(texto)
+        self.db.salvar_embedding(numero, msg, resp, embedding)
+        # heurística leve
         rude = any(p in texto for p in PALAVRAS_RUDES)
         tom = 'rude' if rude else 'casual'
-        palavras = [p for p in re.findall(r'\b\w{4,}\b', texto)
-                    if p not in {'não', 'que', 'com', 'pra', 'uma', 'ele', 'ela'}]
-        contador = collections.Counter(palavras)
-        top_girias = [w for w, c in contador.most_common(5) if c > 1]
-        
-        # Salvar tom
-        intensidade = 0.9 if rude else 0.6
-        self.db.registrar_tom_usuario(numero, tom, intensidade, texto[:100])
-        
-        # Salvar g��rias
-        for giria in top_girias:
-            significado = "gíria rude" if rude else "gíria local"
-            self.db.salvar_giria_aprendida(numero, giria, significado, texto[:100])
-            
-        # Emoção: Usar o contexto se disponível
-        if self.contexto and hasattr(self.contexto, 'analisar_emocoes_mensagem'):
-            emocao_str = self.contexto.analisar_emocoes_mensagem(msg)
-            analise = {emocao_str: 1.0, "texto_original": msg} 
-            self.db.salvar_aprendizado_detalhado(numero, "emocao_recente", json.dumps(analise))
-        else:
-            logger.debug(f"Contexto não disponível para análise de emoção em tempo real para {numero}.")
+        self.db.registrar_tom_usuario(numero, tom, 0.9 if rude else 0.6, texto[:100])
 
-
-    # ================================================================
-    # HEURÍSTICO PARA MISTRAL (SEM FINE-TUNING PESADO) - MANTIDO
-    # ================================================================
-    def _prepare_prompt_for_mistral(self, interacoes: List[Interacao]) -> str:
-        """Prepara prompt para Mistral baseado em interações"""
-        examples = []
-        for i in interacoes:
-            prompt = f"Usuário: {i.mensagem}\nAkira: {i.resposta}\n"
-            examples.append(prompt)
-        return "\n".join(examples)
-
-    def train_once(self):
-        """Treinamento heurístico para Mistral"""
-        logger.info("Treinamento heurístico iniciado...")
-        self._analisar_usuarios()
-        self._salvar_ultimo_treino()
-        logger.info("Treinamento concluído.")
-
-    def _analisar_usuarios(self):
-        usuarios = set()
-        rows = self.db._execute_with_retry("SELECT DISTINCT numero FROM mensagens WHERE numero IS NOT NULL AND numero != ''")
-        if rows:
-            for r in rows:
-                usuarios.add(r[0])
-        for num in usuarios:
-            msgs = self.db.recuperar_mensagens(num, limite=20)  
-            if len(msgs) < 3: continue
-            tom = self._detectar_tom(msgs, num)
-            self.db.salvar_preferencia_tom(num, tom) 
-
-    def _detectar_tom(self, mensagens: List[Tuple], numero: str) -> str:
-        if numero in self.privileged_users:
-            return 'formal'
-        counter = collections.Counter()
-        for msg, _ in mensagens:
-            msg_l = (msg or '').lower()
-            if any(p in msg_l for p in PALAVRAS_RUDES):
-                counter['rude'] += 1
-            elif any(p in msg_l for p in ['por favor', 'obrigado']):
-                counter['formal'] += 1
-            elif any(p in msg_l for p in GIRIAS_ANGOLANAS):
-                counter['casual'] += 1
-            else:
-                counter['neutro'] += 1
-        return counter.most_common(1)[0][0] if counter else 'neutro'
-
-    def _salvar_ultimo_treino(self):
-        try:
-            self.db.salvar_info_geral('ultimo_treino', str(time.time()))
-        except: pass
-
-    # ================================================================
-    # LOOP DE TREINAMENTO - MANTIDO
-    # ================================================================
+    # Loop periódico
     def _run_loop(self):
-        interval = max(1, self.interval_hours) * 3600
-        logger.info(f"Treinamento heurístico a cada {self.interval_hours}h")
+        interval = max(1,self.interval_hours)*3600
         while self._running:
             try:
                 self.train_once()
             except Exception as e:
                 logger.exception(f"Erro no treinamento: {e}")
             for _ in range(int(interval)):
-                if not self._running:
-                    break
+                if not self._running: break
                 time.sleep(1)
-        logger.info("Treinamento parado.")
-
+    
     def start_periodic_training(self):
         if self._running: return
         self._running = True
@@ -178,5 +78,10 @@ class Treinamento:
 
     def stop(self):
         self._running = False
-        if self._thread:
-            self._thread.join(timeout=5)
+        if self._thread: self._thread.join(timeout=5)
+    
+    def train_once(self):
+        logger.info("Treinamento leve + embeddings iniciado...")
+        # Pode incluir treino de API baseado em histórico
+        # Apenas heurística + embeddings
+        logger.info("Treinamento concluído.")