app.py

import streamlit as st
from transformers import pipeline
import pandas as pd

modelos_opcao =[
    "Narrativa/mbart-large-50-finetuned-opus-en-pt-translation",
    # "unicamp-dl/translation-en-pt-t5" # desempenho inferior ao MBART (porém, mais rápido)
]


# Carrega o modelo
def carregar_modelo_e_tokenizador_mbart(modelo):
    # https://huggingface.co/Narrativa/mbart-large-50-finetuned-opus-en-pt-translation
    from transformers import MBart50TokenizerFast, MBartForConditionalGeneration    

    st.write(f'Carregando modelo {modelo}')
    tokenizer = MBart50TokenizerFast.from_pretrained(modelo)
    model = MBartForConditionalGeneration.from_pretrained(modelo).to("cuda")

    tokenizer.src_lang = 'en_XX'
    return model, tokenizer

# TODO:batch?
def traduzir_en_pt(text):
    inputs = tokenizer(text, return_tensors='pt')
    input_ids = inputs.input_ids.to('cuda')
    attention_mask = inputs.attention_mask.to('cuda')
    output = model.generate(input_ids, attention_mask=attention_mask, forced_bos_token_id=tokenizer.lang_code_to_id['pt_XX'])
    return tokenizer.decode(output[0], skip_special_tokens=True)


###################
#### interface ####
###################

# Cabeçalho
st.title('Tradutor de datasets (inglês para português)')
# Carrega dataset
dataset = st.file_uploader("Carrege o dataset (coluna a ser traduzida deve ser nomeada como 'texto')", type=["csv"])
st.write('Carregando dataset...')

if dataset is not None:
    st.write('🎲 Dataset carregado com sucesso!')
    dataset = pd.read_csv(dataset)
    st.write(dataset)
    

modelo_selecionado = st.selectbox('Escolha um modelo', modelos_opcao)

if st.button("Carregar modelo escolhido"):
    tokenizer, model = carregar_modelo_e_tokenizador_mbart(modelo_selecionado)
    st.write(f"🎰 Modelo {modelo_selecionado} carregado com sucesso!  🔥")

qtde_linhas_traduzir = st.slider('Quantidade de linhas a serem traduzidas', 1, len(dataset), 50)
if st.button(f"Traduzir {qtde_linhas_traduzir} linhas"):
    for i in range(qtde_linhas_traduzir):
        st.write(f'🔡  Traduzindo linha {i+1}...')
        st.write(f'Texto: {dataset.iloc[i]["texto"]}')
        texto_traduzido= traduzir_en_pt(dataset.iloc[i]["texto"])
        st.write(f'Tradução: {texto_traduzido}')

        # adiciona traducao em nova coluna dataset
        dataset["traduzido"]= texto_traduzido


st.write("Fim 👍")