|
|
--- |
|
|
license: apache-2.0 |
|
|
language: |
|
|
- ru |
|
|
pipeline_tag: text-classification |
|
|
--- |
|
|
|
|
|
# Классификатор опасного контента для детей |
|
|
|
|
|
Этот проект представляет собой модель машинного обучения, предназначенную для автоматического определения потенциально опасного контента для детей в русскоязычных текстах. Модель классифицирует текст на две категории: `safe` (безопасный) и `dangerous` (опасный). |
|
|
|
|
|
Система построена на двухкомпонентной архитектуре: |
|
|
1. **Векторизация текста:** Используется мощная модель `Qwen/Qwen3-Embedding-4B` для преобразования текста в числовые векторы (эмбеддинги), которые улавливают семантический смысл. |
|
|
2. **Классификация:** Поверх эмбеддингов работает простая и быстрая модель **логистической регрессии**, обученная различать "опасные" и "безопасные" векторы. |
|
|
|
|
|
## 🎯 Назначение модели |
|
|
|
|
|
Модель обучена выявлять следующие категории опасного контента на русском языке: |
|
|
|
|
|
1. **Кибербуллинг и оскорбления:** Прямые угрозы, унижения и травля в чатах. |
|
|
2. **Опасные челленджи:** Призывы к участию в рискованных для жизни и здоровья действиях. |
|
|
3. **Жестокое обращение с животными:** Тексты, оправдывающие или поощряющие насилие над животными. |
|
|
4. **Пропаганда РПП:** Контент, пропагандирующий нездоровое пищевое поведение (анорексия, булимия). |
|
|
5. **Насилие и жестокость:** Описание сцен насилия, нанесения увечий. |
|
|
|
|
|
## 🛠️ Технический стек |
|
|
|
|
|
* **Python 3.8+** |
|
|
* **PyTorch:** для работы нейросетевой модели эмбеддингов. |
|
|
* **Transformers (Hugging Face):** для загрузки и использования модели Qwen. |
|
|
* **Scikit-learn:** для использования обученного классификатора логистической регрессии. |
|
|
* **Joblib:** для загрузки файла с классификатором. |
|
|
|
|
|
## 🚀 Установка |
|
|
|
|
|
1. **Клонируйте репозиторий:** |
|
|
```bash |
|
|
git clone https://huggingface.co/SlerpE/Dangerous_Content_Classifier |
|
|
cd Dangerous_Content_Classifier |
|
|
``` |
|
|
|
|
|
2. **Создайте и активируйте виртуальное окружение:** |
|
|
```bash |
|
|
python -m venv venv |
|
|
source venv/bin/activate |
|
|
``` |
|
|
|
|
|
3. **Установите зависимости:** |
|
|
```bash |
|
|
pip install -r requirements.txt |
|
|
``` |
|
|
|
|
|
4. **Пример использования:** |
|
|
```python |
|
|
import torch |
|
|
from transformers import AutoModel, AutoTokenizer |
|
|
import numpy as np |
|
|
import joblib |
|
|
|
|
|
# --- КОНФИГУРАЦИЯ --- |
|
|
QWEN_MODEL_NAME = "Qwen/Qwen3-Embedding-4B" |
|
|
CLASSIFIER_PATH = 'logistic_regression_classifier.joblib' |
|
|
|
|
|
print("Загрузка моделей... Это может занять некоторое время.") |
|
|
|
|
|
# --- ШАГ 1: ЗАГРУЗКА ВСЕХ НЕОБХОДИМЫХ МОДЕЛЕЙ --- |
|
|
|
|
|
# 1.1 Загружаем модель Qwen для получения эмбеддингов |
|
|
device = "cuda" if torch.cuda.is_available() else "cpu" |
|
|
qwen_tokenizer = AutoTokenizer.from_pretrained(QWEN_MODEL_NAME, trust_remote_code=True) |
|
|
qwen_model = AutoModel.from_pretrained(QWEN_MODEL_NAME, trust_remote_code=True).to(device) |
|
|
qwen_model.eval() |
|
|
|
|
|
if qwen_tokenizer.pad_token is None: |
|
|
qwen_tokenizer.pad_token = qwen_tokenizer.eos_token |
|
|
|
|
|
# 1.2 Загружаем обученный классификатор |
|
|
classifier = joblib.load(CLASSIFIER_PATH) |
|
|
|
|
|
print(f"Модели загружены. Используется устройство: {device}") |
|
|
print("-" * 30) |
|
|
|
|
|
|
|
|
def classify_text(text: str): |
|
|
""" |
|
|
Классифицирует один текст, определяя, является ли он "опасным". |
|
|
|
|
|
Args: |
|
|
text (str): Входной текст для классификации. |
|
|
|
|
|
Returns: |
|
|
dict: Словарь с предсказанной меткой и уверенностью модели. |
|
|
""" |
|
|
# --- Этап 1: Получение эмбеддинга для текста --- |
|
|
with torch.no_grad(): |
|
|
inputs = qwen_tokenizer(text, return_tensors="pt", truncation=True, max_length=512).to(device) |
|
|
outputs = qwen_model(**inputs) |
|
|
# Усредняем эмбеддинги |
|
|
embedding = outputs.last_hidden_state.mean(dim=1).cpu().numpy() |
|
|
|
|
|
# --- Этап 2: Предсказание с помощью классификатора --- |
|
|
|
|
|
# scikit-learn ожидает на вход 2D-массив (список примеров), |
|
|
# поэтому мы преобразуем наш 1D-вектор в массив из одного элемента |
|
|
# (из [e1, e2, ...] в [[e1, e2, ...]]) |
|
|
embedding_2d = embedding.reshape(1, -1) |
|
|
|
|
|
# Получаем предсказание (0 или 1) |
|
|
prediction = classifier.predict(embedding_2d)[0] |
|
|
|
|
|
# Получаем вероятность принадлежности к каждому классу |
|
|
probabilities = classifier.predict_proba(embedding_2d)[0] |
|
|
|
|
|
# Определяем метку и уверенность |
|
|
if prediction == 1: |
|
|
label = "dangerous" |
|
|
confidence = probabilities[1] |
|
|
else: |
|
|
label = "safe" |
|
|
confidence = probabilities[0] |
|
|
|
|
|
return { |
|
|
"text": text, |
|
|
"predicted_label": label, |
|
|
"confidence": f"{confidence:.2%}" # Форматируем в проценты |
|
|
} |
|
|
|
|
|
# --- ПРИМЕР ИСПОЛЬЗОВАНИЯ --- |
|
|
if __name__ == "__main__": |
|
|
|
|
|
test_texts = [ |
|
|
"Мальчик играл с котенком на зеленой лужайке.", |
|
|
"Это просто ужасно, ты никому не нужен, лучше бы тебя не было.", |
|
|
"Давай дружить и вместе строить замки из песка!", |
|
|
"Если не перестанешь, я тебя найду и тебе не поздоровится.", |
|
|
"Попробуй челлендж - не есть 3 дня. Если ты его пройдёшь - получишь 5 тысяч рублей", |
|
|
"Сейчас тебе придёт код в СМС, ты должен срочно сообщить его мне. Ты меня понял?! Иначе я тебя забаню на этом сервере!" |
|
|
] |
|
|
|
|
|
for text_to_check in test_texts: |
|
|
result = classify_text(text_to_check) |
|
|
print(f"Текст: \"{result['text']}\"") |
|
|
print(f" -> Вердикт: {result['predicted_label']} (Уверенность: {result['confidence']})") |
|
|
print("-" * 20) |
|
|
``` |
|
|
|
|
|
**Пример вывода в консоль:** |
|
|
|
|
|
``` |
|
|
------------------------------ |
|
|
Текст: "Мальчик играл с котенком на зеленой лужайке." |
|
|
-> Вердикт: safe (Уверенность: 100.00%) |
|
|
-------------------- |
|
|
Текст: "Это просто ужасно, ты никому не нужен, лучше бы тебя не было." |
|
|
-> Вердикт: dangerous (Уверенность: 99.98%) |
|
|
-------------------- |
|
|
Текст: "Давай дружить и вместе строить замки из песка!" |
|
|
-> Вердикт: safe (Уверенность: 100.00%) |
|
|
-------------------- |
|
|
Текст: "Если не перестанешь, я тебя найду и тебе не поздоровится." |
|
|
-> Вердикт: dangerous (Уверенность: 99.74%) |
|
|
-------------------- |
|
|
Текст: "Попробуй челлендж - не есть 3 дня. Если ты его пройдёшь - получишь 5 тысяч рублей" |
|
|
-> Вердикт: dangerous (Уверенность: 99.38%) |
|
|
-------------------- |
|
|
Текст: "Сейчас тебе придёт код в СМС, ты должен срочно сообщить его мне. Ты меня понял?! Иначе я тебя забаню на этом сервере!" |
|
|
-> Вердикт: dangerous (Уверенность: 92.71%) |
|
|
-------------------- |
|
|
``` |
|
|
|
|
|
|
|
|
## ⚠️ Ограничения |
|
|
|
|
|
* **Контекст:** Модель анализирует только предоставленный текст и может не улавливать сложный контекст, сарказм или иронию. |
|
|
* **Новые угрозы:** Модель обучена на известных ей типах угроз. Новые виды угроз могут быть не распознаны. |
|
|
* **Только русский язык:** Модель была обучена и протестирована исключительно на русскоязычных данных. |
|
|
* **Не является заменой модерации:** Данный инструмент следует рассматривать как вспомогательное средство для предварительной фильтрации контента, а не как полную замену ручной модерации. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 📄 Лицензия |
|
|
|
|
|
Этот проект распространяется под лицензией Apache 2.0. |
