analyze_features_simple.py

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt


def analyze_extracted_features():
    """Анализ извлеченных признаков без сложных зависимостей"""

    try:
        # Загружаем извлеченные признаки
        features_df = pd.read_csv('real_data_features.csv', index_col=0)
    except FileNotFoundError:
        print("❌ Файл real_data_features.csv не найден!")
        print("💡 Сначала запустите test_real_data.py")
        return

    print("📊 ДЕТАЛЬНЫЙ АНАЛИЗ ИЗВЛЕЧЕННЫХ ПРИЗНАКОВ")
    print("=" * 50)

    print(f"Всего признаков: {len(features_df.columns)}")
    print(f"Обработано строк: {len(features_df)}")

    # Анализ заполненности
    null_analysis = features_df.isnull().sum()
    null_features = null_analysis[null_analysis > 0]

    if len(null_features) > 0:
        print(f"\n❌ Признаки с пропусками:")
        for feature, null_count in null_features.items():
            print(f"   {feature}: {null_count} пропусков ({null_count / len(features_df):.1%})")
    else:
        print(f"\n✅ Все признаки полностью заполнены!")

    # Статистика по числовым признакам
    numeric_features = features_df.select_dtypes(include=[np.number])

    print(f"\n📈 СТАТИСТИКА ПРИЗНАКОВ:")
    stats_summary = numeric_features.agg(['mean', 'std', 'min', 'max']).T
    stats_summary['cv'] = stats_summary['std'] / stats_summary['mean']  # Коэффициент вариации

    # Показываем топ-10 самых информативных признаков
    informative_features = stats_summary[stats_summary['std'] > 0].sort_values('cv', ascending=False)

    print(f"\n🎯 ТОП-15 самых информативных признаков (по вариативности):")
    for feature, row in informative_features.head(15).iterrows():
        print(f"   {feature:25} mean={row['mean']:6.2f} std={row['std']:6.2f} cv={row['cv']:.2f}")

    # Визуализация распределения ключевых признаков
    key_features = ['text_length', 'word_count', 'lexical_diversity', 'composite_quality_score']
    available_features = [f for f in key_features if f in numeric_features.columns]

    if available_features:
        plt.figure(figsize=(15, 10))

        for i, feature in enumerate(available_features, 1):
            plt.subplot(2, 2, i)
            plt.hist(numeric_features[feature].dropna(), bins=20, alpha=0.7, edgecolor='black')
            plt.title(f'Распределение {feature}')
            plt.xlabel(feature)
            plt.ylabel('Частота')

        plt.tight_layout()
        plt.savefig('features_distribution.png', dpi=150, bbox_inches='tight')
        plt.show()
        print(f"\n📊 Визуализация сохранена в features_distribution.png")

    # Анализ качества композитного показателя
    if 'composite_quality_score' in numeric_features.columns:
        print(f"\n🎯 АНАЛИЗ КОМПОЗИТНОГО ПОКАЗАТЕЛЯ КАЧЕСТВА:")
        quality_scores = numeric_features['composite_quality_score']
        print(f"   Среднее: {quality_scores.mean():.3f}")
        print(f"   Стандартное отклонение: {quality_scores.std():.3f}")
        print(f"   Диапазон: [{quality_scores.min():.3f}, {quality_scores.max():.3f}]")

        # Распределение по квантилям
        quantiles = quality_scores.quantile([0.25, 0.5, 0.75])
        print(f"   Квантили: 25%={quantiles[0.25]:.3f}, 50%={quantiles[0.5]:.3f}, 75%={quantiles[0.75]:.3f}")

        # Анализ что влияет на качество
        print(f"\n🔍 КОРРЕЛЯЦИЯ С КОМПОЗИТНЫМ ПОКАЗАТЕЛЕМ:")
        correlations = numeric_features.corr()['composite_quality_score'].abs().sort_values(ascending=False)

        for feature, corr in correlations.head(10).items():
            if feature != 'composite_quality_score':
                actual_corr = numeric_features.corr()['composite_quality_score'][feature]
                direction = "↑" if actual_corr > 0 else "↓"
                print(f"   {direction} {feature:25} {actual_corr:+.3f}")


def check_feature_correlations_with_target():
    """Проверка корреляции признаков с целевой переменной (если есть оценки)"""

    try:
        features_df = pd.read_csv('real_data_features.csv', index_col=0)
    except FileNotFoundError:
        return

    # Ищем колонку с оценками в исходных данных
    score_columns = [col for col in features_df.columns if
                     'score' in col.lower() or 'оценк' in col.lower() or 'балл' in col.lower()]

    if score_columns:
        target_col = score_columns[0]
        print(f"\n🎯 КОРРЕЛЯЦИЯ ПРИЗНАКОВ С {target_col}:")
        print("-" * 50)

        correlations = features_df.corr()[target_col].abs().sort_values(ascending=False)

        # Показываем топ-10 наиболее коррелирующих признаков
        top_correlated = correlations.head(11)  # +1 потому что target сам с собой

        print(f"   {'ПРИЗНАК':<25} {'КОРРЕЛЯЦИЯ':<10} {'ЗНАЧИМОСТЬ'}")
        print(f"   {'-' * 25} {'-' * 10} {'-' * 10}")

        for feature, corr in top_correlated.items():
            if feature != target_col:
                actual_corr = features_df.corr()[target_col][feature]
                direction = "↑" if actual_corr > 0 else "↓"
                significance = "***" if abs(actual_corr) > 0.3 else "**" if abs(actual_corr) > 0.2 else "*" if abs(
                    actual_corr) > 0.1 else ""
                print(f"   {direction} {feature:<23} {actual_corr:+.3f}    {significance}")
    else:
        print(f"\nℹ️ Целевая переменная (оценки) не найдена в данных")


def analyze_feature_categories():
    """Анализ признаков по категориям"""

    try:
        features_df = pd.read_csv('real_data_features.csv', index_col=0)
    except FileNotFoundError:
        return

    # Группируем признаки по категориям
    categories = {
        '📝 ТЕКСТОВЫЕ': ['text_length', 'word_count', 'sentence_count', 'avg_sentence_length',
                        'avg_word_length', 'lexical_diversity', 'long_word_ratio', 'text_complexity'],
        '🎯 СЕМАНТИЧЕСКИЕ': ['semantic_similarity', 'keyword_overlap', 'tfidf_similarity', 'response_relevance'],
        '📚 ГРАММАТИЧЕСКИЕ': ['grammar_error_count', 'grammar_error_ratio', 'has_punctuation',
                             'sentence_completeness', 'proper_capitalization'],
        '💬 ДИСКУРС': ['has_greeting', 'has_questions', 'has_description', 'has_connectors',
                      'has_emotional_words', 'coherence_score'],
        '❓ ТИПЫ ВОПРОСОВ': ['dialog_initiation', 'response_adequacy', 'information_seeking',
                            'descriptive_detail', 'answer_length_sufficiency', 'question_type'],
        '⭐ КАЧЕСТВО': ['composite_quality_score', 'social_appropriateness', 'interaction_quality']
    }

    print(f"\n📂 РАСПРЕДЕЛЕНИЕ ПРИЗНАКОВ ПО КАТЕГОРИЯМ:")
    print("=" * 50)

    numeric_features = features_df.select_dtypes(include=[np.number])

    for category, features in categories.items():
        available_features = [f for f in features if f in numeric_features.columns]
        if available_features:
            print(f"\n{category} ({len(available_features)} признаков):")
            for feature in available_features:
                mean_val = numeric_features[feature].mean()
                std_val = numeric_features[feature].std()
                print(f"   • {feature:25} {mean_val:6.3f} ± {std_val:5.3f}")


if __name__ == "__main__":
    analyze_extracted_features()
    check_feature_correlations_with_target()
    analyze_feature_categories()

    print(f"\n✅ Анализ завершен!")
    print("💡 Рекомендации будут основаны на этом анализе")