Update README.md

README.md

@@ -151,6 +151,18 @@ You can finetune this model on your own dataset.
 
 ### Metrics
 
+### AutoRAG Retrieval
+
+| Metrics | sigridjineth/ModernBERT-korean-large-preview | Alibaba-NLP/gte-multilingual-base | answerdotai/ModernBERT-large |
+|------|----------------------------------------------|-----------------------------------|------------------------------|
+| **메인 스코어 (NDCG@10)** | 0.72503 | 0.77108 | 0.0 |
+| **Recall@10** | 0.87719 | 0.93860 | 0.0 |
+| **Precision@1** | 0.57018 | 0.59649 | 0.0 |
+| **NDCG@100** | 0.74543 | 0.78411 | 0.01565 |
+| **Recall@100** | 0.98246 | 1.0 | 0.09649 |
+| **Recall@1000** | 1.0 | 1.0 | 1.0 |
+| **실행 시간 (초)** | 47.7 | 9.6 | 46.7 |
+
 #### Triplet
 
 * Dataset: `dev-eval`
@@ -176,9 +188,6 @@ You can finetune this model on your own dataset.
 
 ### Training Dataset
 
-#### korean_nli_dataset_reranker_v1
-
-* Dataset: [korean_nli_dataset_reranker_v1](https://huggingface.co/datasets/sigridjineth/korean_nli_dataset_reranker_v1) at [e344f2b](https://huggingface.co/datasets/sigridjineth/korean_nli_dataset_reranker_v1/tree/e344f2b09ecf58a41459c3cfb8ac27d5b10f9847)
 * Size: 1,120,235 training samples
 * Columns: <code>query</code>, <code>positive</code>, and <code>negative</code>
 * Approximate statistics based on the first 1000 samples:
@@ -200,164 +209,6 @@ You can finetune this model on your own dataset.
   }
   ```
 
-### Evaluation Dataset
-
-#### korean_nli_dataset_reranker_v1
-
-* Dataset: [korean_nli_dataset_reranker_v1](https://huggingface.co/datasets/sigridjineth/korean_nli_dataset_reranker_v1) at [e344f2b](https://huggingface.co/datasets/sigridjineth/korean_nli_dataset_reranker_v1/tree/e344f2b09ecf58a41459c3cfb8ac27d5b10f9847)
-* Size: 1,120,235 evaluation samples
-* Columns: <code>query</code>, <code>positive</code>, and <code>negative</code>
-* Approximate statistics based on the first 1000 samples:
-  |         | query                                                                               | positive                                                                              | negative                                                                              |
-  |:--------|:------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|
-  | type    | string                                                                              | string                                                                                | string                                                                                |
-  | details | <ul><li>min: 10 tokens</li><li>mean: 56.28 tokens</li><li>max: 300 tokens</li></ul> | <ul><li>min: 12 tokens</li><li>mean: 203.01 tokens</li><li>max: 3737 tokens</li></ul> | <ul><li>min: 12 tokens</li><li>mean: 127.29 tokens</li><li>max: 4002 tokens</li></ul> |
-* Samples:
-  | query                             | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     | negative                                 |
-  |:----------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------|
-  | <code>개혁적 사회운동이라고 불리는 게 뭐야</code> | <code>또 현대 사회에 있어서는 이 분열을 크게 촉진하는 것으로서 매스컴과 소비 문화의 발달을 주목하지 않으면 안된다. 매스컴은 지배 계급의 손에 장악되어 있어 일방적으로 대량의 커뮤니케이션을 전달하는데, 그 가운데에는 계급 의식을 약화하고 목표를 혼란시키며 자기편을 착각하도록 하는 의도가 들어 있다. 또 'OO붐'이라고 하여 계획적으로 조작, 광고되는 소비·오락생활의 운동에도 마찬가지 정치상의 이익이 들어 있다고 할 수 있���. 그러나 동시에 매스컴을 보고 듣는 국민 대중의 동향을 전혀 무시하고서는 영리 사업으로서의 신문·방송업은 존속할 수 없고, 또 소비 문화의 파행적(跛行的) 발달은 사람들을 간접적·기분적으로 몰아가고 고물가 정책 등에 대한 반발을 유인하게 하는 점 등도 지적할 수 있다. 사회 운동의 주된 계층은 공장노동자, 소규모 농부, 빈민 이른바 약자, 하층민, 소외계층으로 이들이 주장하거나 호소할 수 있는 수단이 되나, 근래들어 기득층이나 여유계층이 주장하기에는 무리가 있어 운동권 내지 사회 운동의 의미가 퇴색된다. 개혁적 사회운동: 기본적으로 기존 체제를 인정하면서 합법적으로 최대한의 사회개혁을 도모하는 점진적 운동이다. 그러나 개혁적이라 해서 언제나 제도적 틀 안에서만 운동하는 것은 아니다.</code> | <code>차티즘과 차티스트 운동은 어떤 사회 운동이었나요?</code> |
-  | <code>패스를 잡은 축구선수.</code>         | <code>태클을 시도하는 축구선수.</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | <code>축구 선수가 경기장에서 패스를 던졌다.</code>       |
-  | <code>피우다, 확률, 담배, 높다, 암</code>   | <code>담배를 많이 피우면 암이 발생할 확률이 매우 높다.</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    | <code>피우다, 흡연실, 그, 담배</code>             |
-* Loss: [<code>CachedMultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cachedmultiplenegativesrankingloss) with these parameters:
-  ```json
-  {
-      "scale": 20.0,
-      "similarity_fct": "cos_sim"
-  }
-  ```
-
-### Training Hyperparameters
-#### Non-Default Hyperparameters
-
-- `eval_strategy`: steps
-- `per_device_train_batch_size`: 128
-- `per_device_eval_batch_size`: 128
-- `gradient_accumulation_steps`: 32
-- `num_train_epochs`: 5
-- `warmup_ratio`: 0.1
-- `batch_sampler`: no_duplicates
-
-#### All Hyperparameters
-<details><summary>Click to expand</summary>
-
-- `overwrite_output_dir`: False
-- `do_predict`: False
-- `eval_strategy`: steps
-- `prediction_loss_only`: True
-- `per_device_train_batch_size`: 128
-- `per_device_eval_batch_size`: 128
-- `per_gpu_train_batch_size`: None
-- `per_gpu_eval_batch_size`: None
-- `gradient_accumulation_steps`: 32
-- `eval_accumulation_steps`: None
-- `torch_empty_cache_steps`: None
-- `learning_rate`: 5e-05
-- `weight_decay`: 0.0
-- `adam_beta1`: 0.9
-- `adam_beta2`: 0.999
-- `adam_epsilon`: 1e-08
-- `max_grad_norm`: 1.0
-- `num_train_epochs`: 5
-- `max_steps`: -1
-- `lr_scheduler_type`: linear
-- `lr_scheduler_kwargs`: {}
-- `warmup_ratio`: 0.1
-- `warmup_steps`: 0
-- `log_level`: passive
-- `log_level_replica`: warning
-- `log_on_each_node`: True
-- `logging_nan_inf_filter`: True
-- `save_safetensors`: True
-- `save_on_each_node`: False
-- `save_only_model`: False
-- `restore_callback_states_from_checkpoint`: False
-- `no_cuda`: False
-- `use_cpu`: False
-- `use_mps_device`: False
-- `seed`: 42
-- `data_seed`: None
-- `jit_mode_eval`: False
-- `use_ipex`: False
-- `bf16`: False
-- `fp16`: False
-- `fp16_opt_level`: O1
-- `half_precision_backend`: auto
-- `bf16_full_eval`: False
-- `fp16_full_eval`: False
-- `tf32`: None
-- `local_rank`: 5
-- `ddp_backend`: None
-- `tpu_num_cores`: None
-- `tpu_metrics_debug`: False
-- `debug`: []
-- `dataloader_drop_last`: True
-- `dataloader_num_workers`: 0
-- `dataloader_prefetch_factor`: None
-- `past_index`: -1
-- `disable_tqdm`: False
-- `remove_unused_columns`: True
-- `label_names`: None
-- `load_best_model_at_end`: False
-- `ignore_data_skip`: False
-- `fsdp`: []
-- `fsdp_min_num_params`: 0
-- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
-- `fsdp_transformer_layer_cls_to_wrap`: None
-- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
-- `deepspeed`: None
-- `label_smoothing_factor`: 0.0
-- `optim`: adamw_torch
-- `optim_args`: None
-- `adafactor`: False
-- `group_by_length`: False
-- `length_column_name`: length
-- `ddp_find_unused_parameters`: None
-- `ddp_bucket_cap_mb`: None
-- `ddp_broadcast_buffers`: False
-- `dataloader_pin_memory`: True
-- `dataloader_persistent_workers`: False
-- `skip_memory_metrics`: True
-- `use_legacy_prediction_loop`: False
-- `push_to_hub`: False
-- `resume_from_checkpoint`: None
-- `hub_model_id`: None
-- `hub_strategy`: every_save
-- `hub_private_repo`: None
-- `hub_always_push`: False
-- `gradient_checkpointing`: False
-- `gradient_checkpointing_kwargs`: None
-- `include_inputs_for_metrics`: False
-- `include_for_metrics`: []
-- `eval_do_concat_batches`: True
-- `fp16_backend`: auto
-- `push_to_hub_model_id`: None
-- `push_to_hub_organization`: None
-- `mp_parameters`: 
-- `auto_find_batch_size`: False
-- `full_determinism`: False
-- `torchdynamo`: None
-- `ray_scope`: last
-- `ddp_timeout`: 1800
-- `torch_compile`: False
-- `torch_compile_backend`: None
-- `torch_compile_mode`: None
-- `dispatch_batches`: None
-- `split_batches`: None
-- `include_tokens_per_second`: False
-- `include_num_input_tokens_seen`: False
-- `neftune_noise_alpha`: None
-- `optim_target_modules`: None
-- `batch_eval_metrics`: False
-- `eval_on_start`: False
-- `use_liger_kernel`: False
-- `eval_use_gather_object`: False
-- `average_tokens_across_devices`: False
-- `prompts`: None
-- `batch_sampler`: no_duplicates
-- `multi_dataset_batch_sampler`: proportional
-
-</details>
-
 ### Training Logs
 | Epoch  | Step | dev-eval_cosine_accuracy |
 |:------:|:----:|:------------------------:|