Hugging Face's logo

seongil-dn
/
bge-m3-kor-retrieval-451949-bs64-mrc-50

Sentence Similarity
sentence-transformers
Safetensors
xlm-roberta
feature-extraction
Generated from Trainer
dataset_size:451949
loss:CachedMultipleNegativesRankingLoss
text-embeddings-inference
Inference Endpoints
Model card Files Community

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: BAAI/bge-m3
  • Maximum Sequence Length: 1024 tokens
  • Output Dimensionality: 1024 tokens
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 1024, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("seongil-dn/bge-m3-kor-retrieval-451949-bs64-mrc-50")
# Run inference
sentences = [
    '영상통화로 내연녀와 말다툼하던 40대 남성이 분을 이기지 못하고 내연녀 집에 불을 질렀다가 현행범으로 체포된 건 누구지?',
    '{IMG:1}영상통화로 내연녀와 말다툼하던 40대 남성이 분을 이기지 못하고 내연녀 집에 불을 질렀다가 현행범으로 체포됐다. 부산 사하경찰서는 내연녀 집에 불을 지른 혐의(방화)로 회사원 A(43)씨를 붙잡아 조사하고 있다고 19일 밝혔다. 경찰에 따르면, A씨는 19일 오전 0시 10분쯤 부산 사하구 모 아파트에 있는 내년여 B(40·여)씨의 집에서 소파와 침대 등에 일회용 라이터로 불을 놓아 700만원 상당의 재산피해를 낸 혐의를 받고 있다. 당시 영상통화로 불을 붙이는 장면을 본 B씨가 곧바로 112에 신고해, 출동한 경찰이 현장에서 A씨를 붙잡았다. 경찰 조사결과 A씨는 내연녀의 집에서 밖에 있던 B씨와 영상통화를 하던 중 또다른 남자문제로 말다툼을 벌이다 홧김에 라이터로 불을 붙인 것으로 드러났다. 경찰은 A씨에 대한 구속영장을 신청할 예정이다.',
    '정신이상 증세 가능성 서울 영등포경찰서는 지난달 여의도순복음교회에 불을 지른 혐의(현존건조물방화)로 A씨(28)를 구속했다고 2일 밝혔다. A씨는 지난달 25일 오후 7시 40분께 교회 5층 계단 복도에 불을 낸 혐의를 받고 있다. 당시 화재로 교회 건물에 있던 450여명이 긴급 대피하기도 했다. 경찰은 주변 폐쇄회로(CC)TV 영상을 분석해 A씨가 화재 장소를 서둘러 나온 지 3분 만에 연기가 나고 2시간 전에도 화재 장소를 다녀간 점 등을 확인, 지난달 27일 그를 체포했다. 경찰 조사에서 A씨는 예배를 보러 갔다가 내부 지리를 몰라 5층에 올라갔을 뿐 불을 지르지 않았다고 범행을 부인했다. 하지만 A씨는 지난 2013년 이 교회에 신자로 등록하고 다닌 사실이 있어 경찰은 A씨 진술이 거짓인 것으로 판단했다. 경찰 관계자는 A씨가 수년 전부터 정신이상 증세를 보였다는 부친의 진술이 있고 체포된 뒤에도 줄곧 영어로만 말을 하는 등 이상행동을 보여 정신이상 증세에 의해 범행을 벌였을 가능성이 있다고 전했다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 64
  • learning_rate: 3e-05
  • num_train_epochs: 1
  • max_steps: 50
  • warmup_ratio: 0.05
  • fp16: True
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 64
  • per_device_eval_batch_size: 8
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 3e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 1
  • max_steps: 50
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.05
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: True
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: True
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • eval_use_gather_object: False
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional

Training Logs

Epoch Step Training Loss
0.0051 1 0.5487
0.0102 2 0.4775
0.0152 3 0.3913
0.0203 4 0.2962
0.0254 5 0.2982
0.0305 6 0.2777
0.0355 7 0.2922
0.0406 8 0.2574
0.0457 9 0.2151
0.0508 10 0.2346
0.0558 11 0.2244
0.0609 12 0.277
0.0660 13 0.2593
0.0711 14 0.2097
0.0761 15 0.2136
0.0812 16 0.2688
0.0863 17 0.213
0.0914 18 0.1866
0.0964 19 0.2211
0.1015 20 0.1674
0.1066 21 0.2387
0.1117 22 0.1975
0.1168 23 0.169
0.1218 24 0.2133
0.1269 25 0.1727
0.1320 26 0.1948
0.1371 27 0.2301
0.1421 28 0.1992
0.1472 29 0.211
0.1523 30 0.1787
0.1574 31 0.1458
0.1624 32 0.1709
0.1675 33 0.1931
0.1726 34 0.1797
0.1777 35 0.1505
0.1827 36 0.1776
0.1878 37 0.1521
0.1929 38 0.1828
0.1980 39 0.1953
0.2030 40 0.17
0.2081 41 0.113
0.2132 42 0.2173
0.2183 43 0.2066
0.2234 44 0.1628
0.2284 45 0.1567
0.2335 46 0.1588
0.2386 47 0.1621
0.2437 48 0.1545
0.2487 49 0.1697
0.2538 50 0.1886

Framework Versions

  • Python: 3.10.12
  • Sentence Transformers: 3.2.1
  • Transformers: 4.44.2
  • PyTorch: 2.3.1+cu121
  • Accelerate: 1.1.1
  • Datasets: 2.21.0
  • Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss 

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}
Downloads last month
9
Safetensors
Model size
568M params
Tensor type
F32
·
Inference Examples
Sentence Similarity
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for seongil-dn/bge-m3-kor-retrieval-451949-bs64-mrc-50

Base model

BAAI/bge-m3
Finetuned
(181)
this model