SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: BAAI/bge-m3
Maximum Sequence Length: 1024 tokens
Output Dimensionality: 1024 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 1024, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("seongil-dn/bge-m3-kor-retrieval-451949-bs64-book")
# Run inference
sentences = [
    '실제적 발달 수준과 잠재적 발단 수준 사이를 역동적인 공간으로 이야기하는 영역은 뭐야?',
    '하브루타에 임하는 학생들의 태도는 다양하다. 기본적인 학습에 대한 참여율에 따라 상당한 차이를 보인다. 앞에서 언급한 인재시교에 다다를 때까지 기다려주고 관심가져주며, 칭찬과 극려의 말로 지지 할 수 있어야 한다. 비고츠키(Vygotsky)는 근접 발달영역(the zone of proximal development: ZPD)을“독자적으로 문제를 해결함으로써 결정되는 실제적 발달 수준과 성인의 안내나 보다 능력 있는 또래들과 협동하여 문제를 해결함으로써 결정되는 잠재적 발달 수준 간의 거리”로 규정한다. 근접발달 영역(the zone of proximal development)은 실제적 발달 수준(actualdevelopmental level)과 잠재적 발달수준(potential developmental level)사이를 역동적인 공간으로 이야기 한다. 즉 하브루타는 소속한 학습자(친구) 상호작용을 통하여 잠재적 발달수준(potential developmental level)까지 도달하는 것이다. 이러한 작용에 꼭 필요한 것 중 하나는 학습자가 수업에 임하는 태도이다. 즉 학습자의 동기부여를 어떻게 불러일으킬 수 있느냐가 관권이다.',
    '세 번째는 비공식적 및 공식적 지원 관점으로 아동기를 역동적인 관계의 복합체로 인식하며, 역동적인 상호관계는 만족스럽고 성공적인 아동기에 필수요소이다. 이러한 상호관계의 범위는 아동 양육과 보호의 주 제공자인 부모에서부터 아동 권리를 최종적으로 보장하는 역할을 하는 국가에까지 이른다. 아동에게 필수적인 지원과 서비스는 가족의 사회 관계망 및 가족과 지역사회를 통한 비공식적 지원이나 제 3섹터 및 영리 부문 및 국가와 기관들을 통한 공식적 지원으로 전달된다. 비공식적 및 공식적 지원은 아동이 필요로 하고 혜택을 받을 수 있는 지원과 서비스를 가능하게 하는 전달자 역할을 한다. 이러한 ‘사회적 자본’을 지원하는 것이 국가 아동 전략의 핵심 주제이다. 이렇게 다양하고 서로 상호작용하는 지원의 원천으로부터 아동은 앞서 말한 9개의 발달 영역에서 성장하기 위한 도움을 받는다. 모든 아동은 좋은 교육과 양질의 의료 서비스에 대한 접근권 등 기본적인 지원과 서비스를 필요로 한다. 일부 아동은 빈곤이나 장애, 소수 인종 및 문화 집단, 양육과 보호의 필요성, 비행 및 자해 행동 등을 이유로 추가적인 지원과 서비스를 필요로 한다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 64
learning_rate: 3e-05
num_train_epochs: 1
warmup_ratio: 0.05
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 64
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 3e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.05
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: True
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
eval_use_gather_object: False
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs