Nghiamc02/mnrl-1positive

SentenceTransformer based on vinai/phobert-base-v2

This is a sentence-transformers model finetuned from vinai/phobert-base-v2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: vinai/phobert-base-v2
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'xử lý khi bị sứa cắn như thế nào nếu bị sứa cắn cần xử lý như thế nào bôi thuốc gì thưa',
    'trường hợp của em là bỏng độ 1 ngày thứ 4 hết đỏ hết rát nhưng rất ngứa là diễn tiến tốt của bệnh có thể em sẽ khỏi trong vài ngày tới nếu tình trạng ngứa gây khó chịu em có thể dùng thêm thuốc kháng histamin để chống ngứa',
    'về nơi điều trị chị nên đưa cháu đến các bệnh viện có chuyên khoa thần kinh tốt nhất là thần kinh nhi ở tphcm hiện có bệnh viện nhi đồng 1 và nhi đồng 2 có chuyên khoa này ',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 16,053 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 19 tokens mean: 82.38 tokens max: 256 tokens	min: 20 tokens mean: 149.34 tokens max: 256 tokens

• Samples:

  sentence_0	sentence_1
  bệnh trĩ chữa tận gốc được không chào bác sĩ em bị bệnh trĩ nội hay bị lòi ra ngày nào em bón không đi ngoài là cảm giác đau rất khó chịu xin hỏi bị trĩ có chữa được tận gốc không và bằng phương pháp nào nên tới bệnh viện nào trị hiệu quả ạ em chưa từng điều trị trĩ	bệnh trĩ là bệnh phổ biến hiện nay trĩ mức độ nhẹ thì thường gây khó khăn khi đại tiện do búi trĩ phồng lên cản trở đường thoát của phân nặng hơn thì gây chảy máu khi đi tiêu trĩ ngoại hay trĩ nội kèm nứt hậu môn thì thường kèm triệu chứng đau đối với búi trĩ lớn nếu bị tắc nghẹt búi trĩ sẽ gây đau nhức viêm nhiễm và hoại tử mức độ trĩ nội gồm 4 độ trĩ độ 1 thì đi tiêu không rặn ra búi trĩ độ 2 thì sau đi tiêu đứng dậy búi trĩ tự thụt vào độ 3 thì phải lấy tay đẩy búi trĩ vào và độ 4 thì không thể lấy tay đẩy búi trĩ vào trong điều trị trĩ đối với trĩ mức độ nhẹ 1 2 thì có thể dùng thuốc uống thuốc bôi thuốc đặt hậu môn để giảm nhỏ kích thước búi trĩ và giảm đau trĩ mức độ nặng hơn hay trĩ có biến chứng thì nên mổ cắt trĩ có nhiều phương pháp để phẫu thuật mổ trĩ phương pháp ít tốn kém là thắt búi trĩ qua nội soi trực tràng tốt hơn chích xơ búi trĩ cho đến phương pháp hiện đại hơn và cũng tốn kém nhiều hơn là phương pháp longo với thắt búi trĩ qua nội soi trực tràng thì chi phí thấp nhất khoảng vài trăm ngàn em có thể về liền sau khi thắt trĩ nhưng thường phải làm lại nhiều lần và khá đau trĩ độ 2 thì trị bằng phương pháp này tốt hơn trĩ độ 3 độ 4 phương pháp longo thì ít đau hơn làm 1 lần nhưng cần nhập viện khoảng 2 ngày và giá thành cao vài triệu đồng phương pháp cắt trĩ bằng máy đốt điện cao tần hoặc máy cắt siêu âm được sử dụng cho tất cả mọi loại trĩ trĩ hỗn hợp trĩ biến chứng huyết khối da thừa hậu môn nhưng khá đau và chăm sóc khó để điều trị bệnh trĩ em nên đăng ký khám tại chuyên khoa ngoại tiêu hóa là phù hợp bệnh trĩ là bệnh có thể điều trị được nhưng vẫn có khả năng tái phát nếu tình trạng táo bón vẫn tiếp tục tiếp diễn sau đó do đó điều quan trọng là em cần thay đổi lối sống của mình ăn nhiều rau xanh uống nhiều nước hạn chế thức ăn nhiều gia vị cay và chất kích thích như rượu bia cà phê không hút thuốc lá tăng cường vận động tránh ngồi lâu khi đi vệ sinh em nhé
  chữa trị triệu chứng ù tai như thế nào tôi bị ù tai chói tai khoảng 5 năm nay nghe không rõ vậy bệnh của tôi có thể chữa như thế nào tối đến tiếng ù tai chói tai rõ hơn tôi cảm thấy rất mệt mỏi nhờ tư vấn giúp ạ	ù tai có nhiều nguyên nhân từ tổn thương tại cơ quan tai giữa tai trong do viêm nhiễm u chấn thương… cho tới các tổn thương dẫn truyền và vùng vỏ não thính giác… muốn tìm hiểu nguyên nhân cần biết rõ bệnh sử diễn tiến ù tai hoàn cảnh khởi phát và thăm khám cẩn thận phương pháp điều trị sẽ tuỳ thuộc vào nguyên nhân tiên lượng rất khác nhau trước tiên bạn nên khám chuyên khoa tai ở bệnh viện tai mũi họng để làm rõ chẩn đoán bạn nhé
  có thể sinh con lần 3 sau 2 lần đẻ mổ phụ nữ hai lần đẻ mổ thì có thể sinh con lần thứ ba không	nếu lần mổ thứ 2 không căn dặn là không được có thai nữa thì bạn vẫn có thể sinh lần nữa nhưng chú ý là nên theo dõi ở bv sản khoa lớn có phòng mổ bởi vì lần 3 sẽ phải sinh mổ

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• num_train_epochs: 1
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
0.2491	500	0.2573
0.4983	1000	0.1191
0.7474	1500	0.0877
0.9965	2000	0.0681

Framework Versions

• Python: 3.8.10
• Sentence Transformers: 3.0.0
• Transformers: 4.41.2
• PyTorch: 2.3.0+cu118
• Accelerate: 0.30.1
• Datasets: 2.19.1
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}