meandyou200175/demo_bi_encoder

SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder

This is a sentence-transformers model finetuned from bkai-foundation-models/vietnamese-bi-encoder. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: bkai-foundation-models/vietnamese-bi-encoder
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("meandyou200175/demo_bi_encoder")
# Run inference
sentences = [
    'Mẹ em đang bị xơ gan cổ trướng có nên kết hợp uống thuốc nam được không ạ? Cảm ơn AloBacsi rất nhiều.',
    'Sử dụng thuốc tây và nam kết hợp cần được sự chỉ định của bác sĩ Chào em, Xơ gan cổ trướng là bệnh gan giai đoạn cuối rồi, gan lúc này rất yếu và cả cơ thể người bệnh cũng yếu do xơ gan ảnh hưởng lên (như não, thận, dãn tĩnh mạch thực quản...). Vì thế việc điều trị thuốc cũng phải rất cẩn trọng, nếu không sẽ làm cho gan suy nhanh hơn, gọi là suy gan mất bù cấp là rất nguy hiểm, đe dọa đến tính mạng. Điều trị đông y cũng có cái hay riêng, nhưng em cần phải đưa mẹ đến khám tại phòng mạch bs đông y có bằng cấp hay tại bệnh viện y học cổ truyền, y học dân tộc, vì dùng đúng liều, đúng loại thì mới có lợi. Muốn phối hợp thuốc đông y và tây y thì em phải hỏi ý kiến của bác sĩ tây y hoặc đông y đang điều trị cho mẹ em để bác sĩ cân nhắc các loại thuốc, tránh tương tác thuốc mà sinh chuyện. Còn nếu em kết hợp thuốc nam gia truyền, thuốc lá nào đó mà không có kiểm nghiệm về khoa học, chỉ dựa vào lời đồn, không ai rõ tương tác với thuốc đang dùng ra sao thì thường có hại hơn có lợi. Thân mến.',
    ' Chào bạn Như, và bong tróc da vùng bàn chân thường là biểu hiện của da thiếu độ ẩm. Tình trạng này sẽ nặng lên khi da không được chăm sóc đúng cách, tiếp xúc chất tẩy rửa mạnh, nhiễm nấm… Bạn có thể sử dụng các loại kem giữ ẩm, trị nứt gót chân để cải thiện tình hình. Nếu không cải thiện, bạn có thể đến gặp BS da liễu, bạn nhé! Thân mến! ',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Reranking

• Dataset: dev-eval
• Evaluated with RerankingEvaluator

Metric	Value
map	0.9973
mrr@1	0.9947
ndcg@1	0.9947

Training Details

Training Dataset

Unnamed Dataset

• Size: 34,000 training samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 14 tokens mean: 76.89 tokens max: 256 tokens	min: 48 tokens mean: 189.37 tokens max: 256 tokens	min: 9 tokens mean: 175.6 tokens max: 256 tokens

• Samples:

  query	positive	negative
  Bác sĩ cho em hỏi với ạ. Nuốt cọng thun vô bụng nó có nở ra không, bác sĩ ơi?	Chào em, Thun là dị vật mà men tiêu hóa không tiêu hóa được, do đó nhu động ruột sẽ cố gắng co bóp để đẩy nó ra ngoài theo phân. Dưới tác động của men tiêu hóa, cọng thun có bị "tan một phần", bị nở ra hay bám dính hay không là tùy vào chất liệu của cọng thun, ví dụ như thun niềng răng là cao su thiên nhiên đã phủ bột ngô thì sẽ không bị tan chảy, biến đổi bởi men tiêu hóa cũng như khó bám dính làm trong thành ruột khi lỡ nuốt phải; còn các loại thun khác thì không thể biết được. Đa số tất cả trường hợp thì thun sẽ được thải ra ngoài theo phân, chỉ một số ít trường hợp đường ruột không thải được và nó bị kẹt trong đường ruột theo thời gian gây viêm, loét, tắc ruột, sinh ung thư…nhưng trường hợp này rất hiếm gặp vì niêm mạc ruột rất trơn và co bóp liên tục. Cách tốt nhất hiện nay là em ăn nhiều chất nhuận trường như chuối, đu đủ, bưởi, uống nhiều nước giúp đường ruột mau tạo phân và thải dị vật này ra cùng. Cách duy nhất để kiểm tra sợi dây thun trong phân là đánh tan phân thải ra trong mấy ngày sau đó, vì phân tạo thành 1 khối trong đó có sợi dây thun lẫn bên trong thì mắt thường sẽ không nhìn thấy được, sợi dây thun sẽ khác với sợi mì vì còn độ dai của nó, sợi mì ăn vào thì được tiêu hóa không còn hình dạng sợi mì nữa. Nếu trong thời gian đó, em có cảm thấy bất ổn ở đường ruột, bị rối loạn tiêu hóa thì nên đến bệnh viện để kiểm tra, em nhé.	Tê bì tay chân là 1 trong những biến chứng đái tháo đường Chào bạn Huyền Trân, Chồng của bạn đã bị ĐTĐ 15 năm, không biết trong thời gian điều trị có thường xuyên khám thần kinh hay không. Cảm giác tê bì chân tay cũng là biểu hiện của biến chứng thần kinh. Vì vậy khi bệnh nhân khai với bác sĩ bị tê bì, bác sĩ sẽ tiến hành các cách khám để đánh giá các tổn thương thần kinh ở các loại hình thần kinh nào. Tê bì có nhiều khả năng là biến chứng của thần kinh. Và cảm giác tê bì thường bắt đầu từ đầu xa nhất của chi và đi dần lên theo “kiểu đeo vớ”. Do đó, nếu xuất hiện triệu chứng phải báo ngay với bác sĩ, bạn nhé. Thân mến.
  Chào bác sĩ. Em ra viện cách đây 2 ngày, em đã truyền dịch và bị lệch kim sau đó lấy ven lại trong lúc nằm viện, nhưng chỗ bị lệch kim của em ở tay phải bị đau và giờ sưng đỏ, cử động nhẹ thì không sao mà mạnh 1 chút là nó đau hay xoay nhẹ nhẹ nó cũng đau, liệu có nguy hiểm không bác sĩ?	Chào bạn, Đường tĩnh mạch ngoại vi được sử dụng đặt catheter truyền dịch thuộc nhóm tĩnh mạch nhỏ, khi lệch kim trong quá trình truyền dịch sẽ gây ra hiện tượng thoát dịch truyền vào mô kẽ, đồng thời có xuất huyết dưới da do vị trí tổn thương tĩnh mạch gây nên. Nhưng dưới áp lực đè ép cũng như quá trình co mạch-đông máu của cơ thể thì hiện tượng xuất huyết sẽ nhanh chóng được chấm dứt. Tình trạng sưng phù do thoát dịch và do một phần máu xuất huyết dưới da cũng sẽ dần dần được hấp thu sau vài ngày, bạn không cần phải quá lo lắng nhé. Thân ái chào bạn.	Chào bạn, Ở độ tuổi của bạn, nếu không có tiền căn gia đình có bệnh lý hay đa polyp đại trực tràng thì tỉ lệ ung thư là cực kỳ thấp. Việc rối loạn tiêu hóa lúc tiêu lỏng lúc táo bón cũng thường gặp ở độ tuổi này là do vấn đề ăn uống không điều độ cả về số lượng và thành phần, hay do hội chứng ruột kích thích có liên quan nhiều đến vấn đề tâm lý. Hiện nay, vấn đề nổi trội của bạn là tiêu phân bón, sau đi tiêu thì đau rát hậu môn và có máu, nếu đó là máu đỏ tươi, máu chảy sau phân, không lẫn vào phân thì đó là biểu hiện của trĩ và nứt hậu môn, là hậu quả của việc tiêu bón. Rõ ràng là bạn đã đi khám và được xác định là trĩ, bệnh này không phải là ung thư, uống thuốc và có chế độ ăn hợp lý, bệnh sẽ ổn định. Tuy nhiên, nếu bạn đi cầu ra máu đỏ bầm, máu lẫn vào phân (phân không còn màu vàng đơn thuần), hoặc bạn muốn xác định chắc chắn mình có vấn đề gì nguy hiểm ở đoạn ruột dưới - đại trực tràng hay không, bạn có thể đi nội soi đại trực tràng, chứ không phải là nội soi dạ dày, bạn nhé. Việc căng thẳng tâm lý hiện giờ cũng có thể gây ra rối loạn tiêu hóa đấy. Thân mến! *** Mời bạn xem loạt bài rất nhiều thông tin bổ ích do TS Phan Minh Liêm đã chia sẻ cùng AloBacsi: >>> >>> >>> >>>
  Bác sĩ ơi. Người hút cỏ Mỹ thì khoảng bao lâu mới đào thải hết ra khỏi cơ thể ạ?	Chào em, Đỉnh hiệu ứng khi hút cỏ bắt đầu sau khoảng 20 - 30 phút và kéo dài 90 - 120 phút sau 1 liều hút. Mức độ gia tăng các chất chuyển hóa trong nước tiểu được phát hiện trong vài giờ khi hút và tồn tại khoảng 3-10 ngày sau. Hút cỏ vẫn là 1 dạng ma túy loại nhẹ, có tác động ảnh hưởng xấu lên nhiều cơ quan trong cơ thể, đặc biệt là hệ thần kinh trung ương. Những tác động xấu này có khi kéo dài nhiều ngày nhiều tháng sau khi ngừng hút, chứ không phải khi các chất trong cỏ Mỹ thải hết ra khỏi cơ thể là tác dụng có hại của nó sẽ mất đi hẳn đâu, em nhé.	Chào em, Nếu đúng là dị tật thì không thể tự hết được em nhé. Tốt nhất, em nên đưa bé đến BV Nhi đồng khám chuyên khoa Ngoại, BS sẽ có hướng điều trị và tập vật lý trị liệu thích hợp. Thân mến.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 3,000 evaluation samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 7 tokens mean: 83.46 tokens max: 256 tokens	min: 31 tokens mean: 192.34 tokens max: 256 tokens	min: 34 tokens mean: 179.91 tokens max: 256 tokens

• Samples:

  query	positive	negative
  Người lớn thiếu canxi có gây bệnh dạ dày và đại tràng không? Có ảnh hưởng đến hệ tiêu hóa không, thưa bác sĩ?(Trường Nguyen)	Thiếu canxi không gây bệnh cho đường tiêu hoá Chào bạn, Canxi cần thiết cho nhiều chức năng của cơ thể, thiếu hụt có thể gây ảnh hưởng tới hoạt động của hệ cơ xương, răng và thần kinh. Giai đoạn sớm thường không biểu hiện triệu chứng, nếu thiếu nặng và kéo dài thường gây loãng xương, giảm mật độ xương. Bệnh nhân có thể cảm thấy mệt mỏi kéo dài, co giật cơ, loạn dưỡng móng, khô da, suy nhược thần kinh... nhưng chưa có báo cáo về triệu chứng của tiêu hoá. Bạn nên khám chuyên khoa để tìm hiểu nguyên nhân mà các triệu chứng bạn gặp phải bạn nhé! Thân mến.	Nhiễm nấm ở chân là một bệnh khá phổ biến, và rất dễ tái phát Chào em, Nhiễm nấm ở chân là một bệnh khá phổ biến, và rất dễ tái phát. Loại nấm này thường phát triển mạnh trong môi trường ấm và ẩm như trong giày, tất, trong hồ bơi, phòng thay đồ và ở sàn nhà tắm công cộng. Đối tượng thường bị nhiễm bệnh là những người phải ngâm chân trong nước thời gian dài như nông dân làm ruộng, công nhân vệ sinh cống rãnh không sử dụng đồ bảo hộ cẩn thận, vận động viên bơi lội, và nhóm người thường xuyên tiếp xúc với nước, đi giày hoặc hay tắm ở bể bơi công cộng. Bên cạnh việc tuân thủ dùng thuốc, em cần phải chăm sóc bàn chân thật tốt. Đó là giữ khô bàn chân, các kẽ chân. Nên để chân trần thoát khí khi ở nhà hay khi đi ngủ. Lau khô các kẽ ngón chân sau khi tắm. Thay tất thường xuyên, nếu chân ra nhiều mồ hôi nên thay 2 lần/ngày. Giảm độ ẩm trên bàn chân và giày dép, đặc biệt là trong điều kiện thời tiết nóng ẩm. Nên lau khô bàn chân, kẽ chân sau khi tắm rửa, tiếp xúc nước hoặc ra nhiều mồ hôi. Chọn loại giày nhẹ thông thoáng, tránh dùng giày bằng vật liệu tổng hợp, như nhựa vinyl hoặc cao su. Có thể sử dụng thêm bột chống nấm (miconazole) và ngâm chân nước muối ấm hàng ngày để cải thiện tình trạng da ở chân em nhé!
  Chào bác sĩ! Em 26 tuổi, dạo này em đi đại tiện phân dẹp, một ngày đi không quá 3 lần (thường 2 lần). Như vậy em có phải bị đại tràng do polyp không ạ?(Võ Minh Giàu - 096865...)	Tiêu phân dẹt nếu chỉ thoáng qua thì không phải dấu hiệu bệnh polyp đại trực tràng Chào em, Tiêu phân nhỏ dẹt là một bất thường trong hoạt động bài xuất của đường tiêu hóa, có thể gặp trong polyp đại trực tràng, ung thư đại trực tràng, lỵ amip, lỵ trực trùng, trĩ nặng... Nếu triệu chứng này xuất hiện ở người lớn tuổi, có tiền căn gia đình bị ung thư đại tràng hay đa polyp đại tràng thì người đó có nguy cơ cao hơn người bình thường khác về khả năng ung thư đại tràng. Nếu em chỉ tiêu phân dẹt thoáng qua (1-2 lần), phân không nhày máu, không sụt cân, không sốt về chiều, không táo bón kéo dài, sinh hoạt bình thường thì có thể tạm yên tâm, phân dẹt đó có thể do tạo lập phân ít trong ngày do chế độ ăn, cũng có thể do phì đại ống hậu môn do rặn nhiều làm dẹt phân đầu ra. Nhưng nếu tiêu phân nhỏ dẹt thường xuyên, hay tiêu phân dẹt kèm nhày máu, cảm giác đi cầu lắt nhắt mỗi lần đi 1 ít thì cần phải khám bác sĩ chuyên khoa Tiêu hóa (thăm khám tổng quát, khám hậu môn, xét nghiệm phân, xét nghiệm máu, siêu âm bụng, nội soi đại trực tràng...) để tìm ra nguyên nhân để xử trí thích hợp kịp thời. Trong trường hợp của em, muốn loại trừ polyp đại trực tràng cũng như xác định việc tiêu phân dẹt do đâu, có nguy hiểm hay không thì cách duy nhất là nội soi đại trực tràng mà thôi, vì chúng ta không thể ở ngoài mà "đoán" được bên trong lòng đại tràng đâu. Em đăng ký khám chuyên khoa Tiêu hóa để được kiểm tra đầy đủ, em nhé	Chào bạn Huỳnh Tuấn, là “một cuộc chiến lâu dài”, ngoài
  kết quả là cân nặng mong muốn của bạn, bạn còn cần quan tâm đến sức khỏe khi
  giảm cân cũng như việc duy trì cân nặng lý tưởng đã đạt được cũng là mục tiêu
  tối ưu. Bạn không nên vội vàng giảm cân một
  cách nhanh chóng bằng cách ăn quá kiêng khem cũng như uống thực phẩm chức năng
  để giảm cân. Nên tập thể dục kết hợp với chế độ
  ăn hợp lý. Bạn có thể đến khám bác sĩ chuyên khoa dinh dưỡng để được thiết kế
  chế độ ăn bạn nhé. Thân ái. AloBacsi.com Cổng thông tin tư vấn sức khỏe miễn phí
  Đi cầuphânlỏng, ra máu tươi là bệnh gì,có nguy hiểm khôngbác sĩ?(Nguyễn Quang - 093537...)	Xuất huyết tiêu hóa thông thường do bệnh trĩ Chào bạn, Đi cầu có máu đỏ tươi dù ít hay nhiều, phân lỏng hay phân khuôn đều là xuất huyết tiêu hóa, mà thường là xuất huyết tiêu hóa đoạn dưới. Nguyên nhân gây xuất huyết tiêu hóa dưới có thể gặp là trĩ, túi thừa đại trực tràng, polyp đại trực tràng, ung thư đại trực tràng, bệnh gan, bệnh thận, rối loạn đông máu... Cho nên, đi cầu ra máu đỏ tươi là dấu hiệu nguy hiểm cần phải đến bệnh viện để kiểm tra, không nên ỉ i dù là đi 1 lần rồi tự hết cũng cần phải khám kiểm tra xác định nguyên nhân để có hướng điều trị thích hợp sớm, bạn nhé. Bạn nên khám chuyên khoa Tiêu hóa để bác sĩ khám tổng quát và khám bụng, khám hậu môn trực tràng, làm một số xét nghiệm cần thiết (như xét nghiệm máu, siêu âm bụng, nội soi đại trực tràng...) để xác định nguyên nhân và từ đó có hướng điều trị thích hợp. Thân mến.	Chào em, Quả thật em đang có nhiều bất ổn về mặt tâm lý - tâm thần cần can thiệp điều trị ngay. Việc em tự nhận ra tình trạng của mình và tìm đến y khoa để được tư vấn, hỗ trợ là một điều đáng khen và sẽ rất tốt cho việc điều trị của em. Trước khi sinh bé thứ hai, vốn dĩ em đã có nhiều dấu hiệu nghi ngờ của bệnh rồi, và sau khi sinh bé thứ hai thì xuất hiện thêm những dấu hiệu của trầm cảm sau sinh. Sau khi sinh, cơ thể người mẹ có một sự thay đổi lớn về tâm sinh lý, bao gồm thay đổi về nội tiết tố, thay đổi về thể tích máu, huyết áp, hệ miễn dịch và chuyển hóa, có gia đình xuất hiện những mâu thuẫn gia đình, vấn đề tài chính, thiếu sự giúp đỡ của người thân, khó khăn trong chăm sóc bé, chồng ít phụ giúp hay vô tâm, mối quan hệ mẹ chồng - nàng dâu nên có nhiều bức bối khó nói ra. Càng nén trong lòng thì càng bức bối, khó giữ bình tĩnh. Tất cả những điều này làm cho tinh thần của người phụ nữ sau sinh có nhiều biến động lớn, và rất dễ dẫn đến bệnh trầm cảm sau sinh. Đối với tình trạng trầm cảm sau sinh, người bệnh sẽ không thể kiểm soát suy nghĩ của mình theo hướng tích cực được. Trầm cảm sau sinh là bệnh có thể điều trị được, nhưng càng để lâu thì bệnh càng khó trị, và em cần chú ý là trầm cảm của mẹ có thể ảnh hưởng trực tiếp và gián tiếp lên sự phát triển của con. Thậm chí đã có nhiều người mẹ giết hại con mình chỉ vì bệnh này mà thôi. Em cần dũng cảm lên để đối mặt với bệnh tình của chính mình và quyết tâm điều trị nó. Tình trạng của em là thuộc rối loạn tâm lý - tâm thần, cho nên không thể chỉ điều trị tâm lý là được, mà cần phải có sự can thiệp điều trị của bác sĩ chuyên khoa tâm thần mới được. Em đừng dị ứng với 2 chữ tâm thần, bệnh về tâm thần hiện nay rất phổ biến, và biểu hiện dưới nhiều dạng, nhiều mức độ khác nhau, như rối loạn giấc ngủ, rối loạn lo âu, trầm cảm...chứ không phải là “khùng”, “điên”, “bị nhập”, đây là cách nghĩ sai lầm của đa phần người dân - chưa có đủ nhận thức về bệnh lý tâm thần trong xã hội hiện nay  dẫn đến sự xa lánh, cay nghiệt dành cho người bệnh, và từ đó người bệnh bị hoảng sợ, chán ghét chính bản thân mình khiến bệnh ngày càng nặng hơn. Việc em dũng cảm tìm kiếm điều trị cho bản thân mình không chỉ giúp cho chính em mà quan trọng nhất là giúp cho gia đình em, trên hết chính là 2 đứa nhỏ vô tội, em nhé.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	dev-eval_map
0	0	-	-	0.9882
0.0471	100	0.6927	0.9070	0.9947
0.0941	200	0.677	0.8319	0.9958
0.1412	300	0.6692	0.8273	0.9967
0.1882	400	0.5422	0.8174	0.9948
0.2353	500	0.6762	0.7709	0.9962
0.2824	600	0.5696	0.7179	0.9968
0.3294	700	0.6172	0.7979	0.9955
0.3765	800	0.406	0.6899	0.9967
0.4235	900	0.588	0.6845	0.9967
0.4706	1000	0.6073	0.6604	0.9968
0.5176	1100	0.5689	0.6430	0.998
0.5647	1200	0.5458	0.6381	0.9965
0.6118	1300	0.5853	0.6174	0.9967
0.6588	1400	0.679	0.6138	0.9977
0.7059	1500	0.4116	0.6291	0.9967
0.7529	1600	0.5759	0.5723	0.9973
0.8	1700	0.4866	0.5650	0.9973

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.2.0
• Transformers: 4.44.2
• PyTorch: 2.4.1+cu121
• Accelerate: 0.34.2
• Datasets: 3.0.1
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}