Hugging Face's logo

hatemestinbejaia
/
mmarco-Arabic-AraElectra-bi-encoder-KD-v1

Sentence Similarity
sentence-transformers
Safetensors
electra
feature-extraction
Generated from Trainer
dataset_size:5000000
loss:MarginMSELoss
Eval Results
Inference Endpoints
Model card Files Community
mmarco-Arabic-AraElectra-bi-encoder-KD-v1 / README.md
hatemestinbejaia's picture
hatemestinbejaia
Add new SentenceTransformer model
0563e00 verified
preview code
|
raw
history blame contribute delete
34 kB
metadata
base_model: aubmindlab/araelectra-base-discriminator
datasets:
  - hatemestinbejaia/RARAELECTRAandRARABERTusedDATASET
library_name: sentence-transformers
metrics:
  - map
  - mrr@10
  - ndcg@10
pipeline_tag: sentence-similarity
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:5000000
  - loss:MarginMSELoss
widget:
  - source_sentence: ما هي الدرجة المطلوبة ليكون طبيب نفساني للأطفال
    sentences:
      - >-
        بعد الانتهاء من درجة البكالوريوس ، يطلب من الأطباء النفسيين للأطفال
        إكمال كلية الطب لمدة 4 سنوات ( درجة MD أو DO ) قبل متابعة تدريب الإقامة
        . يتكون هذا عادة من ثلاث سنوات من الطب النفسي العام تليها سنتان من
        التدريب المخصص للطب النفسي للأطفال . لكي تصبح طبيبا نفسيا للأطفال ،
        تتطلب العديد من البرامج أن تحصل على درجة جامعية في علم النفس ، على الرغم
        من أن بعض برامج الدراسات العليا تتطلب فقط أن تأخذ الشرط الأساسي دورات
        العلوم ( الأحياء ، والعلوم الفيزيائية والاجتماعية ، والإحصاء ،
        والرياضيات ، وما إلى ذلك ) قبل التقدم للحصول على درجة الدراسات العليا .
      - >-
        التعليم مطلوب ليصبح عالم أرصاد جوية . لكي تصبح خبيرا في الأرصاد الجوية ،
        يجب أن تحصل على درجة جامعية في علم الأرصاد الجوية أو علوم الغلاف الجوي ،
        أو شهادة في الرياضيات أو العلوم الفيزيائية أو الهندسة مدعومة بدورات في
        علم الأرصاد الجوية .
      - >-
        تعريف . تحدث عدوى المكورات العنقودية بسبب بكتيريا المكورات العنقودية ،
        وهي أنواع من الجراثيم توجد عادة على الجلد أو في أنف الأفراد الأصحاء ،
        وفي معظم الأحيان لا تسبب هذه البكتيريا أي مشاكل أو تؤدي إلى التهابات
        جلدية طفيفة نسبيا . تحدث عدوى المكورات العنقودية بسبب بكتيريا المكورات
        العنقودية ، وهي أنواع من الجراثيم توجد عادة على الجلد أو في أنف الأفراد
        الأصحاء .
  - source_sentence: تعريف المنحنيات الثانوية
    sentences:
      - >-
        تقدم هذه الصفحة جميع المعاني والترجمات الممكنة لكلمة الخلافة الثانوية .
        Freebase ( 0 . 00 - 0 votes ) قيم هذا التعريف : التعاقب الثانوي هو أحد
        نوعي التعاقب البيئي للحياة النباتية .
      - >-
        التعريف - ماذا يعني التوهين ؟ التوهين هو مصطلح في الاتصالات يشير إلى
        انخفاض في قوة الإشارة يحدث عادة أثناء إرسال الإشارات التناظرية أو
        الرقمية عبر مسافات طويلة . يقاس التوهين تاريخيا بالديسيبل ولكن يمكن
        قياسه أيضا من حيث الجهد .
      - >-
        الانحناءات الثانوية للعمود الفقري . الانحناءات الثانوية للعمود الفقري .
        المنحنيات المحدبة بطنيا للعمود الفقري التي تتطور بعد الولادة في منطقتي
        عنق الرحم والقطني : اللوردس العنقي والقطني .
  - source_sentence: ما هو مرض الانسداد الرئوي المزمن ؟
    sentences:
      - >-
        أظهرت الدراسة بأثر رجعي عدم وجود فرق كبير في التحسن في تحمل التمرين أو
        QOL بعد إعادة التأهيل الرئوي في مرض الانسداد الرئوي المزمن مقابل مرضى
        الانسداد الرئوي المزمن . لذلك ، فإن إعادة التأهيل الرئوي فعالة للمرضى
        ذوي الإعاقة بسبب أي مرض تنفسي مزمن ، وليس فقط مرض الانسداد الرئوي المزمن
        .
      - >-
        التفاقم الحاد لمرض الانسداد الرئوي المزمن . التفاقم الحاد لمرض الانسداد
        الرئوي المزمن المعروف أيضا باسم التفاقم الحاد لالتهاب الشعب الهوائية
        المزمن ( AECB ) هو تفاقم مفاجئ لأعراض مرض الانسداد الرئوي المزمن ( ضيق
        التنفس وكمية ولون البلغم ) والذي يستمر عادة لعدة أيام . قد يحدث بسبب
        عدوى بكتيريا أو فيروسات أو عن طريق ملوثات بيئية .
      - >-
        هناك اختلافات رئيسية بين طريقة تصميم Shingrix و Zostavax . يحتوي لقاح
        الهربس النطاقي الجديد على مادة مساعدة ، وهي مادة تعزز استجابة الجهاز
        المناعي . قد يكون هذا هو ما يجعل Shingrix أكثر فاعلية وطويلة الأمد ، كما
        يقول شافنر من فاندربيلت .
  - source_sentence: تعريف المزواة
    sentences:
      - >-
        إجمالي المحطات . تعد المحطات الإجمالية واحدة من أكثر أدوات المسح شيوعا
        المستخدمة اليوم . وهي تتألف من جهاز ثيودوليت إلكتروني ومكون إلكتروني
        لقياس المسافة ( EDM ) . تتوفر أيضا محطات روبوتية كاملة تتيح التشغيل لشخص
        واحد من خلال التحكم في الجهاز باستخدام جهاز التحكم عن بعد . تاريخ
      - >-
        " تعريف " " المزواة " " . تردد الكلمات . المزواة ( اسم . أداة مسح لقياس
        الزوايا الأفقية والرأسية ، وتتكون من تلسكوب صغير مثبت على حامل ثلاثي
        القوائم ، وهو مجاني الحركة في المستويين الأفقي والعمودي . "
      - >-
        يمكن أن يحدث كسوف الشمس فقط خلال القمر الجديد ، عندما يتحرك القمر بين
        الأرض والشمس وتشكل الأجرام السماوية الثلاثة خطا مستقيما : الأرض والقمر
        والشمس . هناك ثلاثة أنواع من كسوف الشمس : الكلي ، الجزئي ، الحلقي . هناك
        أيضا هجين نادر هو مزيج من خسوفين .
  - source_sentence: ما هو سماد المرحاض
    sentences:
      - >-
        توقعات مفصلة لكل ساعة . 1 0 صباحا : توقعات هاولي ، بنسلفانيا ليوم 11
        أبريل هي 59 درجة وضباب . هناك فرصة بنسبة 58 بالمائة لسقوط أمطار ورياح 6
        ميل في الساعة من الجنوب الغربي . 2 3 صباحا : توقعات مدينة هاولي ،
        بنسلفانيا ليوم 11 أبريل هي 55 درجة وضبابية . هناك فرصة 60 بالمائة لسقوط
        أمطار ورياح 5 ميل في الساعة من الجنوب الغربي .
      - >-
        مرحاض السماد هو نوع من المراحيض الجافة التي تستخدم نظام معالجة هوائيا في
        الغالب لمعالجة الفضلات البشرية ، عن طريق التسميد أو التحلل الهوائي
        المدار . تستخدم هذه المراحيض عموما القليل من الماء أو لا تستخدم على
        الإطلاق ويمكن استخدامها كبديل لمراحيض الشطف .
      - >-
        اتصل بي مالك العقار بخصوص مشكلة تتعلق بالمرحاض ، ولم يعمل أي من المكبس
        أو مثقاب المرحاض ، وسحبت المرحاض لأجد لعبة كرة مطاطية تسد المرحاض . عمل
        المالك والمستأجر على ذلك وقام المستأجر بدفع الفاتورة .
model-index:
  - name: SentenceTransformer based on aubmindlab/araelectra-base-discriminator
    results:
      - task:
          type: reranking
          name: Reranking
        dataset:
          name: Unknown
          type: unknown
        metrics:
          - type: map
            value: 0.5517515590495886
            name: Map
          - type: mrr@10
            value: 0.5556388888888889
            name: Mrr@10
          - type: ndcg@10
            value: 0.6213073971291052
            name: Ndcg@10

SentenceTransformer based on aubmindlab/araelectra-base-discriminator

This is a sentence-transformers model finetuned from aubmindlab/araelectra-base-discriminator on the raraelectr_aand_raraber_tused_dataset dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: ElectraModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("hatemestinbejaia/KDAraELECTRADPR_initialversion0")
# Run inference
sentences = [
    'ما هو سماد المرحاض',
    'مرحاض السماد هو نوع من المراحيض الجافة التي تستخدم نظام معالجة هوائيا في الغالب لمعالجة الفضلات البشرية ، عن طريق التسميد أو التحلل الهوائي المدار . تستخدم هذه المراحيض عموما القليل من الماء أو لا تستخدم على الإطلاق ويمكن استخدامها كبديل لمراحيض الشطف .',
    'اتصل بي مالك العقار بخصوص مشكلة تتعلق بالمرحاض ، ولم يعمل أي من المكبس أو مثقاب المرحاض ، وسحبت المرحاض لأجد لعبة كرة مطاطية تسد المرحاض . عمل المالك والمستأجر على ذلك وقام المستأجر بدفع الفاتورة .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Reranking

Metric Value
map 0.5518
mrr@10 0.5556
ndcg@10 0.6213

Training Details

Training Dataset

raraelectr_aand_raraber_tused_dataset

  • Dataset: raraelectr_aand_raraber_tused_dataset at 41662fd
  • Size: 5,000,000 training samples
  • Columns: query, pos, neg, and label
  • Approximate statistics based on the first 1000 samples:
    query pos neg label
    type string string string float
    details
    • min: 4 tokens
    • mean: 8.89 tokens
    • max: 23 tokens
    • min: 11 tokens
    • mean: 77.44 tokens
    • max: 221 tokens
    • min: 12 tokens
    • mean: 69.83 tokens
    • max: 184 tokens
    • min: -2.88
    • mean: 12.91
    • max: 21.92
  • Samples:
    query pos neg label
    القليل من الكافيين جيد أثناء الحمل نحن لا نعرف الكثير عن تأثيرات الكافيين أثناء الحمل عليك وعلى طفلك . لذلك فمن الأفضل أن تحد من المبلغ الذي تحصل عليه كل يوم . إذا كنت حاملا ، قللي من تناول الكافيين إلى 200 ملليجرام يوميا . هذا هو الكمية الموجودة في فنجان واحد سعة 8 أونصات من القهوة أو فنجان قهوة سعة 12 أونصة . من الآمن عموما أن تتناول النساء الحوامل الشوكولاتة لأن الدراسات أثبتت وجود فوائد معينة لتناول الشوكولاتة أثناء الحمل . ومع ذلك ، يجب على النساء الحوامل التأكد من أن تناول الكافيين أقل من 200 مجم في اليوم . 4.0280589908361435
    ما هي الفاكهة الأصلية في أستراليا Passiflora herbertiana . فاكهة العاطفة النادرة موطنها أستراليا . الثمار ذات قشرة خضراء ، بيضاء اللون ، مع تصنيف غير معروف للأكل . تسرد بعض المصادر الفاكهة على أنها صالحة للأكل وحلوة ولذيذة ، بينما يسرد البعض الآخر الفاكهة على أنها مرة وغير صالحة للأكل . فاكهة العاطفة النادرة موطنها أستراليا . الثمار ذات قشرة خضراء ، بيضاء اللون ، مع تصنيف غير معروف للأكل . تسرد بعض المصادر الفاكهة على أنها صالحة للأكل وحلوة ولذيذة ، بينما يسرد البعض الآخر الفواكه على أنها مرة وغير صالحة للأكل . جوز الكولا هو ثمرة شجرة الكولا ، وهي جنس ( كولا ) من الأشجار التي تنتمي إلى الغابات الاستوائية المطيرة في إفريقيا . 10.18145449956258
    ما هو حجم الجيش الكندي القوات المسلحة الكندية . 1 بدأت أول مهمة حفظ سلام كندية واسعة النطاق في مصر في 24 نوفمبر 1956 . 2 هناك ما يقرب من 65000 من القوات النظامية و 25000 من أفراد الاحتياط في الجيش الكندي . 3 في كندا ، تم تحديد يوم 9 أغسطس كيوم حفظة السلام الوطنيين . المعهد الكندي لصحة الأطباء ( CPHI ) هو برنامج وطني تم إنشاؤه في عام 2012 كتعاون بين الجمعية الطبية الكندية ( CMA ) والمؤسسة الطبية الكندية ( CMF ) والجمعيات الطبية الإقليمية والإقليمية ( PTMAs ) . 16.420575777689614
  • Loss: main.MarginMSELoss

Evaluation Dataset

raraelectr_aand_raraber_tused_dataset

  • Dataset: raraelectr_aand_raraber_tused_dataset at 41662fd
  • Size: 10,000 evaluation samples
  • Columns: query, pos, neg, and label
  • Approximate statistics based on the first 1000 samples:
    query pos neg label
    type string string string float
    details
    • min: 3 tokens
    • mean: 8.69 tokens
    • max: 24 tokens
    • min: 18 tokens
    • mean: 73.9 tokens
    • max: 202 tokens
    • min: 21 tokens
    • mean: 71.16 tokens
    • max: 171 tokens
    • min: -0.75
    • mean: 13.72
    • max: 22.62
  • Samples:
    query pos neg label
    ما هو اسم د . كوين اعرض الشخصيات المختلفة التي لعبها نفس الممثل . الدكتورة ميكايلا كوين . ولدت ميكايلا في 15 فبراير 1833 في بوسطن ، ماساتشوستس ، لأبوين جوزيف وإليزابيث كوين . هناك نشأت مع شقيقاتها الأربع : ماري ( التي تم تغيير اسمها إلى ريبيكا ) ، ومارجوري ، وكلوديت ، ومورين . كان والدها يريد ابنا ، لذلك عندما ولدت أطلق عليها اسم ميكايلا ( الملقب مايك ) . ليس لدى د . ماكفارلاند أي تأمينات مدرجة . إذا كنت دكتور ماكفارلاند وترغب في إضافة تأمينات تقبلها ، يرجى تحديث ملفك التعريفي المجاني . الانتساب إلى المستشفى ينتمي د . ماكفارلاند إلى المستشفيات التالية . 15.524045944213867
    من يلعب دور بيرني مادوف ساحر الأكاذيب هو واحد من اثنين من مشاريع Madoff التلفزيونية قيد الإعداد . ABC لديها مسلسل قصير قادم يسمى مادوف ، من بطولة ريتشارد دريفوس وبليث دانر . قصص ذات الصلة . روبرت دي نيرو يسجل الدخول للعب بيرني مادوف في فيلم HBO المحتمل . اتهمت السلطات الأمريكية مسؤول تنفيذي للمحاسبة يزعم أنه ساعد برنارد مادوف في مخطط بونزي الذي تبلغ تكلفته عدة مليارات من الدولارات ، والذي يوسع نطاق تحقيقه في الاحتيال بعد خمس سنوات من اكتشافه . 13.17703644434611
    كم قدم مكعب في طن من حصى البازلاء لذلك 1 طن لديه 2000 - 100 أو 20 قدم مكعب من الحصى . الفناء المكعب هو 3x3x3 = 27 قدما مكعبا من الفناء المكعب ، الإجابة 20 - 27 أو 0 . 74 ياردة مكعبة . العوامل الأخرى التي تؤثر على حجم الحصى هي محتوى الرطوبة ودرجات المواد . يحتوي حصى البازلاء على سبيل المثال على جميع الجزيئات ذات الحجم المحدد ، على سبيل المثال ، 1 - 4 بوصة ، حوالي 120 رطلا للإشارة فقط : 1 قدم مكعب = 6 . 25 جالون ( إمبراطوري ) ، جالون من الماء يزن 10 أرطال ، لذا فإن القدم المكعبة من الماء تزن 62 . 5 رطلا . هذا يعني أن الجاذبية النوعية للحصى هي 120 - 62 . 5 ، أو أقل قليلا من 2 . 1 كيس قدم مكعب واحد ( التربة والمهاد ) يغطي ما يقرب من 8 أقدام مربعة إلى عمق 3 . 2 كيس واحد 75 رطلا ( الحصى والرمل ) يغطي حوالي 4 أقدام مربعة إلى عمق 3 . 3 بوصات سميكة ستغطي حوالي 300 قدم مربع . سيغطي سمك 1 حوالي 150 قدما مربعا . 10.34702980518341
  • Loss: main.MarginMSELoss

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 16
  • gradient_accumulation_steps: 8
  • learning_rate: 7e-05
  • warmup_ratio: 0.07
  • fp16: True
  • half_precision_backend: amp
  • load_best_model_at_end: True
  • fp16_backend: amp

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 8
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 8
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 7e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 3
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.07
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: True
  • fp16_opt_level: O1
  • half_precision_backend: amp
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • eval_do_concat_batches: True
  • fp16_backend: amp
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: proportional

Training Logs

Epoch Step Training Loss Validation Loss map
2.0992 82000 0.0002 0.0009 0.5416
2.1504 84000 0.0002 0.0009 0.5459
2.2016 86000 0.0002 0.0009 0.5404
2.2528 88000 0.0002 0.0009 0.5455
2.3040 90000 0.0002 0.0008 0.5518

Framework Versions

  • Python: 3.10.14
  • Sentence Transformers: 3.3.1
  • Transformers: 4.45.1
  • PyTorch: 2.4.0
  • Accelerate: 0.34.2
  • Datasets: 3.0.1
  • Tokenizers: 0.20.0

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MarginMSELoss 

@misc{hofstätter2021improving,
    title={Improving Efficient Neural Ranking Models with Cross-Architecture Knowledge Distillation},
    author={Sebastian Hofstätter and Sophia Althammer and Michael Schröder and Mete Sertkan and Allan Hanbury},
    year={2021},
    eprint={2010.02666},
    archivePrefix={arXiv},
    primaryClass={cs.IR}
}