--- base_model: FacebookAI/xlm-roberta-large library_name: sentence-transformers metrics: - pearson_cosine - spearman_cosine - pearson_manhattan - spearman_manhattan - pearson_euclidean - spearman_euclidean - pearson_dot - spearman_dot - pearson_max - spearman_max pipeline_tag: sentence-similarity tags: - sentence-transformers - sentence-similarity - feature-extraction widget: - source_sentence: ثلاثة كلاب، واحد منهم لديه كرة زرقاء. sentences: - هناك ثلاثة حيوانات. - كل ثلاثة كلاب لديهم ألعاب حمراء - أنثى تلعب كرة القدم - source_sentence: نسبة الكوليسترول في غمد الميالين sentences: - العديد من الخلايا الدبقية التي تصطف على طول محور عصبي مطلوبة لتكوين الميالين بالكامل وعزل خلية عصبية طويلة. يتكون المايلين من حوالي 30٪ بروتين و 27٪ كوليسترول و 43٪ فوسفوليبيد ، ويعتمد إنتاج المايلين بشكل كامل على تخليق الكوليسترول في الخلايا الدبقية. مادة دهنية تحيط بأجزاء طويلة من الألياف العصبية. الميالين يعزل الخلايا العصبية ويعزز مرور الإشارات الكهربائية في جميع أنحاء دائرة جهازك العصبي. - جزء من لفافة عنق الرحم يحيط بالشريان السباتي والوريد الوداجي الداخلي والعصب المبهم أو العصب الودي المبهم. الوتر الرسغي. أغماد لأوتار العضلات التي تتحرك فوق الرسغ. غمد مغزلي. غمد عظم الفخذ. الاستثمار الخارجي للعصب البصري. غمد الفخذ. الغمد اللفافي لأوعية الفخذ. غمد هنلي. endoneurium ، وخاصة الاستمرارية الدقيقة حول الفروع الطرفية للألياف العصبية. غمد رقائقي. العجان. - تتضمن البيانات، عند الاقتضاء، مقاييس الأداء. - source_sentence: قد تتأثر تقديرات مخاطر وفيات الأوزون على المدى القصير أيضًا بالمسألة الإحصائية التي اكتشفها معهد الآثار الصحية (Greenbaum, 2002a). sentences: - لم يجد معهد الآثار الصحية أي مشاكل في تقييم مخاطر وفيات الأوزون على المدى القصير - قد ينتج عن الصداع النصفي والصداع العنقودي ألمًا شديدًا من جانب واحد ، ولكن على عكس ألم العصب الثلاثي التوائم ، لا تحدث هذه الحالات عن طريق الحركة أو ملامسة الوجه ولا تستجيب على الفور لكاربامازيبين. انظر الجدول 1 أدناه. - اكتشف معهد الآثار الصحية مشكلة إحصائية مع تقييم مخاطر وفيات الأوزون قصيرة الأجل. - source_sentence: الآثار الجانبية فينيليفرين sentences: - يسبب آثارا جانبية عند بعض المرضى. التأثير الجانبي الأكثر شيوعًا هو السعال المستمر. في حين أن معظم الآثار الجانبية لليزينوبريل غير ضارة ، يجب أن تكون على دراية بالآثار الجانبية الخطيرة ، والتي يمكن أن تشير إلى رد فعل تحسسي ، إذا كنت تعاني من أي آثار جانبية ، يجب عليك التحدث إلى طبيبك. ترتبط أحيانًا بانخفاض ضغط الدم (انخفاض ضغط الدم) ، خاصة في بداية العلاج. - تشمل بعض الآثار الجانبية المحتملة لفينيليفرين الدوخة والأرق والصداع. في معظم الحالات ، تميل الآثار الجانبية إلى أن تكون طفيفة ويسهل علاجها بشكل عام. - الرجل يلعب كرة السلة - source_sentence: سوق للمنتجات داخل مبنى كبير ذو جدران بيضاء. sentences: - راكب الدراجة مغطى بالطين - سوق المنتجات داخل مبنى صغير أسود الجدران. - السوق يبيع الخضروات. model-index: - name: SentenceTransformer based on FacebookAI/xlm-roberta-large results: - task: type: semantic-similarity name: Semantic Similarity dataset: name: sts dev type: sts-dev metrics: - type: pearson_cosine value: 0.8256350418804052 name: Pearson Cosine - type: spearman_cosine value: 0.827478494281667 name: Spearman Cosine - type: pearson_manhattan value: 0.8228224900306127 name: Pearson Manhattan - type: spearman_manhattan value: 0.8284011632112219 name: Spearman Manhattan - type: pearson_euclidean value: 0.8231973876582674 name: Pearson Euclidean - type: spearman_euclidean value: 0.8288613978074281 name: Spearman Euclidean - type: pearson_dot value: 0.8016573454999604 name: Pearson Dot - type: spearman_dot value: 0.8004396683364462 name: Spearman Dot - type: pearson_max value: 0.8256350418804052 name: Pearson Max - type: spearman_max value: 0.8288613978074281 name: Spearman Max --- # SentenceTransformer based on FacebookAI/xlm-roberta-large This is an **Arabic only** [sentence-transformers](https://www.SBERT.net) model finetuned from [FacebookAI/xlm-roberta-large](https://huggingface.co/FacebookAI/xlm-roberta-large). It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. ## Model Details ### Model Description - **Model Type:** Sentence Transformer - **Base model:** [FacebookAI/xlm-roberta-large](https://huggingface.co/FacebookAI/xlm-roberta-large) - **Maximum Sequence Length:** 512 tokens - **Output Dimensionality:** 1024 tokens - **Similarity Function:** Cosine Similarity ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) ### Full Model Architecture ``` SentenceTransformer( (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) ) ``` ## Usage ### Direct Usage (Sentence Transformers) First install the Sentence Transformers library: ```bash pip install -U sentence-transformers ``` Then you can load this model and run inference. ```python from sentence_transformers import SentenceTransformer # Download from the 🤗 Hub model = SentenceTransformer("sentence_transformers_model_id") # Run inference sentences = [ 'سوق للمنتجات داخل مبنى كبير ذو جدران بيضاء.', 'السوق يبيع الخضروات.', 'سوق المنتجات داخل مبنى صغير أسود الجدران.', ] embeddings = model.encode(sentences) print(embeddings.shape) # [3, 1024] # Get the similarity scores for the embeddings similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [3, 3] ``` ## Evaluation ### Metrics #### Semantic Similarity * Dataset: `sts-dev` * Evaluated with [EmbeddingSimilarityEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.EmbeddingSimilarityEvaluator) | Metric | Value | |:--------------------|:-----------| | pearson_cosine | 0.8256 | | **spearman_cosine** | **0.8275** | | pearson_manhattan | 0.8228 | | spearman_manhattan | 0.8284 | | pearson_euclidean | 0.8232 | | spearman_euclidean | 0.8289 | | pearson_dot | 0.8017 | | spearman_dot | 0.8004 | | pearson_max | 0.8256 | | spearman_max | 0.8289 | ## Citation ### BibTeX #### Sentence Transformers ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ``` #### MatryoshkaLoss ```bibtex @misc{kusupati2024matryoshka, title={Matryoshka Representation Learning}, author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi}, year={2024}, eprint={2205.13147}, archivePrefix={arXiv}, primaryClass={cs.LG} } ``` #### MultipleNegativesRankingLoss ```bibtex @misc{henderson2017efficient, title={Efficient Natural Language Response Suggestion for Smart Reply}, author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil}, year={2017}, eprint={1705.00652}, archivePrefix={arXiv}, primaryClass={cs.CL} } ```