YAML Metadata Warning: The pipeline tag "text-ranking" is not in the official list: text-classification, token-classification, table-question-answering, question-answering, zero-shot-classification, translation, summarization, feature-extraction, text-generation, text2text-generation, fill-mask, sentence-similarity, text-to-speech, text-to-audio, automatic-speech-recognition, audio-to-audio, audio-classification, audio-text-to-text, voice-activity-detection, depth-estimation, image-classification, object-detection, image-segmentation, text-to-image, image-to-text, image-to-image, image-to-video, unconditional-image-generation, video-classification, reinforcement-learning, robotics, tabular-classification, tabular-regression, tabular-to-text, table-to-text, multiple-choice, text-retrieval, time-series-forecasting, text-to-video, image-text-to-text, visual-question-answering, document-question-answering, zero-shot-image-classification, graph-ml, mask-generation, zero-shot-object-detection, text-to-3d, image-to-3d, image-feature-extraction, video-text-to-text, keypoint-detection, visual-document-retrieval, any-to-any, other

CrossEncoder based on almanach/camembertv2-base

This is a Cross Encoder model finetuned from almanach/camembertv2-base using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

  • Model Type: Cross Encoder
  • Base model: almanach/camembertv2-base
  • Maximum Sequence Length: 1024 tokens
  • Number of Output Labels: 1 label

Model Sources

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("tomaarsen/reranker-camembertv2-base-fr")
# Get scores for pairs of texts
pairs = [
    ['', 'Fils d’un agriculteur, Pierre Mumbere Mujomba est né en 1956 à Kilonge, au Nord-Kivu. Après des études secondaires littéraires au "Collège Kambali" à Butembo, il entre à l’institut supérieur pédagogique de Kisangani où il obtient un graduat. Mais c’est à Kinshasa, à L’institut Pédagogique national qu’il décroche une licence en français et linguistique africaine. Il a été professeur de français à l’Alliance française de Kinshasa et coordinateur du centre de coopération Congo-Canada. Pierre Mumbere Mujomba dirige aujourd’hui le Musée littéraire à la bibliothèque nationale du Congo, enseigne également le français à l’institut supérieur des arts et métiers de Kinshasa et dirige la compagnie de théâtre "Graben" qu’il a créé en 1998.'],
    ['', 'Le temple de Jupiter, le plus ancien, fut construit en plusieurs étapes. Le temple était déjà bien avancé sous Néron, mais l’ensemble ne fut achevé et inauguré qu’au . On y accède par un propylée : un escalier monumental conduit à un portique à douze colonnes encadré de deux tours. Selon une inscription latine, un légionnaire aurait fait recouvrir d’or l’un des deux chapiteaux des colonnes. Par un escalier monumental à trois volées, les prêtres atteignaient le temple de Jupiter dont ne subsistent que six colonnes, hautes de vingt-deux mètres, avec une base de de diamètre. Ce temple est le plus grand ( sur 48) de tout le monde romain, à l\'exception du grand temple de Tarse qui lui est supérieur. Il était probablement périptère, avec dix colonnes en façade et dix-neuf sur les longs côtés. Si son plan intérieur était similaire à celui du temple de Bacchus, il comportait un pronaos précédé de huit colonnes et d’une "cella".'],
    ['', 'Ōkubo Toshimichi, homme d\'État de Tokyo, suggère en 1875 que si le marquis Shō Tai était fait gouverneur héréditaire d\'Okinawa, cela serait utile pour calmer les éléments anti-japonais à Okinawa et aiderait la préfecture à mieux s\'assimiler à la Nation. À Okinawa, un important mouvement appelé le ""  fait les mêmes propositions quelques années plus tard mais l\'idée est finalement rejetée par Tokyo car elle représenterait un échec de l\'administration actuelle et pourrait relancer les questions sur la souveraineté des îles.'],
    ['', "Le premier projet d'axe est-ouest est compris dans le «\xa0plan d’utilité et d’embellissement de la Ville de Paris\xa0» établi en 1789 par l'architecte Charles de Wailly. La rue, apparemment assez étroite, figurant dans ce document aurait relié en ligne droite la colonnade du Louvre à la rue Saint-Antoine (à l'emplacement de l'arrivée actuelle de la rue de Rivoli). À cette date, une voie correspondant à l'actuelle rue de Rivoli le long du jardin des Tuileries ne pouvait être envisagée sur les terrains des couvents des Capucins et des Feuillants. Le plan des artistes établi en 1797 reprend cette proposition et ajoute une rue de la place de la Concorde au Louvre dont la réalisation était devenue possible, au moins de la place de la Concorde jusqu'au passage Delorme par la disponibilité des domaines de ces couvents devenus biens nationaux. Cette partie du plan des artistes correspond à la partie ouverte au début des années 1800. Son prolongement de la rue de Rohan à la rue Saint-Antoine qui nécessitait des expropriations n'est réalisée que de 1849 à 1855, non sur le parcours au départ de la colonnade du Louvre envisagé primitivement mais dans le prolongement en ligne droite du tronçon réalisé."],
    ['', "Les indigènes de la région des Everglades sont arrivés dans la péninsule de Floride de ce qui est maintenant les États-Unis il y a approximativement à . Les Paléoaméricains ont trouvé un paysage aride qui a conservé des végétaux et des animaux. Les «\xa0grands\xa0» animaux se sont éteints en Floride il y a environ . Les changements climatiques il y a ont apporté un paysage plus humide. Les Paléoaméricains se sont lentement adaptés aux nouvelles conditions de vie. Ils s'approprient mieux aux changements perpétuels de l'environnement que leurs ancêtres, et créaient de nombreux outils avec les ressources disponibles. Il y a environ , le climat a encore changé pour causer l'inondation régulière du lac Okeechobee qui a provoqué les écosystèmes de marais."],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    '',
    [
        'Fils d’un agriculteur, Pierre Mumbere Mujomba est né en 1956 à Kilonge, au Nord-Kivu. Après des études secondaires littéraires au "Collège Kambali" à Butembo, il entre à l’institut supérieur pédagogique de Kisangani où il obtient un graduat. Mais c’est à Kinshasa, à L’institut Pédagogique national qu’il décroche une licence en français et linguistique africaine. Il a été professeur de français à l’Alliance française de Kinshasa et coordinateur du centre de coopération Congo-Canada. Pierre Mumbere Mujomba dirige aujourd’hui le Musée littéraire à la bibliothèque nationale du Congo, enseigne également le français à l’institut supérieur des arts et métiers de Kinshasa et dirige la compagnie de théâtre "Graben" qu’il a créé en 1998.',
        'Le temple de Jupiter, le plus ancien, fut construit en plusieurs étapes. Le temple était déjà bien avancé sous Néron, mais l’ensemble ne fut achevé et inauguré qu’au . On y accède par un propylée : un escalier monumental conduit à un portique à douze colonnes encadré de deux tours. Selon une inscription latine, un légionnaire aurait fait recouvrir d’or l’un des deux chapiteaux des colonnes. Par un escalier monumental à trois volées, les prêtres atteignaient le temple de Jupiter dont ne subsistent que six colonnes, hautes de vingt-deux mètres, avec une base de de diamètre. Ce temple est le plus grand ( sur 48) de tout le monde romain, à l\'exception du grand temple de Tarse qui lui est supérieur. Il était probablement périptère, avec dix colonnes en façade et dix-neuf sur les longs côtés. Si son plan intérieur était similaire à celui du temple de Bacchus, il comportait un pronaos précédé de huit colonnes et d’une "cella".',
        'Ōkubo Toshimichi, homme d\'État de Tokyo, suggère en 1875 que si le marquis Shō Tai était fait gouverneur héréditaire d\'Okinawa, cela serait utile pour calmer les éléments anti-japonais à Okinawa et aiderait la préfecture à mieux s\'assimiler à la Nation. À Okinawa, un important mouvement appelé le ""  fait les mêmes propositions quelques années plus tard mais l\'idée est finalement rejetée par Tokyo car elle représenterait un échec de l\'administration actuelle et pourrait relancer les questions sur la souveraineté des îles.',
        "Le premier projet d'axe est-ouest est compris dans le «\xa0plan d’utilité et d’embellissement de la Ville de Paris\xa0» établi en 1789 par l'architecte Charles de Wailly. La rue, apparemment assez étroite, figurant dans ce document aurait relié en ligne droite la colonnade du Louvre à la rue Saint-Antoine (à l'emplacement de l'arrivée actuelle de la rue de Rivoli). À cette date, une voie correspondant à l'actuelle rue de Rivoli le long du jardin des Tuileries ne pouvait être envisagée sur les terrains des couvents des Capucins et des Feuillants. Le plan des artistes établi en 1797 reprend cette proposition et ajoute une rue de la place de la Concorde au Louvre dont la réalisation était devenue possible, au moins de la place de la Concorde jusqu'au passage Delorme par la disponibilité des domaines de ces couvents devenus biens nationaux. Cette partie du plan des artistes correspond à la partie ouverte au début des années 1800. Son prolongement de la rue de Rohan à la rue Saint-Antoine qui nécessitait des expropriations n'est réalisée que de 1849 à 1855, non sur le parcours au départ de la colonnade du Louvre envisagé primitivement mais dans le prolongement en ligne droite du tronçon réalisé.",
        "Les indigènes de la région des Everglades sont arrivés dans la péninsule de Floride de ce qui est maintenant les États-Unis il y a approximativement à . Les Paléoaméricains ont trouvé un paysage aride qui a conservé des végétaux et des animaux. Les «\xa0grands\xa0» animaux se sont éteints en Floride il y a environ . Les changements climatiques il y a ont apporté un paysage plus humide. Les Paléoaméricains se sont lentement adaptés aux nouvelles conditions de vie. Ils s'approprient mieux aux changements perpétuels de l'environnement que leurs ancêtres, et créaient de nombreux outils avec les ressources disponibles. Il y a environ , le climat a encore changé pour causer l'inondation régulière du lac Okeechobee qui a provoqué les écosystèmes de marais.",
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

Evaluation

Metrics

Cross Encoder Reranking

Metric Value
map 0.5465 (+0.0743)
mrr@10 0.5454 (+0.0767)
ndcg@10 0.5725 (+0.0697)

Training Details

Training Dataset

Unnamed Dataset

  • Size: 548,005 training samples
  • Columns: query, text, and label
  • Approximate statistics based on the first 1000 samples:
    query text label
    type string string int
    details
    • min: 0 characters
    • mean: 39.08 characters
    • max: 140 characters
    • min: 80 characters
    • mean: 479.61 characters
    • max: 2854 characters
    • 0: ~79.40%
    • 1: ~20.60%
  • Samples:
    query text label
    Fils d’un agriculteur, Pierre Mumbere Mujomba est né en 1956 à Kilonge, au Nord-Kivu. Après des études secondaires littéraires au "Collège Kambali" à Butembo, il entre à l’institut supérieur pédagogique de Kisangani où il obtient un graduat. Mais c’est à Kinshasa, à L’institut Pédagogique national qu’il décroche une licence en français et linguistique africaine. Il a été professeur de français à l’Alliance française de Kinshasa et coordinateur du centre de coopération Congo-Canada. Pierre Mumbere Mujomba dirige aujourd’hui le Musée littéraire à la bibliothèque nationale du Congo, enseigne également le français à l’institut supérieur des arts et métiers de Kinshasa et dirige la compagnie de théâtre "Graben" qu’il a créé en 1998. 1
    Le temple de Jupiter, le plus ancien, fut construit en plusieurs étapes. Le temple était déjà bien avancé sous Néron, mais l’ensemble ne fut achevé et inauguré qu’au . On y accède par un propylée : un escalier monumental conduit à un portique à douze colonnes encadré de deux tours. Selon une inscription latine, un légionnaire aurait fait recouvrir d’or l’un des deux chapiteaux des colonnes. Par un escalier monumental à trois volées, les prêtres atteignaient le temple de Jupiter dont ne subsistent que six colonnes, hautes de vingt-deux mètres, avec une base de de diamètre. Ce temple est le plus grand ( sur 48) de tout le monde romain, à l'exception du grand temple de Tarse qui lui est supérieur. Il était probablement périptère, avec dix colonnes en façade et dix-neuf sur les longs côtés. Si son plan intérieur était similaire à celui du temple de Bacchus, il comportait un pronaos précédé de huit colonnes et d’une "cella". 1
    Ōkubo Toshimichi, homme d'État de Tokyo, suggère en 1875 que si le marquis Shō Tai était fait gouverneur héréditaire d'Okinawa, cela serait utile pour calmer les éléments anti-japonais à Okinawa et aiderait la préfecture à mieux s'assimiler à la Nation. À Okinawa, un important mouvement appelé le "" fait les mêmes propositions quelques années plus tard mais l'idée est finalement rejetée par Tokyo car elle représenterait un échec de l'administration actuelle et pourrait relancer les questions sur la souveraineté des îles. 1
  • Loss: BinaryCrossEntropyLoss with these parameters:
    {
        "activation_fct": "torch.nn.modules.linear.Identity",
        "pos_weight": 5
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • learning_rate: 2e-05
  • num_train_epochs: 1
  • warmup_ratio: 0.1
  • seed: 12
  • bf16: True
  • load_best_model_at_end: True

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 1
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 12
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: True
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: proportional

Training Logs

Epoch Step Training Loss swim_ir_dev_ndcg@10
-1 -1 - 0.1038 (-0.3989)
0.0000 1 1.606 -
0.0292 1000 0.745 -
0.0584 2000 0.2021 -
0.0876 3000 0.1906 -
0.1168 4000 0.2005 0.5725 (+0.0697)
0.1460 5000 0.1713 -
0.1752 6000 0.1819 -
0.2044 7000 0.1772 -
0.2336 8000 0.1324 0.5713 (+0.0685)
0.2628 9000 0.1404 -
0.2920 10000 0.1443 -
0.3212 11000 0.1589 -
0.3504 12000 0.1473 0.4714 (-0.0313)
0.3796 13000 0.1253 -
0.4087 14000 0.1435 -
0.4379 15000 0.1219 -
0.4671 16000 0.1219 0.5401 (+0.0373)
0.4963 17000 0.1154 -
0.5255 18000 0.1393 -
0.5547 19000 0.1252 -
0.5839 20000 0.0986 0.5654 (+0.0626)
0.6131 21000 0.1151 -
0.6423 22000 0.1143 -
0.6715 23000 0.123 -
0.7007 24000 0.0885 0.3843 (-0.1185)
0.7299 25000 0.1138 -
0.7591 26000 0.0957 -
0.7883 27000 0.0865 -
0.8175 28000 0.1016 0.4097 (-0.0931)
0.8467 29000 0.1085 -
0.8759 30000 0.0694 -
0.9051 31000 0.0754 -
0.9343 32000 0.0845 0.3099 (-0.1928)
0.9635 33000 0.0837 -
0.9927 34000 0.0756 -
-1 -1 - 0.5725 (+0.0697)
  • The bold row denotes the saved checkpoint.

Environmental Impact

Carbon emissions were measured using CodeCarbon.

  • Energy Consumed: 0.609 kWh
  • Carbon Emitted: 0.237 kg of CO2
  • Hours Used: 1.557 hours

Training Hardware

  • On Cloud: No
  • GPU Model: 1 x NVIDIA GeForce RTX 3090
  • CPU Model: 13th Gen Intel(R) Core(TM) i7-13700K
  • RAM Size: 31.78 GB

Framework Versions

  • Python: 3.11.6
  • Sentence Transformers: 3.5.0.dev0
  • Transformers: 4.49.0
  • PyTorch: 2.6.0+cu124
  • Accelerate: 1.4.0
  • Datasets: 3.3.2
  • Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
Downloads last month
3
Safetensors
Model size
112M params
Tensor type
F32
·
Inference Providers NEW
This model is not currently available via any of the supported Inference Providers.
The model cannot be deployed to the HF Inference API: The model has no pipeline_tag.

Model tree for tomaarsen/reranker-camembertv2-base-fr

Finetuned
(14)
this model

Evaluation results