YAML Metadata
Warning:
The pipeline tag "text-ranking" is not in the official list: text-classification, token-classification, table-question-answering, question-answering, zero-shot-classification, translation, summarization, feature-extraction, text-generation, text2text-generation, fill-mask, sentence-similarity, text-to-speech, text-to-audio, automatic-speech-recognition, audio-to-audio, audio-classification, audio-text-to-text, voice-activity-detection, depth-estimation, image-classification, object-detection, image-segmentation, text-to-image, image-to-text, image-to-image, image-to-video, unconditional-image-generation, video-classification, reinforcement-learning, robotics, tabular-classification, tabular-regression, tabular-to-text, table-to-text, multiple-choice, text-retrieval, time-series-forecasting, text-to-video, image-text-to-text, visual-question-answering, document-question-answering, zero-shot-image-classification, graph-ml, mask-generation, zero-shot-object-detection, text-to-3d, image-to-3d, image-feature-extraction, video-text-to-text, keypoint-detection, visual-document-retrieval, any-to-any, other
CrossEncoder based on almanach/camembertv2-base
This is a Cross Encoder model finetuned from almanach/camembertv2-base using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.
Model Details
Model Description
- Model Type: Cross Encoder
- Base model: almanach/camembertv2-base
- Maximum Sequence Length: 1024 tokens
- Number of Output Labels: 1 label
Model Sources
- Documentation: Sentence Transformers Documentation
- Documentation: Cross Encoder Documentation
- Repository: Sentence Transformers on GitHub
- Hugging Face: Cross Encoders on Hugging Face
Usage
Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import CrossEncoder
# Download from the 🤗 Hub
model = CrossEncoder("tomaarsen/reranker-camembertv2-base-fr")
# Get scores for pairs of texts
pairs = [
['', 'Fils d’un agriculteur, Pierre Mumbere Mujomba est né en 1956 à Kilonge, au Nord-Kivu. Après des études secondaires littéraires au "Collège Kambali" à Butembo, il entre à l’institut supérieur pédagogique de Kisangani où il obtient un graduat. Mais c’est à Kinshasa, à L’institut Pédagogique national qu’il décroche une licence en français et linguistique africaine. Il a été professeur de français à l’Alliance française de Kinshasa et coordinateur du centre de coopération Congo-Canada. Pierre Mumbere Mujomba dirige aujourd’hui le Musée littéraire à la bibliothèque nationale du Congo, enseigne également le français à l’institut supérieur des arts et métiers de Kinshasa et dirige la compagnie de théâtre "Graben" qu’il a créé en 1998.'],
['', 'Le temple de Jupiter, le plus ancien, fut construit en plusieurs étapes. Le temple était déjà bien avancé sous Néron, mais l’ensemble ne fut achevé et inauguré qu’au . On y accède par un propylée : un escalier monumental conduit à un portique à douze colonnes encadré de deux tours. Selon une inscription latine, un légionnaire aurait fait recouvrir d’or l’un des deux chapiteaux des colonnes. Par un escalier monumental à trois volées, les prêtres atteignaient le temple de Jupiter dont ne subsistent que six colonnes, hautes de vingt-deux mètres, avec une base de de diamètre. Ce temple est le plus grand ( sur 48) de tout le monde romain, à l\'exception du grand temple de Tarse qui lui est supérieur. Il était probablement périptère, avec dix colonnes en façade et dix-neuf sur les longs côtés. Si son plan intérieur était similaire à celui du temple de Bacchus, il comportait un pronaos précédé de huit colonnes et d’une "cella".'],
['', 'Ōkubo Toshimichi, homme d\'État de Tokyo, suggère en 1875 que si le marquis Shō Tai était fait gouverneur héréditaire d\'Okinawa, cela serait utile pour calmer les éléments anti-japonais à Okinawa et aiderait la préfecture à mieux s\'assimiler à la Nation. À Okinawa, un important mouvement appelé le "" fait les mêmes propositions quelques années plus tard mais l\'idée est finalement rejetée par Tokyo car elle représenterait un échec de l\'administration actuelle et pourrait relancer les questions sur la souveraineté des îles.'],
['', "Le premier projet d'axe est-ouest est compris dans le «\xa0plan d’utilité et d’embellissement de la Ville de Paris\xa0» établi en 1789 par l'architecte Charles de Wailly. La rue, apparemment assez étroite, figurant dans ce document aurait relié en ligne droite la colonnade du Louvre à la rue Saint-Antoine (à l'emplacement de l'arrivée actuelle de la rue de Rivoli). À cette date, une voie correspondant à l'actuelle rue de Rivoli le long du jardin des Tuileries ne pouvait être envisagée sur les terrains des couvents des Capucins et des Feuillants. Le plan des artistes établi en 1797 reprend cette proposition et ajoute une rue de la place de la Concorde au Louvre dont la réalisation était devenue possible, au moins de la place de la Concorde jusqu'au passage Delorme par la disponibilité des domaines de ces couvents devenus biens nationaux. Cette partie du plan des artistes correspond à la partie ouverte au début des années 1800. Son prolongement de la rue de Rohan à la rue Saint-Antoine qui nécessitait des expropriations n'est réalisée que de 1849 à 1855, non sur le parcours au départ de la colonnade du Louvre envisagé primitivement mais dans le prolongement en ligne droite du tronçon réalisé."],
['', "Les indigènes de la région des Everglades sont arrivés dans la péninsule de Floride de ce qui est maintenant les États-Unis il y a approximativement à . Les Paléoaméricains ont trouvé un paysage aride qui a conservé des végétaux et des animaux. Les «\xa0grands\xa0» animaux se sont éteints en Floride il y a environ . Les changements climatiques il y a ont apporté un paysage plus humide. Les Paléoaméricains se sont lentement adaptés aux nouvelles conditions de vie. Ils s'approprient mieux aux changements perpétuels de l'environnement que leurs ancêtres, et créaient de nombreux outils avec les ressources disponibles. Il y a environ , le climat a encore changé pour causer l'inondation régulière du lac Okeechobee qui a provoqué les écosystèmes de marais."],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)
# Or rank different texts based on similarity to a single text
ranks = model.rank(
'',
[
'Fils d’un agriculteur, Pierre Mumbere Mujomba est né en 1956 à Kilonge, au Nord-Kivu. Après des études secondaires littéraires au "Collège Kambali" à Butembo, il entre à l’institut supérieur pédagogique de Kisangani où il obtient un graduat. Mais c’est à Kinshasa, à L’institut Pédagogique national qu’il décroche une licence en français et linguistique africaine. Il a été professeur de français à l’Alliance française de Kinshasa et coordinateur du centre de coopération Congo-Canada. Pierre Mumbere Mujomba dirige aujourd’hui le Musée littéraire à la bibliothèque nationale du Congo, enseigne également le français à l’institut supérieur des arts et métiers de Kinshasa et dirige la compagnie de théâtre "Graben" qu’il a créé en 1998.',
'Le temple de Jupiter, le plus ancien, fut construit en plusieurs étapes. Le temple était déjà bien avancé sous Néron, mais l’ensemble ne fut achevé et inauguré qu’au . On y accède par un propylée : un escalier monumental conduit à un portique à douze colonnes encadré de deux tours. Selon une inscription latine, un légionnaire aurait fait recouvrir d’or l’un des deux chapiteaux des colonnes. Par un escalier monumental à trois volées, les prêtres atteignaient le temple de Jupiter dont ne subsistent que six colonnes, hautes de vingt-deux mètres, avec une base de de diamètre. Ce temple est le plus grand ( sur 48) de tout le monde romain, à l\'exception du grand temple de Tarse qui lui est supérieur. Il était probablement périptère, avec dix colonnes en façade et dix-neuf sur les longs côtés. Si son plan intérieur était similaire à celui du temple de Bacchus, il comportait un pronaos précédé de huit colonnes et d’une "cella".',
'Ōkubo Toshimichi, homme d\'État de Tokyo, suggère en 1875 que si le marquis Shō Tai était fait gouverneur héréditaire d\'Okinawa, cela serait utile pour calmer les éléments anti-japonais à Okinawa et aiderait la préfecture à mieux s\'assimiler à la Nation. À Okinawa, un important mouvement appelé le "" fait les mêmes propositions quelques années plus tard mais l\'idée est finalement rejetée par Tokyo car elle représenterait un échec de l\'administration actuelle et pourrait relancer les questions sur la souveraineté des îles.',
"Le premier projet d'axe est-ouest est compris dans le «\xa0plan d’utilité et d’embellissement de la Ville de Paris\xa0» établi en 1789 par l'architecte Charles de Wailly. La rue, apparemment assez étroite, figurant dans ce document aurait relié en ligne droite la colonnade du Louvre à la rue Saint-Antoine (à l'emplacement de l'arrivée actuelle de la rue de Rivoli). À cette date, une voie correspondant à l'actuelle rue de Rivoli le long du jardin des Tuileries ne pouvait être envisagée sur les terrains des couvents des Capucins et des Feuillants. Le plan des artistes établi en 1797 reprend cette proposition et ajoute une rue de la place de la Concorde au Louvre dont la réalisation était devenue possible, au moins de la place de la Concorde jusqu'au passage Delorme par la disponibilité des domaines de ces couvents devenus biens nationaux. Cette partie du plan des artistes correspond à la partie ouverte au début des années 1800. Son prolongement de la rue de Rohan à la rue Saint-Antoine qui nécessitait des expropriations n'est réalisée que de 1849 à 1855, non sur le parcours au départ de la colonnade du Louvre envisagé primitivement mais dans le prolongement en ligne droite du tronçon réalisé.",
"Les indigènes de la région des Everglades sont arrivés dans la péninsule de Floride de ce qui est maintenant les États-Unis il y a approximativement à . Les Paléoaméricains ont trouvé un paysage aride qui a conservé des végétaux et des animaux. Les «\xa0grands\xa0» animaux se sont éteints en Floride il y a environ . Les changements climatiques il y a ont apporté un paysage plus humide. Les Paléoaméricains se sont lentement adaptés aux nouvelles conditions de vie. Ils s'approprient mieux aux changements perpétuels de l'environnement que leurs ancêtres, et créaient de nombreux outils avec les ressources disponibles. Il y a environ , le climat a encore changé pour causer l'inondation régulière du lac Okeechobee qui a provoqué les écosystèmes de marais.",
]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]
Evaluation
Metrics
Cross Encoder Reranking
- Dataset:
swim_ir_dev
- Evaluated with
CrossEncoderRerankingEvaluator
with these parameters:{ "at_k": 10, "always_rerank_positives": false }
Metric | Value |
---|---|
map | 0.5465 (+0.0743) |
mrr@10 | 0.5454 (+0.0767) |
ndcg@10 | 0.5725 (+0.0697) |
Training Details
Training Dataset
Unnamed Dataset
- Size: 548,005 training samples
- Columns:
query
,text
, andlabel
- Approximate statistics based on the first 1000 samples:
query text label type string string int details - min: 0 characters
- mean: 39.08 characters
- max: 140 characters
- min: 80 characters
- mean: 479.61 characters
- max: 2854 characters
- 0: ~79.40%
- 1: ~20.60%
- Samples:
query text label Fils d’un agriculteur, Pierre Mumbere Mujomba est né en 1956 à Kilonge, au Nord-Kivu. Après des études secondaires littéraires au "Collège Kambali" à Butembo, il entre à l’institut supérieur pédagogique de Kisangani où il obtient un graduat. Mais c’est à Kinshasa, à L’institut Pédagogique national qu’il décroche une licence en français et linguistique africaine. Il a été professeur de français à l’Alliance française de Kinshasa et coordinateur du centre de coopération Congo-Canada. Pierre Mumbere Mujomba dirige aujourd’hui le Musée littéraire à la bibliothèque nationale du Congo, enseigne également le français à l’institut supérieur des arts et métiers de Kinshasa et dirige la compagnie de théâtre "Graben" qu’il a créé en 1998.
1
Le temple de Jupiter, le plus ancien, fut construit en plusieurs étapes. Le temple était déjà bien avancé sous Néron, mais l’ensemble ne fut achevé et inauguré qu’au . On y accède par un propylée : un escalier monumental conduit à un portique à douze colonnes encadré de deux tours. Selon une inscription latine, un légionnaire aurait fait recouvrir d’or l’un des deux chapiteaux des colonnes. Par un escalier monumental à trois volées, les prêtres atteignaient le temple de Jupiter dont ne subsistent que six colonnes, hautes de vingt-deux mètres, avec une base de de diamètre. Ce temple est le plus grand ( sur 48) de tout le monde romain, à l'exception du grand temple de Tarse qui lui est supérieur. Il était probablement périptère, avec dix colonnes en façade et dix-neuf sur les longs côtés. Si son plan intérieur était similaire à celui du temple de Bacchus, il comportait un pronaos précédé de huit colonnes et d’une "cella".
1
Ōkubo Toshimichi, homme d'État de Tokyo, suggère en 1875 que si le marquis Shō Tai était fait gouverneur héréditaire d'Okinawa, cela serait utile pour calmer les éléments anti-japonais à Okinawa et aiderait la préfecture à mieux s'assimiler à la Nation. À Okinawa, un important mouvement appelé le "" fait les mêmes propositions quelques années plus tard mais l'idée est finalement rejetée par Tokyo car elle représenterait un échec de l'administration actuelle et pourrait relancer les questions sur la souveraineté des îles.
1
- Loss:
BinaryCrossEntropyLoss
with these parameters:{ "activation_fct": "torch.nn.modules.linear.Identity", "pos_weight": 5 }
Training Hyperparameters
Non-Default Hyperparameters
eval_strategy
: stepsper_device_train_batch_size
: 16per_device_eval_batch_size
: 16learning_rate
: 2e-05num_train_epochs
: 1warmup_ratio
: 0.1seed
: 12bf16
: Trueload_best_model_at_end
: True
All Hyperparameters
Click to expand
overwrite_output_dir
: Falsedo_predict
: Falseeval_strategy
: stepsprediction_loss_only
: Trueper_device_train_batch_size
: 16per_device_eval_batch_size
: 16per_gpu_train_batch_size
: Noneper_gpu_eval_batch_size
: Nonegradient_accumulation_steps
: 1eval_accumulation_steps
: Nonetorch_empty_cache_steps
: Nonelearning_rate
: 2e-05weight_decay
: 0.0adam_beta1
: 0.9adam_beta2
: 0.999adam_epsilon
: 1e-08max_grad_norm
: 1.0num_train_epochs
: 1max_steps
: -1lr_scheduler_type
: linearlr_scheduler_kwargs
: {}warmup_ratio
: 0.1warmup_steps
: 0log_level
: passivelog_level_replica
: warninglog_on_each_node
: Truelogging_nan_inf_filter
: Truesave_safetensors
: Truesave_on_each_node
: Falsesave_only_model
: Falserestore_callback_states_from_checkpoint
: Falseno_cuda
: Falseuse_cpu
: Falseuse_mps_device
: Falseseed
: 12data_seed
: Nonejit_mode_eval
: Falseuse_ipex
: Falsebf16
: Truefp16
: Falsefp16_opt_level
: O1half_precision_backend
: autobf16_full_eval
: Falsefp16_full_eval
: Falsetf32
: Nonelocal_rank
: 0ddp_backend
: Nonetpu_num_cores
: Nonetpu_metrics_debug
: Falsedebug
: []dataloader_drop_last
: Falsedataloader_num_workers
: 0dataloader_prefetch_factor
: Nonepast_index
: -1disable_tqdm
: Falseremove_unused_columns
: Truelabel_names
: Noneload_best_model_at_end
: Trueignore_data_skip
: Falsefsdp
: []fsdp_min_num_params
: 0fsdp_config
: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap
: Noneaccelerator_config
: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed
: Nonelabel_smoothing_factor
: 0.0optim
: adamw_torchoptim_args
: Noneadafactor
: Falsegroup_by_length
: Falselength_column_name
: lengthddp_find_unused_parameters
: Noneddp_bucket_cap_mb
: Noneddp_broadcast_buffers
: Falsedataloader_pin_memory
: Truedataloader_persistent_workers
: Falseskip_memory_metrics
: Trueuse_legacy_prediction_loop
: Falsepush_to_hub
: Falseresume_from_checkpoint
: Nonehub_model_id
: Nonehub_strategy
: every_savehub_private_repo
: Nonehub_always_push
: Falsegradient_checkpointing
: Falsegradient_checkpointing_kwargs
: Noneinclude_inputs_for_metrics
: Falseinclude_for_metrics
: []eval_do_concat_batches
: Truefp16_backend
: autopush_to_hub_model_id
: Nonepush_to_hub_organization
: Nonemp_parameters
:auto_find_batch_size
: Falsefull_determinism
: Falsetorchdynamo
: Noneray_scope
: lastddp_timeout
: 1800torch_compile
: Falsetorch_compile_backend
: Nonetorch_compile_mode
: Nonedispatch_batches
: Nonesplit_batches
: Noneinclude_tokens_per_second
: Falseinclude_num_input_tokens_seen
: Falseneftune_noise_alpha
: Noneoptim_target_modules
: Nonebatch_eval_metrics
: Falseeval_on_start
: Falseuse_liger_kernel
: Falseeval_use_gather_object
: Falseaverage_tokens_across_devices
: Falseprompts
: Nonebatch_sampler
: batch_samplermulti_dataset_batch_sampler
: proportional
Training Logs
Epoch | Step | Training Loss | swim_ir_dev_ndcg@10 |
---|---|---|---|
-1 | -1 | - | 0.1038 (-0.3989) |
0.0000 | 1 | 1.606 | - |
0.0292 | 1000 | 0.745 | - |
0.0584 | 2000 | 0.2021 | - |
0.0876 | 3000 | 0.1906 | - |
0.1168 | 4000 | 0.2005 | 0.5725 (+0.0697) |
0.1460 | 5000 | 0.1713 | - |
0.1752 | 6000 | 0.1819 | - |
0.2044 | 7000 | 0.1772 | - |
0.2336 | 8000 | 0.1324 | 0.5713 (+0.0685) |
0.2628 | 9000 | 0.1404 | - |
0.2920 | 10000 | 0.1443 | - |
0.3212 | 11000 | 0.1589 | - |
0.3504 | 12000 | 0.1473 | 0.4714 (-0.0313) |
0.3796 | 13000 | 0.1253 | - |
0.4087 | 14000 | 0.1435 | - |
0.4379 | 15000 | 0.1219 | - |
0.4671 | 16000 | 0.1219 | 0.5401 (+0.0373) |
0.4963 | 17000 | 0.1154 | - |
0.5255 | 18000 | 0.1393 | - |
0.5547 | 19000 | 0.1252 | - |
0.5839 | 20000 | 0.0986 | 0.5654 (+0.0626) |
0.6131 | 21000 | 0.1151 | - |
0.6423 | 22000 | 0.1143 | - |
0.6715 | 23000 | 0.123 | - |
0.7007 | 24000 | 0.0885 | 0.3843 (-0.1185) |
0.7299 | 25000 | 0.1138 | - |
0.7591 | 26000 | 0.0957 | - |
0.7883 | 27000 | 0.0865 | - |
0.8175 | 28000 | 0.1016 | 0.4097 (-0.0931) |
0.8467 | 29000 | 0.1085 | - |
0.8759 | 30000 | 0.0694 | - |
0.9051 | 31000 | 0.0754 | - |
0.9343 | 32000 | 0.0845 | 0.3099 (-0.1928) |
0.9635 | 33000 | 0.0837 | - |
0.9927 | 34000 | 0.0756 | - |
-1 | -1 | - | 0.5725 (+0.0697) |
- The bold row denotes the saved checkpoint.
Environmental Impact
Carbon emissions were measured using CodeCarbon.
- Energy Consumed: 0.609 kWh
- Carbon Emitted: 0.237 kg of CO2
- Hours Used: 1.557 hours
Training Hardware
- On Cloud: No
- GPU Model: 1 x NVIDIA GeForce RTX 3090
- CPU Model: 13th Gen Intel(R) Core(TM) i7-13700K
- RAM Size: 31.78 GB
Framework Versions
- Python: 3.11.6
- Sentence Transformers: 3.5.0.dev0
- Transformers: 4.49.0
- PyTorch: 2.6.0+cu124
- Accelerate: 1.4.0
- Datasets: 3.3.2
- Tokenizers: 0.21.0
Citation
BibTeX
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
- Downloads last month
- 3
Inference Providers
NEW
This model is not currently available via any of the supported Inference Providers.
The model cannot be deployed to the HF Inference API:
The model has no pipeline_tag.
Model tree for tomaarsen/reranker-camembertv2-base-fr
Base model
almanach/camembertv2-baseEvaluation results
- Map on swim ir devself-reported0.546
- Mrr@10 on swim ir devself-reported0.545
- Ndcg@10 on swim ir devself-reported0.573