SentenceTransformer based on intfloat/multilingual-e5-large

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: intfloat/multilingual-e5-large
Maximum Sequence Length: 512 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("aimarsg/mle5_bopv_contrastive")
# Run inference
sentences = [
    'Zein da Nahitaezko Desjabetzeari buruzko Erregelamenduaren 56.2 artikuluak xedatutakoa?',
    'Bigarrena. Zerrenda horretan ageri diren jabeei dei egitea, bertan zehaztutako egun eta orduetan, eta Eibarko Udalean pertsonatu eta gero, desjabetu behar diren ondasun eta eskubideak atzeman aurreko aktak egiteko, eta, behar bada, horiek formalki okupatzeko. Guzti horrek ez du eragotziko terrenoetara joatea, interesdunek hala eskatuz gero.\nEgintza horretara interesdunek pertsonalki agertu beharko dute, edo haien izenean jarduteko behar bezala baimendutakoek ordezkatuta, eta titulartasuna egiaztatzeko agiriak (eskritura publikoak, Jabetza Erregistroaren ziurtagiriak edo ohar informatiboak, eta abar) eraman beharko dituzte, baita haien eskubideak egiaztatzeko beste ezein agiri ere; hala nahi izanez gero, peritu edo notario batek lagunduta ere joan daitezke.\nHalaber, Nahitaezko Desjabetzeari buruzko Erregelamenduaren 56.2 artikuluan xedatutakoarekin bat, aurreko aktak egiteko egunera arte, interesdunek alegazioak aurkeztu ahal izango dituzte akats posibleak zuzentzeko; alegazioak Etxebizitza, Herri Lan eta Garraio Saileko Garraio Azpiegituraren Zuzendaritzan aurkeztu beharko dira (Donostia kalea 1, Lakua I, Vitoria-Gasteiz).\nEbazpen honen aurka, gora jotzeko errekurtsoa aurkeztu ahal izango da organo honetan edo Garraio eta Herri Lanetako sailburuordeari, hilabeteko epean, ebazpena jakinarazi edo argitaratu eta biharamunetik aurrera.\nEta horrela jakinarazten da jendeak horren berri izan dezan.\nVitoria-Gasteiz, 2012ko urriaren 31.\nGarraio Azpiegituraren zuzendaria,\nJESÚS MARÍA BENAITO VILLAGARCÍA.\nEibarko udal mugartea.\nFinka zenbakia: 01.\nErref. Katastro-erref.: Bidea/herri jabaria.\nJabea: Eibarko Udala.\nOkupazio iraunkorra: OI 0 m2/MI 0 m2.\nAldi baterako okupazioa: ABO 0 m2/ABM 2.458 m2.\nZortasuna: BZ 0 m2.\nIzaera: hiri-lurra.\nAurreko aktak egitea: abendua.\nTokia: Eibarko Udala. Eguna: 12. Ordua: 13:30a.\nFinka zenbakia: 02.',
    'Dedikazio bereziko osagarriaren lehen maila egiaztatu duten ikuskariek urtean 1.068,95 euro gehiago jasoko dituzte, goian aipatu kopuruez gain.\n3. artikulua\nJarraian adieraziko diren lanpostuak dituzten ikuskariek berariazko osagarri gehigarriak izango dituzte, urteko guztizko kopuru hauetan:\nLanpostua Urteko kopurua (eurotan)\nIkuskari nagusia 15.186,36\nIkuskari zentrala 7.098,80\nLurraldeburua 5.447,86\n4. artikulua\nIkuskaritza-zonalde guztietan zonaldeburu bat egongo da Zonaldeburutzaren egitekoak betetzeko. Horregatik, urtean 2.750,69 euroko berariazko osagarri gehigarria jasoko du. Zonaldeburu hauek merezimendu-lehiaketen bidez hautatuak izango dira ikuskaritza-zonalde bakoitzeko Euskal Autonomia Erkidegoko Hezkuntzako Ikuskatzaileen Kidegoko eta Hezkuntza Administrazioaren Zerbitzurako Ikuskarien Kidegoko funtzionarioen artetik, eta izendapena sei urterako izango da.\n5. artikulua\nBerariazko osagarriaren barne, urteko guztizko kopuruak hilero banatuko dira, abenduaren 28ko 15/2007 Legeak, Euskal Autonomia Erkidegoko 2008ko Aurrekontu Orokorrak onartu dituena, 8. atalaren 21. artikuluan edo ondorengo aurrekontu-legeetan arautzen den moduan.\n6. artikulua\nZerbitzu-eginkizunaren erregimenean Hezkuntza Ikuskaritzan lanpostua duten irakasleek jatorriko kidegoari dagokion ordainsaria jasoko dute. Horrez gain, osagarri gehigarri bat kobratuko dute, jatorriko ordainsari horren eta Hezkuntza Ikuskariaren lanpostuari dagokionaren arteko aldea berdintze aldera.\n7. artikulua\nEuskal Autonomia Erkidegoko Hezkuntzako Ikuskatzaileen Kidegoko eta Hezkuntza Administrazioaren Zerbitzurako Ikuskarien Kidegoko ikuskariak 2. hizkuntza-eskakizuna indarrean duten lanpostuetara atxikiak geratuko dira dagokien Lurralde Historikoko lantokian, irakaskuntzarako 2. hizkuntza-eskakizuna edo horren baliokideren bat egiaztatzen ez dutenak izan ezik; azken horiek nahitaezkotasun-data 2011ra atzeratu zaien lanpostuetara atxikiak geratuko dira.\nXEDAPEN INDARGABETZAILEAK',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.4825, -0.1530],
#         [ 0.4825,  1.0000, -0.2151],
#         [-0.1530, -0.2151,  1.0000]])

Evaluation

Metrics

Triplet

Dataset: multilingual-e5-large
Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.8035

Training Details

Training Dataset

Unnamed Dataset

Size: 4,848 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 10 tokens
mean: 28.34 tokens
max: 66 tokens

min: 106 tokens
mean: 409.81 tokens
max: 512 tokens

	anchor	positive
type	string	string
details	min: 10 tokens mean: 28.34 tokens max: 66 tokens	min: 106 tokens mean: 409.81 tokens max: 512 tokens

Samples:

anchor	positive
`Zein da epea Osakidetzako lanpostuaz jabetzeko behar diren agiriak aurkezteko?`	Destinoa normaltasunez betetzeko behar den gaitasun psikofisikoa egiaztatzen duen azterketa medikoaren agiria, Osakidetza-Euskal osasun zerbitzuko Prebentzio Zerbitzuak emana. Erantzukizunpeko adierazpena, Adingabearen Babes Juridikoari buruzko urtarrilaren 15eko 1/1996 Lege Organikoaren 13.5 artikulua betetzeari buruzkoa; eta Sexu Delitugileen Erregistro Zentralaren ziurtagiria lortzeko baimena, urriaren 13ko 1314/2016 Ebazpenean xedatutakoaren arabera. Ebazpen horren bidez, Osakidetza-Euskal osasun zerbitzuan adingabeekin ohiko harremana izatea dakarten lanpostuetan sartzeko eta jarduteko betekizunari buruzko jarraibide osagarriak onartzen dira. Hirugarrena. Emandako epe horretan aipatutako agiriekin bertaratzen ez direnak edo agiri horiek aztertuta antzematen bada betebeharren bat betetzen ez dutela, ezingo dira jabetu estatutupeko langile gisa esleitu zaien destinoaz. Ondorioz, deuseztatuta geratuko dira jarduerak, eta hori ez da eragozpena izango hasierako eskabidean faltsukeriare...
`Zein da epea administrazioarekiko auzi-errekurtsoa aurkezteko Euskal Autonomia Erkidegoko Auzitegi Nagusiko Administrazioarekiko Auzien Salan agindu honen aurka?`	Hori guztia kontuan hartuta, hau EBAZTEN DUT : Lehenengoa. Fundación Cidetec izeneko fundazioaren estatutuen aldaketa Euskal Autonomia Erkidegoko Fundazioen Erregistroan inskribatzea, agindu honen datarekin, Enrique García-Jalón de la Lama notario jaunaren aurrean, 2021eko otsailaren 9an egiletsitako eskritura publikoan aurreikusitako baldintzetan (protokolo-zenbakia: 186). Bigarrena. Agindu hau Euskal Herriko Agintaritzaren Aldizkarian argitaratzea eta interesdunei bidaltzea. Agindu honek amaiera ematen dio administrazio-bideari, eta, ondorioz, honen aurka aukerako berraztertze-errekurtsoa aurkez dakioke Gobernantza Publiko eta Autogobernuko sailburuari, agindua jakinarazi eta hurrengo egunetik aurrera, hilabeteko epean; bestela, administrazioarekiko auzi-errekurtsoa aurkez daiteke Euskal Autonomia Erkidegoko Auzitegi Nagusiko Administrazioarekiko Auzien Salan, bi hileko epean, agindua jakinarazi eta hurrengo egunetik aurrera. Vitoria-Gasteiz, 2021eko maiatzaren 27a. Gobernantza Publi...
`Zein da epea Herri Arduralaritzaren Euskal Erakundeko zuzendariaren ebazpen honen aurka gora jotzeko errekurtsoa jartzeko?`	13. artikulua Bateraezintasuna. Praktikak egiteko laguntzarik ezin izango da eman, baldin eta, diru publikoetatik, eginkizun berbera egiteko laguntzak jasotzen badira. 14. artikulua Aseguruak. Euskal Autonomia Erkidegoko Administrazioak aseguru bana egingo die praktiketako ikasleei istripu, elbarritasun-edo heriotza-kasuetarako. 15. artikulua Datu pertsonalen tratamendua. Deialdi honetako parte-hartzaileen datu pertsonalak «Euskal Arduralaritzaren Euskal Erakundeak antolatutako formakuntza eta hobekuntza ikastaroak» izeneko fitxategian sartuko dira, behar den moduan tratatzeko eta, hartara, kudeatu ahal izateko. Fitxategi horrek datu pertsonalak babesteari buruzko legeriak xedatzen duena bete beharko du. Datuen kontra agertzeko, eta datuak eskuratzeko, zuzentzeko edo ezabatzeko eskubidea baliatu nahi duten pertsonek IVAPen Idazkaritza Nagusira jo dezakete. AZKEN XEDAPENA Lehenengoa. Herri Arduralaritzaren Euskal Erakundeko zuzendariaren ebazpen honen aurka, gora jotzeko errekurtsoa jar...

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false
}

Evaluation Dataset

Unnamed Dataset

Size: 4,854 evaluation samples
Columns: anchor, positive, and negative

Approximate statistics based on the first 1000 samples:

	anchor	positive	negative
type	string	string	string
details	min: 10 tokens mean: 28.62 tokens max: 70 tokens	min: 119 tokens mean: 412.31 tokens max: 512 tokens	min: 4 tokens mean: 205.49 tokens max: 512 tokens

Samples:

anchor	positive	negative
`Nork zuzentzen ditu Euskal Herriko Agintaritzaren Aldizkarian argitaratutako testuetako hutsak edo omisioak?`	Euskal Herriko Agintaritzaren Aldizkaria arautzen duen abenduaren 23ko 217/2008 Dekretuaren 18.2.b) artikuluan xedatzen denez, argitaratzeko bidalitako testuan dauden hutsak edo omisioak Jaurlaritzaren Idazkaritzako eta Legebiltzarrarekiko Harremanetarako Zuzendaritzak zuzenduko ditu, baldin eta nabarmenak badira, dokumentuen esanahia aldatzen ez badute, eta nahasbiderik ez sortzeko komeni bada. Zuzenketa egiteko eskaria testua argitaratzeko agindua eman duen organoak egingo du. 247/2011 Dekretuak, 2011ko azaroaren 29koak, Euskal Autonomia Erkidegoko maisu-maiestren lanpostu-zerrendak onartu zituen, 2011-2012 ikasturterako, Haur eta Lehen Hezkuntzako eta Helduen Hezkuntzako ikastetxe publikoetan, patronatuetan eta lurralde-ordezkaritzetan (2011ko abenduaren 12ko EHAA, 233. zk.). Bada, aipatutako dekretu horretan horrelako hutsak aurkitu direnez, honako zuzenketa hauek egiten dira: II. ERANSKINEAN, HAUR ETA LEHEN HEZKUNTZARI BURUZKOAN, 2011/5932 (137/40) orrialdean, Honako hau dioen lek...	Okupatu aurreko aktak honekin batera doan zerrendan jarritako egun eta tokietan egingo dira. Horren berri emateko, zitazio-zedula bana bidaliko zaio titular bakoitzari, eta bertan adieraziko zaio bileraren tokia, eguna eta ordua. Horrez gain, Nahitaezko Desjabetzari buruzko Legearen 52. artikuluan xedatutako gainontzeko iragarkiak ere egingo dira. Halaber, Nahitaezko Desjabetzari buruzko Legearen erregelamenduko 56.2 artikuluak xedatutakoaren arabera, argitaratutako zerrendan agertu ez diren interesatuek edo eskubide erreal zein interes ekonomikoen titularrek aukera dute idatziz edozein alegazio aurkezteko Industria, Berrikuntza, Merkataritza eta Turismo Saileko Lurralde Ordezkaritza honetan (Bilboko Concha Jenerala kaleko 23 zenbakiko 5. solairuan). Alegazioak aurkezteko epea aurreko aktak egiteko egunean amaituko da, eta alegazioen helburua da eragindako eskubide eta ondasunen zerrendan egindako akatsak zuzentzea. Aditzera ematen da, halaber, iragarki honek jakinarazpenaren balioa iz...
`Zein dira deialdi honetan parte hartzeko bete behar diren baldintzak?`	Kudeaketako eta Ikerketako arduradun lanpostua hutsik dagoenez 512501 kodea, 2 dotazioa , EAEko sektore publikoaren esparruan Arau-hausteen berri emateko eta informatzaileak babesteko Barneko informazio-sisteman, Euskal Enplegu Publikoaren abenduaren 1eko 11/2022 Legearen 94.9 eta 102.2 artikuluetan xedatutakoari jarraituz eta Enplegu Publikoko Zuzendaritzak aldeko txostena eman duenez, eranskinean azaltzen den lanpostua izendapen askeko sistema erabiliz hornitzeko deialdi publikoa iragartzea erabaki du sail honek. Hona hemen deialdiaren OINARRIAK Lehenengoa. Parte hartzeko baldintzak. Deialdi honetan parte hartu ahal izango dute Euskal Autonomia Erkidegoko Administrazio Orokorreko eta haren organismo autonomoetako karrerako funtzionarioek eta EAEko administrazio orokorrarekin lotuta dauden zuzenbide pribatuko ente publikoetako karrerako funtzionarioek, lanpostu-zerrendan ezartzen diren baldintzak betetzen badituzte (eranskinean zehaztuta daude). Aipatutako langileek edozein administra...	`Lau (4) laguntzaile, hautaketa prozesuetako deialdi bateratuetan zein IVAPeko deialdi orokorretan parte hartzeko, honako jardute-egutegiarekin urtean zehar: Mota Behar den laguntzaile-kopurua Lankidetza`
`Zein espezie daude Europar Batasunaren interesekoak diren habitatetan, eta mehatxatuta edo galtzear daudenak?`	c) Ingurune horietako berezko habitaten artean badaude lehentasunezko zenbait habitat; esaterako, 91E0 habitata (haltzadiak eta lizardiak) edo 2130 habitata (duna finko grisak); oso zatikatuta daude, erkidegoan oso leku jakinetan eta leku gutxitan daude, eta, oro har, kontserbazio kaskarra eta galtzeko joera dute. d) Habitat horietan badaude Europar Batasunaren interesekoak diren zenbait espezie, populazio oso mehatxatua dutenak, eta, kasurik gehienetan, galtzear daudenak. Esate baterako, Mustrela Lutreola (bisoi europarra), Galemys pyrenaicus (desman piriniarra), Lutra lutra (igaraba), Salmo salar (izokin arrunta), Austropotamobius pallipes (ibai-karramarroa); eta basoko espezieei dagokienez, Woodwardia radicans, Soldanella villosa etaTrichomanes speciosum. e) Habitat eta espezie horiek oso kalteberak dira, eta etengabe daude presiopean (ibarrak hartzen dira hiri-erabileretarako, nekazaritzarako eta basogintzarako, batez ere, eta ibaien ur-emaria aldarazi egiten da). 92/43/EEE Zuzenta...	`Bertako gatz-larrainetan, gatz-ustiapen tradizionala egiten da; eta oso bitxiak diren ornogabeak eta flora halofiloak daude, bertan. Biotopo Babestuan, Batasunaren intereseko 14 habitat daude.`

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
learning_rate: 2e-05
warmup_ratio: 0.1
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 8
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	multilingual-e5-large_cosine_accuracy
0.1650	100	0.5043	-	-
0.3300	200	0.1243	-	-
0.4950	300	0.0827	-	-
0.6601	400	0.0686	-	-
0.8251	500	0.0887	-	-
0.9901	600	0.0723	-	-
1.0	606	-	0.8896	0.7435
1.1551	700	0.0564	-	-
1.3201	800	0.0379	-	-
1.4851	900	0.0497	-	-
1.6502	1000	0.0242	-	-
1.8152	1100	0.0431	-	-
1.9802	1200	0.0368	-	-
2.0	1212	-	0.6862	0.7843
2.1452	1300	0.0317	-	-
2.3102	1400	0.0274	-	-
2.4752	1500	0.0173	-	-
2.6403	1600	0.0219	-	-
2.8053	1700	0.0242	-	-
2.9703	1800	0.0406	-	-
3.0	1818	-	0.5969	0.8035

Framework Versions

Python: 3.10.8
Sentence Transformers: 5.1.0
Transformers: 4.56.0
PyTorch: 2.8.0+cu128
Accelerate: 1.10.1
Datasets: 4.0.0
Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

Downloads last month: 1

Safetensors

Model size

0.6B params

Tensor type

F32

Model tree for aimarsg/mle5_bopv_contrastive

Base model

intfloat/multilingual-e5-large

Finetuned

(138)

this model

Evaluation results

Cosine Accuracy on multilingual e5 large
self-reported

0.803

View on Papers With Code