Lettria/debug_finetuning_model

README.md

@@ -1,9 +1,6 @@
 ---
 base_model: BAAI/bge-base-en-v1.5
-language:
-- en
 library_name: sentence-transformers
-license: apache-2.0
 metrics:
 - pearson_cosine
 - spearman_cosine
@@ -23,44 +20,8 @@ tags:
 - generated_from_trainer
 - dataset_size:3696
 - loss:MultipleNegativesRankingLoss
-widget:
-- source_sentence: Quel est le montant du cofinancement que la Région IDF propose
-    pour une allocation doctorale ?
-  sentences:
-  - sur des projets comportant une dimension numérique sur les thématiques ci-dessous
-    détaillées dans le texte de l'appel à projets :A - Économie circulaire,B - Cancer
-    pédiatrique,C - Autisme,D - Santé environnementale,E - Vieillissement
-  - 'bénéficiaires: Le dispositif est ouvert aux réseaux structurants qui fédèrent
-    des professionnels et des acteurs du secteur du patrimoine : associations et fondations.
-    Les effectifs d’adhérents doivent être représentatifs à l’échelle du territoire
-    francilien soit sur le plan géographique avec une présence significative (de départements
-    franciliens, de nombre d’adhérents). Peuvent être bénéficiaires les personnes
-    morales de droit privé ayant au moins 1 an d’existence'
-  - La Région cofinance entre 100.000€ et 120.000€ maximum des allocations de recherche
-    doctorale de 36 mois sur des projets comportant une dimension numérique
-- source_sentence: Quel type de projets la Région Île-de-France subventionne-t-elle
-    pour valoriser le patrimoine culturel ?
-  sentences:
-  - 'Le dispositif est accessible à tous les OFA sous réserve de remplir les 5 conditions
-    suivantes : Dispenser une activité apprentissage ayant obtenu une certification,Dispenser
-    des formations en apprentissage sur le territoire francilien depuis au moins 1
-    an en qualité de CFA, d’OFA ou d’UFA,Présenter un projet d’investissement prévu
-    pour la dispense de formations en apprentissage sur le territoire francilien,Être
-    propriétaire du bien pour lequel une subvention est sollicitée ou titulaire d’un
-    bail récemment renouvelé (ou engagement du propriétaire à renouveler le bail),
-    en propre ou sous la forme de SCI, et assurant la maîtrise d’ouvrage des travaux
-    d’investissement,Présenter un besoin de financement sur le projet d’investissement
-    ne pouvant être pris en charge au titre des fonds propres de la structure et de
-    tiers financeurs'
-  - Jeunes scientifiques réalisant leur doctorat partagé entre un établissement d'enseignement
-    supérieur de recherche et une structure du monde socio-économique établis en Île-de-France
-  - 'Type de project: Actions de valorisation du patrimoine (expos physiques ou virtuelles,
-    journées d’étude, site Internet, publications, documentaires…),Outils de médiation  (cartes
-    et itinéraires papier ou numériques, livrets de visite, multimédia, parcours d’interprétation…),Dispositifs
-    pédagogiques (mallettes pédagogiques, Moocs, supports de visite pour les jeunes…),Événements
-    avec forte dimension patrimoniale, rayonnants à l’échelle de l’Île-de-France'
 model-index:
-- name: BGE base Financial Matryoshka
+- name: SentenceTransformer based on BAAI/bge-base-en-v1.5
   results:
   - task:
       type: semantic-similarity
@@ -83,22 +44,22 @@ model-index:
       type: BinaryClassifEval
     metrics:
     - type: cosine_accuracy
-      value: 0.9
+      value: 0.8
       name: Cosine Accuracy
     - type: cosine_accuracy_threshold
-      value: 0.6570022106170654
+      value: 0.652718186378479
       name: Cosine Accuracy Threshold
     - type: cosine_f1
-      value: 0.9473684210526316
+      value: 0.888888888888889
       name: Cosine F1
     - type: cosine_f1_threshold
-      value: 0.6570022106170654
+      value: 0.652718186378479
       name: Cosine F1 Threshold
     - type: cosine_precision
       value: 1.0
       name: Cosine Precision
     - type: cosine_recall
-      value: 0.9
+      value: 0.8
       name: Cosine Recall
     - type: cosine_ap
       value: 1.0
@@ -108,7 +69,7 @@ model-index:
       name: Cosine Mcc
 ---
 
-# BGE base Financial Matryoshka
+# SentenceTransformer based on BAAI/bge-base-en-v1.5
 
 This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [BAAI/bge-base-en-v1.5](https://huggingface.co/BAAI/bge-base-en-v1.5) on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
 
@@ -122,8 +83,8 @@ This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [B
 - **Similarity Function:** Cosine Similarity
 - **Training Dataset:**
     - json
-- **Language:** en
-- **License:** apache-2.0
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
 
 ### Model Sources
 
@@ -159,9 +120,9 @@ from sentence_transformers import SentenceTransformer
 model = SentenceTransformer("model")
 # Run inference
 sentences = [
-    'Quel type de projets la Région Île-de-France subventionne-t-elle pour valoriser le patrimoine culturel ?',
-    'Type de project: Actions de valorisation du patrimoine (expos physiques ou virtuelles, journées d’étude, site Internet, publications, documentaires…),Outils de médiation  (cartes et itinéraires papier ou numériques, livrets de visite, multimédia, parcours d’interprétation…),Dispositifs pédagogiques (mallettes pédagogiques, Moocs, supports de visite pour les jeunes…),Événements avec forte dimension patrimoniale, rayonnants à l’échelle de l’Île-de-France',
-    'Le dispositif est accessible à tous les OFA sous réserve de remplir les 5 conditions suivantes : Dispenser une activité apprentissage ayant obtenu une certification,Dispenser des formations en apprentissage sur le territoire francilien depuis au moins 1 an en qualité de CFA, d’OFA ou d’UFA,Présenter un projet d’investissement prévu pour la dispense de formations en apprentissage sur le territoire francilien,Être propriétaire du bien pour lequel une subvention est sollicitée ou titulaire d’un bail récemment renouvelé (ou engagement du propriétaire à renouveler le bail), en propre ou sous la forme de SCI, et assurant la maîtrise d’ouvrage des travaux d’investissement,Présenter un besoin de financement sur le projet d’investissement ne pouvant être pris en charge au titre des fonds propres de la structure et de tiers financeurs',
+    'The weather is lovely today.',
+    "It's so sunny outside!",
+    'He drove to the stadium.',
 ]
 embeddings = model.encode(sentences)
 print(embeddings.shape)
@@ -218,12 +179,12 @@ You can finetune this model on your own dataset.
 
 | Metric                    | Value   |
 |:--------------------------|:--------|
-| cosine_accuracy           | 0.9     |
-| cosine_accuracy_threshold | 0.657   |
-| cosine_f1                 | 0.9474  |
-| cosine_f1_threshold       | 0.657   |
+| cosine_accuracy           | 0.8     |
+| cosine_accuracy_threshold | 0.6527  |
+| cosine_f1                 | 0.8889  |
+| cosine_f1_threshold       | 0.6527  |
 | cosine_precision          | 1.0     |
-| cosine_recall             | 0.9     |
+| cosine_recall             | 0.8     |
 | **cosine_ap**             | **1.0** |
 | cosine_mcc                | 0.0     |
 
@@ -249,10 +210,10 @@ You can finetune this model on your own dataset.
 * Size: 3,696 training samples
 * Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>label</code>
 * Approximate statistics based on the first 1000 samples:
-  |         | sentence1                                                                         | sentence2                                                                          | label                        |
-  |:--------|:----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|:-----------------------------|
-  | type    | string                                                                            | string                                                                             | int                          |
-  | details | <ul><li>min: 33 tokens</li><li>mean: 39.4 tokens</li><li>max: 44 tokens</li></ul> | <ul><li>min: 49 tokens</li><li>mean: 98.8 tokens</li><li>max: 240 tokens</li></ul> | <ul><li>1: 100.00%</li></ul> |
+  |         | sentence1                                                                         | sentence2                                                                         | label                        |
+  |:--------|:----------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:-----------------------------|
+  | type    | string                                                                            | string                                                                            | int                          |
+  | details | <ul><li>min: 37 tokens</li><li>mean: 40.4 tokens</li><li>max: 44 tokens</li></ul> | <ul><li>min: 49 tokens</li><li>mean: 62.2 tokens</li><li>max: 85 tokens</li></ul> | <ul><li>1: 100.00%</li></ul> |
 * Samples:
   | sentence1                                                                                                                                                      | sentence2                                                                                                                                                                                                                                                                                              | label          |
   |:---------------------------------------------------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------|
@@ -278,7 +239,7 @@ You can finetune this model on your own dataset.
   |         | sentence1                                                                         | sentence2                                                                          | label                        |
   |:--------|:----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|:-----------------------------|
   | type    | string                                                                            | string                                                                             | int                          |
-  | details | <ul><li>min: 20 tokens</li><li>mean: 32.7 tokens</li><li>max: 42 tokens</li></ul> | <ul><li>min: 24 tokens</li><li>mean: 90.0 tokens</li><li>max: 257 tokens</li></ul> | <ul><li>1: 100.00%</li></ul> |
+  | details | <ul><li>min: 24 tokens</li><li>mean: 33.6 tokens</li><li>max: 42 tokens</li></ul> | <ul><li>min: 37 tokens</li><li>mean: 90.4 tokens</li><li>max: 257 tokens</li></ul> | <ul><li>1: 100.00%</li></ul> |
 * Samples:
   | sentence1                                                                                                                                                 | sentence2                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         | label          |
   |:----------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------|
@@ -299,12 +260,11 @@ You can finetune this model on your own dataset.
 - `eval_strategy`: epoch
 - `per_device_train_batch_size`: 2
 - `per_device_eval_batch_size`: 2
-- `num_train_epochs`: 1
+- `num_train_epochs`: 2
 - `lr_scheduler_type`: cosine
 - `warmup_ratio`: 0.1
 - `bf16`: True
 - `tf32`: True
-- `load_best_model_at_end`: True
 - `optim`: adamw_torch_fused
 - `batch_sampler`: no_duplicates
 
@@ -328,7 +288,7 @@ You can finetune this model on your own dataset.
 - `adam_beta2`: 0.999
 - `adam_epsilon`: 1e-08
 - `max_grad_norm`: 1.0
-- `num_train_epochs`: 1
+- `num_train_epochs`: 2
 - `max_steps`: -1
 - `lr_scheduler_type`: cosine
 - `lr_scheduler_kwargs`: {}
@@ -368,7 +328,7 @@ You can finetune this model on your own dataset.
 - `disable_tqdm`: False
 - `remove_unused_columns`: True
 - `label_names`: None
-- `load_best_model_at_end`: True
+- `load_best_model_at_end`: False
 - `ignore_data_skip`: False
 - `fsdp`: []
 - `fsdp_min_num_params`: 0
@@ -430,11 +390,11 @@ You can finetune this model on your own dataset.
 </details>
 
 ### Training Logs
-| Epoch   | Step  | Validation Loss | EmbeddingSimEval_spearman_cosine | BinaryClassifEval_cosine_ap |
-|:-------:|:-----:|:---------------:|:--------------------------------:|:---------------------------:|
-| **1.0** | **5** | **0.3948**      | **nan**                          | **1.0**                     |
+| Epoch | Step | Validation Loss | EmbeddingSimEval_spearman_cosine | BinaryClassifEval_cosine_ap |
+|:-----:|:----:|:---------------:|:--------------------------------:|:---------------------------:|
+| 1.0   | 3    | 0.2267          | nan                              | 1.0                         |
+| 2.0   | 6    | 0.2448          | nan                              | 1.0                         |
 
-* The bold row denotes the saved checkpoint.
 
 ### Framework Versions
 - Python: 3.11.9

eval/binary_classification_evaluation_BinaryClassifEval_results.csv

@@ -1,3 +1,4 @@
 epoch,steps,cosine_accuracy,cosine_accuracy_threshold,cosine_f1,cosine_precision,cosine_recall,cosine_f1_threshold,cosine_ap,cosine_mcc
-1.0,5,0.9,0.6570022106170654,0.9473684210526316,1.0,0.9,0.6570022106170654,1.0,0.0
-1.0,5,0.9,0.6570022106170654,0.9473684210526316,1.0,0.9,0.6570022106170654,1.0,0.0
+1.0,3,0.8,0.6908704042434692,0.888888888888889,1.0,0.8,0.6908704042434692,1.0,0.0
+2.0,6,0.8,0.652718186378479,0.888888888888889,1.0,0.8,0.652718186378479,1.0,0.0
+2.0,6,0.8,0.652718186378479,0.888888888888889,1.0,0.8,0.652718186378479,1.0,0.0

eval/similarity_evaluation_EmbeddingSimEval_results.csv

@@ -1,3 +1,4 @@
 epoch,steps,cosine_pearson,cosine_spearman
-1.0,5,nan,nan
-1.0,5,nan,nan
+1.0,3,nan,nan
+2.0,6,nan,nan
+2.0,6,nan,nan

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:6c7739fb0494804cc14ea6c89aa4b9a45a3f4a8ef95a4a701a86cf23286699ba
+oid sha256:9d4df157ba6eca35889b5d0e0fd56134c741af1af6b5a6f3ac6ec5978c0e2f07
 size 437951328

runs/Feb26_12-20-27_algo-1/events.out.tfevents.1740572428.algo-1.63.0

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3d26553c38f72374fc2672775367989f0d8d2c1479a41225b33e037ae8aad02a
+size 6866

runs/Feb26_12-20-27_algo-1/events.out.tfevents.1740572446.algo-1.63.1

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d7713644fb9c4d6d476fb44e9a52bc4fbb49e2b5518cf947d717f0bd3f50639b
+size 1166

training_args.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:617922f8ac200e9050323e01653ce9d2dc53199d612bedb9f24640f008d6a246
-size 5624
+oid sha256:3e46ac03d9e38e52891b24ed972ac9dae3fcb9a769a7733626aeb8f746221a10
+size 5560