dankalin's picture
Add new SentenceTransformer model.
88ebdb4 verified
---
base_model: intfloat/multilingual-e5-large
datasets: []
language: []
library_name: sentence-transformers
metrics:
- cosine_accuracy
- dot_accuracy
- manhattan_accuracy
- euclidean_accuracy
- max_accuracy
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:4926
- loss:TripletLoss
widget:
- source_sentence: Какова точность структурных построений для отражающего горизонта
БВ8?
sentences:
- Вынос керна по пласту составил 209,8 м (или 26 от общего по месторождению). Из
пластов ачимовской толщи керн взят в 10 пробуренных скважинах 230,5 м при 90
выноса керна
- В результате одномерного моделирования зарегистрированные отражающие горизонты
стратифицированы следующим образом (рис. 3
- Результаты расчета приведены ниже в табличной форме. Точность структурных построений
(традиционный способ) Таблица 3.2 Горизонт st, мс Vcp, м/с sv, м/с T0ср, с sн,
м Г 2 1855 9.28 0.97 4.8 М 2 2200 11.0 1.5 8.5 БВ0 2 2310 11.55 1.66 9.8 БВ8 2
2415 12.08 1.82 11.3 Б 2 2515 12.58 1.97 12.6 1 Ю1 2 2530 12.65 1.98 12.8 Т 2
2555 12.78 2.02 13.2 Т2 5 2615 13.08 2.10 15.2 Т3 5 2645 13.23 2.17 15.8 А 5 2650
13.25 2.13 15
- source_sentence: Какова точность структурных построений для отражающего горизонта
ПК1?
sentences:
- Поскольку ОГ Ю2 коррелировался только по площади участка СП 14/12-13, то выявить
зависимость dT/dH для структурных построений по этому отражающему горизонту не
представляется возможным
- 'page_content=''Г Ач1, Ач2, Ю2, Ю4, Т3, А), не приводятся в таблице.Проведя анализ
погрешности определения абсолютных отметок структурных поверхностей по всем прослеженным
отражающим горизонтам, не трудно заметить, что не происходит существенного наращивания
ошибок по скважинным данным.Среднеквадратичные отклонения по всем опорным горизонтам
составляют около10м по верхним отражающим горизонтам и в районе 15м по отражающим
горизонтам юрского интервала разреза171(4.1)171Таблица 4.2 Точность структурных
построений
| | Скважина | None | None | ОГ БП121 | None | None | None
| None | ОГ БП141 | None | None | None | None | None | ОГ Б |
None | None | None | None | None | None | None | None |
ОГ Ю11 | None | None | None | None | None | None | None |
None | ОГ Ю12 | None | None | None | None | None | None |
None | None |
|---:|:-----------|:-------|:-------|:-----------|:-------|:----------|--------:|:-------|:-----------|---------:|:-------|:---------|--------:|:-------|:-----------|:---------|:-------|:--------|:---------|:-------|:--------|:---------|:-------|:-----------|:----------|:-------|:-------|:---------|:-------|:--------|:---------|:-------|:-----------|:---------|:-------|:-------|:---------|:-------|:-------|:---------|:-------|
| 0 | | | | | | | | | | | | | | | |
ОГ Б | | | | | | | | |
ОГ Ю11 | | | | | | | | |
ОГ Ю12 | | | | | | | |
| 1 | | | | Абсолютна | | поправка, | | |
Абсолютна | | | поправка | | | Абсолютна | | | |
поправка | | | поправка | | Абсолютна | | | |
поправка | | | поправка | | Абсолютна | | | |
поправка | | | поправка | |
| | | | | я отметка, | | м | | |
я отметка, | | | , | | | я отметка, | | | | | | | | |
я отметка, | | | | | | | | |
я отметка, | | | | | | | | |
| | | | | м | | | | |
м | | | м | | | м | | | | | | | | |
м | | | | | | | | |
м | | | | | | | | |
| 2 | | | | | | | | | | | | | | | | | | |
, м | | | , м | | | | | |
, м | | | , м | | | | | |
, м | | | , м | |
| 3 | | | | | | | | | | | | | | | | | | |
(миним. | | | (максим. | | | | | |
(миним. | | | (максим. | | | | | |
(миним. | | | (максим. | |
| 4 | | | | | | | | | | | | | | | | | | |
вариант) | | | вариант) | | | | | |
вариант) | | | вариант) | | | | | |
вариант) | | | вариант) | |
| 5 | 321_309PО | | | -2695.35 | | | -3.829
| | | -2798.72 | | | -11.1 | | |
-3168.96 | | | -11.93 | | 11.01 | | | |
-3227.584 | | | 1.116 | | | 15.971 | | |
-3282.26 | | | 1.53 | | | -0.813 | |
| 6 | 036_93R | | | -2689.36 | | | 6.278
| | | -2803.53 | | | 6.624 | | |
-3159.35 | | | | | | | | | | | | | | | | | | | | | | | | | |
| 7 | 321_306PO | | | -2634.81 | | | 2.583
| | | -2750.89 | | | 1.683 | | |
-3132.36 | | | 8.908 | | 8.10 | | | |
-3215.572 | | | -7.364 | | | 2.225 | | |
-3258.65 | | | 5.47 | | | 1.215 | |
| 8 | 321_304PO | | | -2630.36 | | | 13.695
| | | -2752.37 | | | 18.939 | | |
-3130.72 | | | 22.745 | | 18.88 | | | |
-3203.712 | | | -1.653 | | | 17.435 | | |
-3251.06 | | | -0.95 | | | -0.791 | |
| 9 | 321_301P | | | -2598.16 | | | -11.352
| | | -2726.9 | | | -4.256 | | |
-3103.45 | | | -1.253 | | -14.44 | | | |
-3209.854 | | | -7.108 | | | -19.761 | | |
-3227.86 | | | 3.088 | | | -0.272 | |
| 10 | 321_302PO | | | -2621.81 | | | -5.016
| | | -2742.59 | | | -4.162 | | |
-3102.04 | | | -4.168 | | -25.08 | | | |
-3222.447 | | | 5.432 | | | -15.737 | | |
-3246.04 | | | 5.024 | | | 0.331 | |
| 11 | 321_305PO | | | -2543.8 | | | -8.226
| | | -2669.61 | | | -12.78 | | |
-3032.52 | | | -17.205 | | 1.49 | | | |
-3131.177 | | | 6.697 | | | -0.131 | | |
-3163.86 | | | -3.096 | | | -3.624 | |
| 12 | | Ср.кв. | | | | ± 8.80 | | | | | |
± 10.98 | | | | | | ± 14.51 | | |
± 16.63 | | | | | | ± 6.03 | | |
± 15.51 | | | | | | ± 3.38 | | |
± 1.64 | | |
| 13 | | откл | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | |
Скважина 321_309PО 036_93R 321_306PO 321_304PO 321_301P 321_302PO 321_305PO Ср.кв.
откл ОГ БП12 1 ОГ БП14 1 Абсолютна я отметка, м поправка, м Абсолютна я отметка,
м поправка , м Абсолютна я отметка, м -2695.35 -2689.36 -2634.81 -2630.36 -2598.16
-2621.81 -2543.8 -3.829 6.278 2.583 13.695 -11.352 -5.016 -8.226 -2798.72 -2803.53
-2750.89 -2752.37 -2726.9 -2742.59 -2669.61 -11.1 6.624 1.683 18.939 -4.256 -4.162
-12.78 -3168.96 -3159.35 -3132.36 -3130.72 -3103.45 -3102.04 -3032.52 ± 8.80 ±
10.98 ОГ'''
- 2 Параметры окон для расч та атрибутов QC по сейсмограммам ОПВ и ОПП
- source_sentence: Какая методика структурных построений была использована при построении
структурных планов по отражающим горизонтам юрского комплекса?
sentences:
- На юге и юго-востоке под эрозионной поверхностью подошвы юрского комплекса регистрируются
крутопадающие волновые пакеты (Рис. 3.81). С целью получения более достоверных
структурных построений корреляция преимущественного большинства ОГ выполнена по
фазовым переходам. Горизонты М и НБВ2 прослежены по положительному экстремуму
отражения, горизонт Б по отрицательному. Временные и структурные поверхности
ОГ использовались для палеоизохронных и палеоструктурных построений и для создания
опорных трендовых моделей при выполнении инверсионных преобразований. 3.2.3
- 'page_content=''4151.688 х 7134670500 © изза = on +#nnРис. 2.3. Фактическая схема
расположения профилей сезона 2010–2012 гг.51463606.125 x 7142067.500 © heron тои
ВЫ изо оз» тои 47оь «тако ane +11 По контуру пунктов приема $=169 кв.кмРис. 2.4.
Фактическая схема расположения профилей двух сезонов52452043 -219 = 7129857.500
+ — контур обработкиРис. 2.5. Карта рельефа из предоставленных SPS-файлов двух
сезоновИнформация о методике полевых работ приведена в Таблица 2.1.53Таблица 2.1.
Описание методики полевых работ
| | №№ | Показатели | Содержание | None |
|---:|:-----|:------------------------------|:---------------------|:---------------------|
| 0 | | | Сезон 2010–2011гг | Сезон 2011–2012гг |
| 1 | 1. | Параметры регистрации: | | |
| 2 | | - аппаратура | 428 XL(Sercel) | 408 XL(Sercel) |
| 3 | | - расстояние между линиями | 300 | 300 |
| | | приема, м | | |
| 4 | | -расстояние между линиями | 400 | 400 |
| | | возбуждения, м | | |
| 5 | | - расстояние между ПВ, м | 50 | 50 |
| 6 | | - расстояние меду ПП, м | 50 | 50 |
| 7 | | - размер бина, м | 25 х 25 | 25 х 25 |
| 8 | | - кратность наблюдений | 56 | 56 |
| | | - минимально-допустимая | 50 | 50 |
| | | кратность в эксклюзивных | | |
| | | зонах 90% | | |
| 9 | | - система наблюдения | 3D, блоковая, | 3D, блоковая, |
| | | | ортогональная, | ортогональная, |
| | | | симметричная | симметричная |
| 10 | | - количество профилей в блоке | 16 | 16 |
| 11 | | - перекрытие линий приема в | 1 | 1 |
| | | блоке | | |
| 12 | | -количество активных каналов | 112 | 112 |
| | | на линии ПП | | |
| 13 | | - количество активных каналов | 1792 | 1792 |
| | | в блоке | | |
| 14 | | - количество рабочих | 6700 | 6700 |
| | | каналов | | |
| 15 | | - min вынос ПВ, м | 35 | 35 |
| 16 | | - max. удаления ПВ в | 3653 | 3653 |
| | | регулярной сети, м | | |
| 17 | | - кол-во ПВ на линии в блоке | 6 | 6 |
| 18 | | - тип сейсмоприемников | GS-20DX | GS-20DX |
| 19 | | - группирование | линейное 12 приборов | линейное
12 приборов |
| | | сейсмоприемников | на базе 25 м с | на базе 25
м с |
| | | | параллельно- | параллельно- |
регулярной сети, мкол-во ПВ на линии в блоке66тип сейсмоприемниковGS-20DXGS-20DXгруппированиелинейное
12 приборовлинейное 12 приборовсейсмоприемниковсейсмоприемниковна базе 25 м сна
базе 25 м спараллельно-параллельно-54последовательнымпоследовательным2. соединением
(6х2) соединением (6х2) - способ размотки-смотки конвейерный конвейерный - шаг
квантования, мс 2 2 - длина записи, с 6 6 - ФВЧ - - - ФНЧ 0.8F Nyquist (min 0.8F
Nyquist (min phase) phase) - режекторный фильтр выкл. выкл. - формат запис'''
- Структурные карты и схемы по ОГ юрского комплекса получены через постоянную скорость
и временные толщины от ОГ Б
- source_sentence: Выполнялся ли учет длиннопериодной статики?
sentences:
- 68 Временной разрез после итераций коррекции статики и кинематики, InLine 7578
164 Рис. 3.69 Временной разрез до итераций коррекции статики и кинематики, XLine
Рис. 3
- Были проанализированы и опробованы различные варианты расчета длиннопериодной
статики. В частности, статика рассчитывалась по разным горизонтам, с различными
вариантами получения Vогт и разными скоростями замещения слоя
- Графики уравнения регрессии по отражающим горизонтам НАЧ1, НАЧ3 и НАЧ4 Таблица
4.2.4 Оценка точности структурных построений Горизонт , м Г М Б Т Т2 Т3 Т4 А Уч.
09.03
- source_sentence: Какое значение апертуры миграции было использовано?
sentences:
- коэффициентов взаимной корреляции позволяют использовать полученные зависимости
для построения карт ФЕС частности карт значений эффективных толщин ) (Граф
- Миграция выполнялась с использованием программы TIKIM до суммирования во временной
области по классам удалений. Апертура миграции составила 3000 м
- Предварительно с помощью модуля DINAT проводилась оценка углов падения для расчета
AVO-атрибутов (рис. 3.6.1). Данные содержат углы падения до 46 для неокомских
и 40 для ачимовских отложений
model-index:
- name: SentenceTransformer based on intfloat/multilingual-e5-large
results:
- task:
type: triplet
name: Triplet
dataset:
name: e5 triplet eval
type: e5_triplet_eval
metrics:
- type: cosine_accuracy
value: 0.9642857142857143
name: Cosine Accuracy
- type: dot_accuracy
value: 0.03571428571428571
name: Dot Accuracy
- type: manhattan_accuracy
value: 0.9642857142857143
name: Manhattan Accuracy
- type: euclidean_accuracy
value: 0.9642857142857143
name: Euclidean Accuracy
- type: max_accuracy
value: 0.9642857142857143
name: Max Accuracy
---
# SentenceTransformer based on intfloat/multilingual-e5-large
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large). It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
## Model Details
### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) <!-- at revision ab10c1a7f42e74530fe7ae5be82e6d4f11a719eb -->
- **Maximum Sequence Length:** 512 tokens
- **Output Dimensionality:** 1024 tokens
- **Similarity Function:** Cosine Similarity
<!-- - **Training Dataset:** Unknown -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
### Full Model Architecture
```
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
(1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
```
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("dankalin/multilingual-e5-large-triplet_loss")
# Run inference
sentences = [
'Какое значение апертуры миграции было использовано?',
'Миграция выполнялась с использованием программы TIKIM до суммирования во временной области по классам удалений. Апертура миграции составила 3000 м',
'коэффициентов взаимной корреляции позволяют использовать полученные зависимости для построения карт ФЕС (в частности – карт значений эффективных толщин ) (Граф',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```
<!--
### Direct Usage (Transformers)
<details><summary>Click to see the direct usage in Transformers</summary>
</details>
-->
<!--
### Downstream Usage (Sentence Transformers)
You can finetune this model on your own dataset.
<details><summary>Click to expand</summary>
</details>
-->
<!--
### Out-of-Scope Use
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->
## Evaluation
### Metrics
#### Triplet
* Dataset: `e5_triplet_eval`
* Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator)
| Metric | Value |
|:-------------------|:-----------|
| cosine_accuracy | 0.9643 |
| dot_accuracy | 0.0357 |
| manhattan_accuracy | 0.9643 |
| euclidean_accuracy | 0.9643 |
| **max_accuracy** | **0.9643** |
<!--
## Bias, Risks and Limitations
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->
<!--
### Recommendations
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->
## Training Details
### Training Dataset
#### Unnamed Dataset
* Size: 4,926 training samples
* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
* Approximate statistics based on the first 1000 samples:
| | anchor | positive | negative |
|:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|
| type | string | string | string |
| details | <ul><li>min: 9 tokens</li><li>mean: 20.24 tokens</li><li>max: 41 tokens</li></ul> | <ul><li>min: 21 tokens</li><li>mean: 129.99 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 2 tokens</li><li>mean: 93.1 tokens</li><li>max: 512 tokens</li></ul> |
* Samples:
| anchor | positive | negative |
|:-----------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| <code>Какова оценка точности (стандартные отклонения) структурных построений для отражающего горизонта А?</code> | <code>В таблице 3.5 представлены данные выполненных расч тов. Таблица 3.5. Оценка точности структурных построений ОГ Vпл/ м/с Т/ с Т/ с Vпл/ м/с Н/ м ТЮ2 Т3 (ЮВ10) А 3350 3400 3400 0.005 0.010 0.020 0</code> | <code>Точность структурных построений Горизонт НБВ7 НБВ4 НБВ3 М max, м 17 15 19 9 min, м 0 0 0 0 max, м min, м 18 7 10 8 1 0 0 0 , м 8 8 8 4 4 Структурные карты (схемы) по всем отражающим горизонтам</code> |
| <code>Какова точность структурных построений для отражающего горизонта Б?</code> | <code>2 Точность структурных построений ОГ АП5 ОГ БП9 1 ОГ БП10 0 Абсолютная отметка, м поправка, м Абсолютная отметка, м поправка, м Абсолютная отметка, м поправка, м 6.51 10.51 9.65 ОГ Б поправка , м (миним. вариант) -11.93 поправка , м (максим. вариант) 11.01 Абсолютна я отметка, м 3227.584 1 ОГ Ю1 поправка , м (миним. вариант) 1.116 поправка , м (максим. вариант) 15.971 Абсолютна я отметка, м 3282.26 2 ОГ Ю1 поправка , м (миним. вариант) 1.53 поправка , м (максим. вариант) -0.813 14.51 16.63 6.03 15.51 3.38 1.64 172 4</code> | <code>Отражающий горизонт Г является реперным горизонтом и коррелируется без затруднений по всему Валынтойскому кубу сейсморазведки 3D</code> |
| <code>В скольки скважинах есть данных акустического каротажа?</code> | <code>Комплекс ГИС, выполненный в скважинах 93Р и 309ПО Скв</code> | <code>Проведены сейсморазведочные работы 3Д на Валынтойской площади в объ ме 300 квадратных километров. Полевые работы ВСП в скважине 309ПО Валынтойской площади</code> |
* Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
```json
{
"distance_metric": "TripletDistanceMetric.EUCLIDEAN",
"triplet_margin": 5
}
```
### Evaluation Dataset
#### Unnamed Dataset
* Size: 1,232 evaluation samples
* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
* Approximate statistics based on the first 1000 samples:
| | anchor | positive | negative |
|:--------|:----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
| type | string | string | string |
| details | <ul><li>min: 9 tokens</li><li>mean: 20.38 tokens</li><li>max: 41 tokens</li></ul> | <ul><li>min: 21 tokens</li><li>mean: 132.2 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 2 tokens</li><li>mean: 86.95 tokens</li><li>max: 512 tokens</li></ul> |
* Samples:
| anchor | positive | negative |
|:-------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| <code>Какова оценка точности (стандартные отклонения) структурных построений для отражающего горизонта А?</code> | <code>В таблице 3.5 представлены данные выполненных расч тов. Таблица 3.5. Оценка точности структурных построений ОГ Vпл/ м/с Т/ с Т/ с Vпл/ м/с Н/ м ТЮ2 Т3 (ЮВ10) А 3350 3400 3400 0.005 0.010 0.020 0</code> | <code>Бирюзовой Вертикальны й 1:2 500 Структурная карта по отражающему горизонту А (подошва юрского комплекса) Карта изохрон по отражающему горизонту А Структурная карта по отражающему горизонту Т3(ЮВ10)</code> |
| <code>Какова оценка точности (стандартные отклонения) структурных построений для отражающего горизонта ТЮ2?</code> | <code>В таблице 3.5 представлены данные выполненных расч тов. Таблица 3.5. Оценка точности структурных построений ОГ Vпл/ м/с Т/ с Т/ с Vпл/ м/с Н/ м ТЮ2 Т3 (ЮВ10) А 3350 3400 3400 0.005 0.010 0.020 0</code> | <code>Построение и анализ карт средних толщин между полученными и интервальных также карт точности структурных структурными поверхностями</code> |
| <code>Сколько скважин было выбрано для обоснования выделения коллекторов?</code> | <code>После анализа каротажных данных для обоснования выделения коллекторов были отобраны 15 скважин Критериями их отбора послужило наличие в комплексе ГИС акустического каротажа по продольным волнам</code> | <code>После анализа каротажных данных для обоснования выделения коллекторов были отобраны 15 скважин Критериями их отбора послужило наличие в комплексе ГИС акустического каротажа по продольным волнам хорошего и удовлетворительного качества, а также близкое расположение скважин к сейсмическим профилям. Кроме того, в статистической обработке принимали участие ещ две скважины: 115 и 122, поскольку в них записан акустический каротаж по поперечной волне</code> |
* Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
```json
{
"distance_metric": "TripletDistanceMetric.EUCLIDEAN",
"triplet_margin": 5
}
```
### Training Hyperparameters
#### Non-Default Hyperparameters
- `eval_strategy`: steps
- `per_device_train_batch_size`: 2
- `per_device_eval_batch_size`: 2
- `gradient_accumulation_steps`: 64
- `learning_rate`: 2e-05
- `warmup_ratio`: 0.1
- `bf16`: True
- `batch_sampler`: no_duplicates
#### All Hyperparameters
<details><summary>Click to expand</summary>
- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: steps
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 2
- `per_device_eval_batch_size`: 2
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 64
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 2e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 3
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.1
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: True
- `fp16`: False
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 1
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: True
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: False
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`:
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `eval_use_gather_object`: False
- `batch_sampler`: no_duplicates
- `multi_dataset_batch_sampler`: proportional
</details>
### Training Logs
| Epoch | Step | Training Loss | loss | e5_triplet_eval_max_accuracy |
|:------:|:----:|:-------------:|:------:|:----------------------------:|
| 0 | 0 | - | - | 0.8166 |
| 0.0520 | 1 | 4.9631 | - | - |
| 0.1040 | 2 | 4.96 | - | - |
| 0.1560 | 3 | 4.9406 | 4.9202 | 0.8799 |
| 0.2080 | 4 | 4.9321 | - | - |
| 0.2600 | 5 | 4.9293 | - | - |
| 0.3119 | 6 | 4.91 | 4.8456 | 0.9237 |
| 0.3639 | 7 | 4.8801 | - | - |
| 0.4159 | 8 | 4.8692 | - | - |
| 0.4679 | 9 | 4.838 | 4.7461 | 0.9432 |
| 0.5199 | 10 | 4.8053 | - | - |
| 0.5719 | 11 | 4.7793 | - | - |
| 0.6239 | 12 | 4.7584 | 4.6476 | 0.9489 |
| 0.6759 | 13 | 4.6925 | - | - |
| 0.7279 | 14 | 4.6888 | - | - |
| 0.7799 | 15 | 4.6673 | 4.5346 | 0.9554 |
| 0.8318 | 16 | 4.626 | - | - |
| 0.8838 | 17 | 4.6053 | - | - |
| 0.9358 | 18 | 4.5582 | 4.4151 | 0.9570 |
| 0.9878 | 19 | 4.5486 | - | - |
| 1.0398 | 20 | 4.4967 | - | - |
| 1.0918 | 21 | 4.4503 | 4.2993 | 0.9667 |
| 1.1438 | 22 | 4.3997 | - | - |
| 1.1958 | 23 | 4.326 | - | - |
| 1.2478 | 24 | 4.3163 | 4.1739 | 0.9643 |
| 1.2998 | 25 | 4.2882 | - | - |
| 1.3517 | 26 | 4.1748 | - | - |
| 1.4037 | 27 | 4.1791 | 4.0528 | 0.9594 |
| 1.4557 | 28 | 4.1503 | - | - |
| 1.5077 | 29 | 4.1213 | - | - |
| 1.5597 | 30 | 4.049 | 3.9291 | 0.9586 |
| 1.6117 | 31 | 4.0259 | - | - |
| 1.6637 | 32 | 3.9762 | - | - |
| 1.7157 | 33 | 3.9038 | 3.8741 | 0.9651 |
| 1.7677 | 34 | 3.9605 | - | - |
| 1.8197 | 35 | 3.9297 | - | - |
| 1.8716 | 36 | 3.8387 | 3.7686 | 0.9619 |
| 1.9236 | 37 | 3.871 | - | - |
| 1.9756 | 38 | 3.8464 | - | - |
| 2.0276 | 39 | 3.7463 | 3.7241 | 0.9643 |
| 2.0796 | 40 | 3.8166 | - | - |
| 2.1316 | 41 | 3.801 | - | - |
| 2.1836 | 42 | 3.6812 | 3.6745 | 0.9610 |
| 2.2356 | 43 | 3.6979 | - | - |
| 2.2876 | 44 | 3.7102 | - | - |
| 2.3396 | 45 | 3.648 | 3.6470 | 0.9635 |
| 2.3916 | 46 | 3.6465 | - | - |
| 2.4435 | 47 | 3.6907 | - | - |
| 2.4955 | 48 | 3.6242 | 3.5768 | 0.9635 |
| 2.5475 | 49 | 3.6351 | - | - |
| 2.5995 | 50 | 3.659 | - | - |
| 2.6515 | 51 | 3.6246 | 3.5535 | 0.9643 |
| 2.7035 | 52 | 3.5615 | - | - |
| 2.7555 | 53 | 3.5733 | - | - |
| 2.8075 | 54 | 3.577 | 3.5572 | 0.9667 |
| 2.8595 | 55 | 3.5187 | - | - |
| 2.9115 | 56 | 3.6122 | - | - |
| 2.9634 | 57 | 3.5786 | 3.5517 | 0.9643 |
### Framework Versions
- Python: 3.10.12
- Sentence Transformers: 3.0.1
- Transformers: 4.43.3
- PyTorch: 2.4.0+cu121
- Accelerate: 0.33.0
- Datasets: 2.20.0
- Tokenizers: 0.19.1
## Citation
### BibTeX
#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
```
#### TripletLoss
```bibtex
@misc{hermans2017defense,
title={In Defense of the Triplet Loss for Person Re-Identification},
author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
year={2017},
eprint={1703.07737},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
```
<!--
## Glossary
*Clearly define terms in order to be accessible across audiences.*
-->
<!--
## Model Card Authors
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->
<!--
## Model Card Contact
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->