seongil-dn/e5-large-neg-v0-bs64-1000

SentenceTransformer based on intfloat/multilingual-e5-large

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("seongil-dn/e5-large-neg-v0-bs64-1000")
# Run inference
sentences = [
    '아야미 ?카가 홍대 스테이라운지에서 개최하는 것은?',
    '▲ 사진= BJ 야하군 제공 일본 유명 AV배우 아야미 ?카(あやみ旬果)가 한국 팬들을 만난다. 아야미 ?카는 오는 7일 오후 홍대 스테이라운지에서 팬미팅을 개최한다. 야마미 ?카는 독보적인 이미지로 일본 뿐만 아니라 한국에서도 많은 팬을 가지고 있다. 이날 팬미팅에는 근황토크 및 게임, 포토타임, 사인회, 선물 증정 시간 등이 예정돼 있어 팬들의 기대감을 고조시켰다. 한편 아야미 ?카의 팬미팅은 19세 이상의 성인을 대상으로 진행되며, 온라인을 통해 티켓을 구매할 수 있다.',
    '일본 첫 단독공연을 앞둔 힙합그룹 MIB(엠아비)가 일본에서 뜨거운 인기를 실감하고 있다. 공연을 하루 앞둔 지난23일, MIB는 일본 도쿄 시부야에 있는 대형레코드 체인점 \'타워레코드\'에서 \'악수회\'를 성황리에 개최했다. \'악수회\' 수시간 전부터 MIB를 보기 위해 300여명의 팬들이 플래카드를 들고 타워레코드로 모여 현지관 계자를 놀라게 했다. 이에 앞서 MIB는 케이팝 전문방송인 \'K-POP LOVERS\'에 출연해 일본 진출 및 첫 단독 공연을 앞둔 소감을 전한 것은 물론, 강남의 칼럼에 소개된 에피소드에 대해 이야기하고 팬들의 궁금증을 풀어주는 시간도 가졌다. 정글엔터테인먼트 관계자는 "K-힙합을 MIB를 통해 일본 음악시장에 전파 할 수 있는 좋은 기회가 될 것이라고 생각한다"며 "향후 타워레코드 외에도 일본 메이저음반 기획사, 음반사와 접촉해 다양한 프로모션을 진행할 것"이라고 말했다. 현지 연예 관계자는 "MIB 멤버 강남이 재일교포라는 점이 현지 팬들에게 큰 관심을 불러일으키고 있는 것 같다. 특히 강남은 타워레코드 온라인 사이트에 격주 목요일마다 칼럼을 연재하고 있는데 이 또한 큰 인기를 모으고 있다"며 MIB의 일본 내 성공 가능성을 예측했다. 한편, MIB는 오늘(24일) 오후 3시 30분부터 하라주쿠에 위치한 아스트로홀에서 일본의 주요 음반 관계자들이 참석한 가운데 총2회에 걸쳐 일본 첫 단독 공연 \'We are M.I.B\'를 개최한다.& lt;연예부>',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 40
• per_device_eval_batch_size: 40
• learning_rate: 1e-05
• num_train_epochs: 2
• warmup_steps: 500
• bf16: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 40
• per_device_eval_batch_size: 40
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 2
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 500
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0003	1	2.7219
0.0007	2	2.7753
0.0010	3	2.7373
0.0013	4	2.7529
0.0017	5	2.6959
0.0020	6	2.768
0.0023	7	2.7428
0.0027	8	2.7725
0.0030	9	2.7389
0.0033	10	2.7752
0.0036	11	2.7
0.0040	12	2.7492
0.0043	13	2.7272
0.0046	14	2.7501
0.0050	15	2.759
0.0053	16	2.7457
0.0056	17	2.7419
0.0060	18	2.739
0.0063	19	2.7581
0.0066	20	2.7158
0.0070	21	2.725
0.0073	22	2.7363
0.0076	23	2.6828
0.0080	24	2.7619
0.0083	25	2.6938
0.0086	26	2.7455
0.0090	27	2.7248
0.0093	28	2.7678
0.0096	29	2.7563
0.0099	30	2.7033
0.0103	31	2.7035
0.0106	32	2.7345
0.0109	33	2.6754
0.0113	34	2.7921
0.0116	35	2.79
0.0119	36	2.6865
0.0123	37	2.7407
0.0126	38	2.7362
0.0129	39	2.6805
0.0133	40	2.7402
0.0136	41	2.6972
0.0139	42	2.7356
0.0143	43	2.712
0.0146	44	2.6828
0.0149	45	2.6852
0.0153	46	2.7227
0.0156	47	2.7209
0.0159	48	2.7307
0.0162	49	2.7703
0.0166	50	2.7254
0.0169	51	2.7373
0.0172	52	2.7207
0.0176	53	2.7273
0.0179	54	2.7449
0.0182	55	2.6575
0.0186	56	2.7346
0.0189	57	2.7311
0.0192	58	2.7281
0.0196	59	2.6742
0.0199	60	2.6287
0.0202	61	2.6896
0.0206	62	2.6906
0.0209	63	2.6318
0.0212	64	2.6971
0.0216	65	2.6691
0.0219	66	2.6948
0.0222	67	2.6952
0.0225	68	2.6762
0.0229	69	2.644
0.0232	70	2.6647
0.0235	71	2.6743
0.0239	72	2.7299
0.0242	73	2.714
0.0245	74	2.6815
0.0249	75	2.6845
0.0252	76	2.7221
0.0255	77	2.6515
0.0259	78	2.6575
0.0262	79	2.7143
0.0265	80	2.6328
0.0269	81	2.695
0.0272	82	2.6909
0.0275	83	2.7089
0.0279	84	2.6435
0.0282	85	2.6404
0.0285	86	2.6449
0.0288	87	2.6821
0.0292	88	2.5998
0.0295	89	2.6966
0.0298	90	2.6861
0.0302	91	2.6372
0.0305	92	2.6655
0.0308	93	2.6021
0.0312	94	2.6309
0.0315	95	2.6164
0.0318	96	2.7396
0.0322	97	2.7013
0.0325	98	2.662
0.0328	99	2.6793
0.0332	100	2.6042
0.0335	101	2.6704
0.0338	102	2.661
0.0342	103	2.6451
0.0345	104	2.6339
0.0348	105	2.6399
0.0351	106	2.5796
0.0355	107	2.5915
0.0358	108	2.5749
0.0361	109	2.6429
0.0365	110	2.5537
0.0368	111	2.6013
0.0371	112	2.5918
0.0375	113	2.5655
0.0378	114	2.563
0.0381	115	2.5716
0.0385	116	2.56
0.0388	117	2.4927
0.0391	118	2.4578
0.0395	119	2.5877
0.0398	120	2.5528
0.0401	121	2.5192
0.0405	122	2.5065
0.0408	123	2.5174
0.0411	124	2.5555
0.0414	125	2.468
0.0418	126	2.5195
0.0421	127	2.5036
0.0424	128	2.479
0.0428	129	2.5091
0.0431	130	2.4626
0.0434	131	2.5031
0.0438	132	2.4815
0.0441	133	2.502
0.0444	134	2.5055
0.0448	135	2.4191
0.0451	136	2.502
0.0454	137	2.4399
0.0458	138	2.4433
0.0461	139	2.4228
0.0464	140	2.3879
0.0468	141	2.4138
0.0471	142	2.4406
0.0474	143	2.4412
0.0477	144	2.3929
0.0481	145	2.4267
0.0484	146	2.448
0.0487	147	2.3706
0.0491	148	2.3915
0.0494	149	2.4324
0.0497	150	2.4307
0.0501	151	2.3764
0.0504	152	2.3366
0.0507	153	2.3657
0.0511	154	2.2976
0.0514	155	2.2982
0.0517	156	2.3343
0.0521	157	2.3154
0.0524	158	2.3333
0.0527	159	2.3634
0.0531	160	2.2703
0.0534	161	2.3085
0.0537	162	2.2974
0.0540	163	2.2984
0.0544	164	2.2948
0.0547	165	2.2454
0.0550	166	2.2938
0.0554	167	2.3112
0.0557	168	2.2443
0.0560	169	2.2266
0.0564	170	2.3432
0.0567	171	2.2663
0.0570	172	2.2468
0.0574	173	2.2611
0.0577	174	2.261
0.0580	175	2.2206
0.0584	176	2.154
0.0587	177	2.2501
0.0590	178	2.2063
0.0594	179	2.2257
0.0597	180	2.151
0.0600	181	2.1894
0.0603	182	2.1617
0.0607	183	2.107
0.0610	184	2.1248
0.0613	185	2.1756
0.0617	186	2.1391
0.0620	187	2.0931
0.0623	188	2.0362
0.0627	189	2.1396
0.0630	190	2.1278
0.0633	191	2.1121
0.0637	192	2.0986
0.0640	193	2.0724
0.0643	194	2.0569
0.0647	195	2.026
0.0650	196	2.0513
0.0653	197	2.0339
0.0656	198	2.0807
0.0660	199	2.028
0.0663	200	2.052
0.0666	201	2.0473
0.0670	202	1.9968
0.0673	203	1.9547
0.0676	204	1.9887
0.0680	205	1.8737
0.0683	206	1.8722
0.0686	207	1.8842
0.0690	208	1.9114
0.0693	209	1.8623
0.0696	210	1.744
0.0700	211	1.8192
0.0703	212	1.8231
0.0706	213	1.781
0.0710	214	1.8544
0.0713	215	1.8087
0.0716	216	1.7882
0.0719	217	1.7918
0.0723	218	1.7644
0.0726	219	1.7063
0.0729	220	1.7894
0.0733	221	1.6937
0.0736	222	1.6524
0.0739	223	1.6182
0.0743	224	1.6464
0.0746	225	1.6342
0.0749	226	1.6756
0.0753	227	1.6458
0.0756	228	1.6434
0.0759	229	1.58
0.0763	230	1.5874
0.0766	231	1.547
0.0769	232	1.5261
0.0773	233	1.568
0.0776	234	1.5031
0.0779	235	1.4509
0.0782	236	1.4294
0.0786	237	1.397
0.0789	238	1.4794
0.0792	239	1.3671
0.0796	240	1.3465
0.0799	241	1.3586
0.0802	242	1.3999
0.0806	243	1.3164
0.0809	244	1.2398
0.0812	245	1.2802
0.0816	246	1.3665
0.0819	247	1.239
0.0822	248	1.1971
0.0826	249	1.2108
0.0829	250	1.2047
0.0832	251	1.1824
0.0836	252	1.1744
0.0839	253	1.118
0.0842	254	1.1106
0.0845	255	1.1378
0.0849	256	1.013
0.0852	257	1.053
0.0855	258	1.121
0.0859	259	1.0225
0.0862	260	0.9968
0.0865	261	0.9309
0.0869	262	0.9649
0.0872	263	0.9778
0.0875	264	0.9871
0.0879	265	0.9451
0.0882	266	0.8348
0.0885	267	0.8388
0.0889	268	0.7932
0.0892	269	0.7745
0.0895	270	0.806
0.0899	271	0.7713
0.0902	272	0.8147
0.0905	273	0.7881
0.0908	274	0.6988
0.0912	275	0.7321
0.0915	276	0.658
0.0918	277	0.6616
0.0922	278	0.7005
0.0925	279	0.6202
0.0928	280	0.6297
0.0932	281	0.6376
0.0935	282	0.5503
0.0938	283	0.5584
0.0942	284	0.553
0.0945	285	0.5496
0.0948	286	0.523
0.0952	287	0.5122
0.0955	288	0.5487
0.0958	289	0.5099
0.0962	290	0.5036
0.0965	291	0.5226
0.0968	292	0.5166
0.0971	293	0.5152
0.0975	294	0.5026
0.0978	295	0.4217
0.0981	296	0.4519
0.0985	297	0.4942
0.0988	298	0.4916
0.0991	299	0.4697
0.0995	300	0.5236
0.0998	301	0.4096
0.1001	302	0.4599
0.1005	303	0.4538
0.1008	304	0.4469
0.1011	305	0.3647
0.1015	306	0.4438
0.1018	307	0.3887
0.1021	308	0.4455
0.1025	309	0.4266
0.1028	310	0.4024
0.1031	311	0.4443
0.1034	312	0.3603
0.1038	313	0.3466
0.1041	314	0.3599
0.1044	315	0.359
0.1048	316	0.3696
0.1051	317	0.3051
0.1054	318	0.3049
0.1058	319	0.3917
0.1061	320	0.3548
0.1064	321	0.3247
0.1068	322	0.3339
0.1071	323	0.3412
0.1074	324	0.3404
0.1078	325	0.3312
0.1081	326	0.3421
0.1084	327	0.3128
0.1088	328	0.3071
0.1091	329	0.3324
0.1094	330	0.3144
0.1097	331	0.3926
0.1101	332	0.329
0.1104	333	0.3127
0.1107	334	0.2943
0.1111	335	0.3113
0.1114	336	0.3196
0.1117	337	0.3124
0.1121	338	0.359
0.1124	339	0.3002
0.1127	340	0.3034
0.1131	341	0.3183
0.1134	342	0.293
0.1137	343	0.3177
0.1141	344	0.3065
0.1144	345	0.3224
0.1147	346	0.242
0.1151	347	0.3478
0.1154	348	0.2316
0.1157	349	0.3266
0.1160	350	0.3164
0.1164	351	0.3205
0.1167	352	0.305
0.1170	353	0.3371
0.1174	354	0.3613
0.1177	355	0.3245
0.1180	356	0.2858
0.1184	357	0.3188
0.1187	358	0.281
0.1190	359	0.2857
0.1194	360	0.293
0.1197	361	0.2687
0.1200	362	0.2914
0.1204	363	0.3362
0.1207	364	0.2652
0.1210	365	0.2964
0.1214	366	0.2987
0.1217	367	0.3005
0.1220	368	0.2879
0.1223	369	0.2194
0.1227	370	0.2624
0.1230	371	0.3211
0.1233	372	0.2729
0.1237	373	0.3242
0.1240	374	0.2367
0.1243	375	0.2894
0.1247	376	0.2264
0.125	377	0.2065
0.1253	378	0.3032
0.1257	379	0.2204
0.1260	380	0.2386
0.1263	381	0.3083
0.1267	382	0.2363
0.1270	383	0.3204
0.1273	384	0.2661
0.1277	385	0.2817
0.1280	386	0.2944
0.1283	387	0.2524
0.1286	388	0.2543
0.1290	389	0.2629
0.1293	390	0.2952
0.1296	391	0.2251
0.1300	392	0.2912
0.1303	393	0.2922
0.1306	394	0.2564
0.1310	395	0.2916
0.1313	396	0.2392
0.1316	397	0.2545
0.1320	398	0.2597
0.1323	399	0.2941
0.1326	400	0.2025
0.1330	401	0.2615
0.1333	402	0.201
0.1336	403	0.2331
0.1340	404	0.2289
0.1343	405	0.2429
0.1346	406	0.2555
0.1349	407	0.2442
0.1353	408	0.2491
0.1356	409	0.2676
0.1359	410	0.2394
0.1363	411	0.1998
0.1366	412	0.3141
0.1369	413	0.239
0.1373	414	0.2281
0.1376	415	0.2278
0.1379	416	0.1913
0.1383	417	0.2615
0.1386	418	0.2708
0.1389	419	0.2287
0.1393	420	0.2409
0.1396	421	0.271
0.1399	422	0.2295
0.1403	423	0.2403
0.1406	424	0.2443
0.1409	425	0.2621
0.1412	426	0.2835
0.1416	427	0.1829
0.1419	428	0.2298
0.1422	429	0.2479
0.1426	430	0.2467
0.1429	431	0.2288
0.1432	432	0.1992
0.1436	433	0.2195
0.1439	434	0.2502
0.1442	435	0.2043
0.1446	436	0.2548
0.1449	437	0.2429
0.1452	438	0.2039
0.1456	439	0.2663
0.1459	440	0.1836
0.1462	441	0.2144
0.1466	442	0.223
0.1469	443	0.2568
0.1472	444	0.2207
0.1475	445	0.1863
0.1479	446	0.21
0.1482	447	0.2514
0.1485	448	0.208
0.1489	449	0.2201
0.1492	450	0.2132
0.1495	451	0.231
0.1499	452	0.2629
0.1502	453	0.2138
0.1505	454	0.2611
0.1509	455	0.1523
0.1512	456	0.2335
0.1515	457	0.217
0.1519	458	0.2436
0.1522	459	0.2308
0.1525	460	0.1993
0.1529	461	0.2147
0.1532	462	0.2242
0.1535	463	0.1954
0.1538	464	0.1941
0.1542	465	0.2294
0.1545	466	0.1766
0.1548	467	0.1718
0.1552	468	0.2119
0.1555	469	0.2239
0.1558	470	0.2218
0.1562	471	0.2122
0.1565	472	0.1968
0.1568	473	0.197
0.1572	474	0.2105
0.1575	475	0.2177
0.1578	476	0.2139
0.1582	477	0.1804
0.1585	478	0.1768
0.1588	479	0.2257
0.1592	480	0.1626
0.1595	481	0.2167
0.1598	482	0.2452
0.1601	483	0.2573
0.1605	484	0.1989
0.1608	485	0.1899
0.1611	486	0.1869
0.1615	487	0.2136
0.1618	488	0.2129
0.1621	489	0.1992
0.1625	490	0.1839
0.1628	491	0.2387
0.1631	492	0.1933
0.1635	493	0.1896
0.1638	494	0.1924
0.1641	495	0.173
0.1645	496	0.2143
0.1648	497	0.1613
0.1651	498	0.1697
0.1655	499	0.1865
0.1658	500	0.181
0.1661	501	0.185
0.1664	502	0.2185
0.1668	503	0.2051
0.1671	504	0.2386
0.1674	505	0.178
0.1678	506	0.1406
0.1681	507	0.1754
0.1684	508	0.2599
0.1688	509	0.1763
0.1691	510	0.2447
0.1694	511	0.1903
0.1698	512	0.2243
0.1701	513	0.2005
0.1704	514	0.1887
0.1708	515	0.1978
0.1711	516	0.158
0.1714	517	0.1447
0.1718	518	0.2146
0.1721	519	0.2158
0.1724	520	0.1933
0.1727	521	0.1903
0.1731	522	0.1756
0.1734	523	0.2533
0.1737	524	0.2224
0.1741	525	0.2162
0.1744	526	0.1626
0.1747	527	0.1856
0.1751	528	0.1804
0.1754	529	0.2279
0.1757	530	0.2004
0.1761	531	0.1869
0.1764	532	0.2304
0.1767	533	0.2249
0.1771	534	0.1893
0.1774	535	0.1876
0.1777	536	0.1665
0.1781	537	0.2254
0.1784	538	0.1412
0.1787	539	0.1812
0.1790	540	0.1637
0.1794	541	0.1593
0.1797	542	0.172
0.1800	543	0.1991
0.1804	544	0.1942
0.1807	545	0.1753
0.1810	546	0.22
0.1814	547	0.1725
0.1817	548	0.1677
0.1820	549	0.1791
0.1824	550	0.2238
0.1827	551	0.1727
0.1830	552	0.1965
0.1834	553	0.2004
0.1837	554	0.1444
0.1840	555	0.1413
0.1844	556	0.2054
0.1847	557	0.2145
0.1850	558	0.1498
0.1853	559	0.1764
0.1857	560	0.1732
0.1860	561	0.168
0.1863	562	0.1705
0.1867	563	0.1747
0.1870	564	0.1747
0.1873	565	0.1795
0.1877	566	0.1578
0.1880	567	0.2291
0.1883	568	0.2056
0.1887	569	0.1909
0.1890	570	0.1859
0.1893	571	0.198
0.1897	572	0.1701
0.1900	573	0.1664
0.1903	574	0.199
0.1906	575	0.1763
0.1910	576	0.2009
0.1913	577	0.1704
0.1916	578	0.1478
0.1920	579	0.1798
0.1923	580	0.1679
0.1926	581	0.1793
0.1930	582	0.1596
0.1933	583	0.2125
0.1936	584	0.2065
0.1940	585	0.169
0.1943	586	0.1603
0.1946	587	0.1304
0.1950	588	0.1606
0.1953	589	0.2294
0.1956	590	0.1792
0.1960	591	0.1948
0.1963	592	0.2194
0.1966	593	0.1499
0.1969	594	0.1691
0.1973	595	0.2422
0.1976	596	0.1424
0.1979	597	0.1717
0.1983	598	0.1888
0.1986	599	0.1846
0.1989	600	0.2029
0.1993	601	0.2088
0.1996	602	0.2413
0.1999	603	0.1716
0.2003	604	0.1597
0.2006	605	0.1568
0.2009	606	0.214
0.2013	607	0.1433
0.2016	608	0.1803
0.2019	609	0.1769
0.2023	610	0.1897
0.2026	611	0.176
0.2029	612	0.1623
0.2032	613	0.1936
0.2036	614	0.1762
0.2039	615	0.1748
0.2042	616	0.1836
0.2046	617	0.1536
0.2049	618	0.1914
0.2052	619	0.1749
0.2056	620	0.1718
0.2059	621	0.219
0.2062	622	0.1876
0.2066	623	0.1186
0.2069	624	0.1779
0.2072	625	0.1417
0.2076	626	0.1532
0.2079	627	0.1836
0.2082	628	0.2494
0.2086	629	0.1731
0.2089	630	0.1559
0.2092	631	0.1841
0.2095	632	0.158
0.2099	633	0.1894
0.2102	634	0.1955
0.2105	635	0.1873
0.2109	636	0.1761
0.2112	637	0.1713
0.2115	638	0.1897
0.2119	639	0.1616
0.2122	640	0.1556
0.2125	641	0.164
0.2129	642	0.1837
0.2132	643	0.1751
0.2135	644	0.1932
0.2139	645	0.1523
0.2142	646	0.1549
0.2145	647	0.1617
0.2149	648	0.158
0.2152	649	0.1768
0.2155	650	0.1619
0.2158	651	0.192
0.2162	652	0.143
0.2165	653	0.1527
0.2168	654	0.1811
0.2172	655	0.1929
0.2175	656	0.1545
0.2178	657	0.1367
0.2182	658	0.2054
0.2185	659	0.1602
0.2188	660	0.1782
0.2192	661	0.1539
0.2195	662	0.1908
0.2198	663	0.1696
0.2202	664	0.1709
0.2205	665	0.1643
0.2208	666	0.1445
0.2212	667	0.151
0.2215	668	0.1594
0.2218	669	0.2188
0.2221	670	0.1509
0.2225	671	0.1685
0.2228	672	0.1941
0.2231	673	0.1617
0.2235	674	0.2097
0.2238	675	0.1779
0.2241	676	0.1333
0.2245	677	0.1446
0.2248	678	0.1429
0.2251	679	0.1988
0.2255	680	0.1825
0.2258	681	0.1469
0.2261	682	0.201
0.2265	683	0.1884
0.2268	684	0.1717
0.2271	685	0.2082
0.2275	686	0.1408
0.2278	687	0.1423
0.2281	688	0.1839
0.2284	689	0.1547
0.2288	690	0.1988
0.2291	691	0.151
0.2294	692	0.1673
0.2298	693	0.1424
0.2301	694	0.2006
0.2304	695	0.1884
0.2308	696	0.1432
0.2311	697	0.1619
0.2314	698	0.1649
0.2318	699	0.1561
0.2321	700	0.1787
0.2324	701	0.1837
0.2328	702	0.169
0.2331	703	0.1476
0.2334	704	0.1501
0.2338	705	0.1672
0.2341	706	0.1397
0.2344	707	0.1329
0.2347	708	0.1302
0.2351	709	0.1572
0.2354	710	0.1719
0.2357	711	0.1482
0.2361	712	0.1802
0.2364	713	0.1408
0.2367	714	0.1235
0.2371	715	0.1775
0.2374	716	0.1341
0.2377	717	0.1922
0.2381	718	0.1328
0.2384	719	0.1766
0.2387	720	0.1697
0.2391	721	0.1364
0.2394	722	0.1549
0.2397	723	0.1847
0.2401	724	0.132
0.2404	725	0.1391
0.2407	726	0.1868
0.2410	727	0.172
0.2414	728	0.1881
0.2417	729	0.1753
0.2420	730	0.2076
0.2424	731	0.1391
0.2427	732	0.1696
0.2430	733	0.1701
0.2434	734	0.1531
0.2437	735	0.16
0.2440	736	0.1733
0.2444	737	0.1603
0.2447	738	0.1532
0.2450	739	0.156
0.2454	740	0.1547
0.2457	741	0.1572
0.2460	742	0.1279
0.2464	743	0.1353
0.2467	744	0.2082
0.2470	745	0.2309
0.2473	746	0.2141
0.2477	747	0.1741
0.2480	748	0.149
0.2483	749	0.179
0.2487	750	0.1679
0.2490	751	0.1625
0.2493	752	0.1449
0.2497	753	0.1579
0.25	754	0.1826
0.2503	755	0.1537
0.2507	756	0.153
0.2510	757	0.1645
0.2513	758	0.1513
0.2517	759	0.1617
0.2520	760	0.1419
0.2523	761	0.1539
0.2527	762	0.1364
0.2530	763	0.1725
0.2533	764	0.1525
0.2536	765	0.1384
0.2540	766	0.1465
0.2543	767	0.1794
0.2546	768	0.1587
0.2550	769	0.1674
0.2553	770	0.1557
0.2556	771	0.1752
0.2560	772	0.156
0.2563	773	0.1867
0.2566	774	0.181
0.2570	775	0.1386
0.2573	776	0.1204
0.2576	777	0.1888
0.2580	778	0.1812
0.2583	779	0.1809
0.2586	780	0.1604
0.2590	781	0.1423
0.2593	782	0.1562
0.2596	783	0.1381
0.2599	784	0.2003
0.2603	785	0.1189
0.2606	786	0.1423
0.2609	787	0.1547
0.2613	788	0.1473
0.2616	789	0.1447
0.2619	790	0.1697
0.2623	791	0.1574
0.2626	792	0.153
0.2629	793	0.1631
0.2633	794	0.1712
0.2636	795	0.1594
0.2639	796	0.1469
0.2643	797	0.1526
0.2646	798	0.1849
0.2649	799	0.1405
0.2653	800	0.1758
0.2656	801	0.1681
0.2659	802	0.1656
0.2662	803	0.1765
0.2666	804	0.1304
0.2669	805	0.1478
0.2672	806	0.1543
0.2676	807	0.1571
0.2679	808	0.1706
0.2682	809	0.1566
0.2686	810	0.116
0.2689	811	0.1696
0.2692	812	0.149
0.2696	813	0.1491
0.2699	814	0.1538
0.2702	815	0.1548
0.2706	816	0.1794
0.2709	817	0.1287
0.2712	818	0.1373
0.2716	819	0.2021
0.2719	820	0.1706
0.2722	821	0.1636
0.2725	822	0.2122
0.2729	823	0.1666
0.2732	824	0.1332
0.2735	825	0.1849
0.2739	826	0.132
0.2742	827	0.1452
0.2745	828	0.1791
0.2749	829	0.1541
0.2752	830	0.177
0.2755	831	0.179
0.2759	832	0.156
0.2762	833	0.1545
0.2765	834	0.1587
0.2769	835	0.1328
0.2772	836	0.1615
0.2775	837	0.1693
0.2779	838	0.1261
0.2782	839	0.1713
0.2785	840	0.1391
0.2788	841	0.1801
0.2792	842	0.1646
0.2795	843	0.1291
0.2798	844	0.1169
0.2802	845	0.1551
0.2805	846	0.1242
0.2808	847	0.129
0.2812	848	0.1641
0.2815	849	0.1702
0.2818	850	0.1101
0.2822	851	0.1596
0.2825	852	0.1192
0.2828	853	0.1414
0.2832	854	0.1567
0.2835	855	0.1526
0.2838	856	0.136
0.2842	857	0.1018
0.2845	858	0.161
0.2848	859	0.165
0.2851	860	0.1398
0.2855	861	0.1933
0.2858	862	0.1346
0.2861	863	0.1276
0.2865	864	0.1663
0.2868	865	0.2063
0.2871	866	0.1642
0.2875	867	0.1454
0.2878	868	0.1569
0.2881	869	0.1425
0.2885	870	0.1696
0.2888	871	0.1543
0.2891	872	0.1418
0.2895	873	0.1574
0.2898	874	0.1392
0.2901	875	0.1299
0.2905	876	0.1381
0.2908	877	0.1428
0.2911	878	0.1392
0.2914	879	0.115
0.2918	880	0.1614
0.2921	881	0.1249
0.2924	882	0.1928
0.2928	883	0.1119
0.2931	884	0.1694
0.2934	885	0.1482
0.2938	886	0.1661
0.2941	887	0.1426
0.2944	888	0.1548
0.2948	889	0.1462
0.2951	890	0.1448
0.2954	891	0.1315
0.2958	892	0.1428
0.2961	893	0.1514
0.2964	894	0.1736
0.2968	895	0.1712
0.2971	896	0.1563
0.2974	897	0.1528
0.2977	898	0.1762
0.2981	899	0.1885
0.2984	900	0.1445
0.2987	901	0.1461
0.2991	902	0.1145
0.2994	903	0.1246
0.2997	904	0.1697
0.3001	905	0.1172
0.3004	906	0.1248
0.3007	907	0.147
0.3011	908	0.1716
0.3014	909	0.1329
0.3017	910	0.1205
0.3021	911	0.1556
0.3024	912	0.1482
0.3027	913	0.1823
0.3031	914	0.1471
0.3034	915	0.1568
0.3037	916	0.1262
0.3040	917	0.14
0.3044	918	0.152
0.3047	919	0.1625
0.3050	920	0.1708
0.3054	921	0.161
0.3057	922	0.1477
0.3060	923	0.149
0.3064	924	0.1566
0.3067	925	0.1683
0.3070	926	0.137
0.3074	927	0.1511
0.3077	928	0.111
0.3080	929	0.142
0.3084	930	0.1904
0.3087	931	0.1741
0.3090	932	0.1539
0.3094	933	0.1964
0.3097	934	0.1415
0.3100	935	0.1387
0.3103	936	0.1632
0.3107	937	0.1499
0.3110	938	0.1167
0.3113	939	0.1725
0.3117	940	0.1569
0.3120	941	0.1451
0.3123	942	0.1665
0.3127	943	0.1156
0.3130	944	0.1508
0.3133	945	0.123
0.3137	946	0.1809
0.3140	947	0.1476
0.3143	948	0.1467
0.3147	949	0.1577
0.3150	950	0.1417
0.3153	951	0.1403
0.3156	952	0.136
0.3160	953	0.1365
0.3163	954	0.1559
0.3166	955	0.1338
0.3170	956	0.1435
0.3173	957	0.1928
0.3176	958	0.1599
0.3180	959	0.174
0.3183	960	0.1719
0.3186	961	0.1199
0.3190	962	0.1452
0.3193	963	0.1533
0.3196	964	0.1377
0.3200	965	0.1852
0.3203	966	0.1308
0.3206	967	0.1668
0.3210	968	0.174
0.3213	969	0.1361
0.3216	970	0.1461
0.3219	971	0.1458
0.3223	972	0.1788
0.3226	973	0.128
0.3229	974	0.1806
0.3233	975	0.1837
0.3236	976	0.1684
0.3239	977	0.1799
0.3243	978	0.1479
0.3246	979	0.1372
0.3249	980	0.1709
0.3253	981	0.1601
0.3256	982	0.1602
0.3259	983	0.1548
0.3263	984	0.1408
0.3266	985	0.0981
0.3269	986	0.0929
0.3273	987	0.1504
0.3276	988	0.1761
0.3279	989	0.1513
0.3282	990	0.1653
0.3286	991	0.1478
0.3289	992	0.1215
0.3292	993	0.1559
0.3296	994	0.1565
0.3299	995	0.1181
0.3302	996	0.1557
0.3306	997	0.1656
0.3309	998	0.1402
0.3312	999	0.171
0.3316	1000	0.1279

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.1.1
• Transformers: 4.45.2
• PyTorch: 2.3.1+cu121
• Accelerate: 1.1.1
• Datasets: 3.1.0
• Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}