SentenceTransformer based on vinai/phobert-base-v2

This is a sentence-transformers model finetuned from vinai/phobert-base-v2 on the vi_nli-healthcare-supervised dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: vinai/phobert-base-v2
Maximum Sequence Length: 128 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- vi_nli-healthcare-supervised
Language: vi

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Phương_pháp điều_trị tự_nhiên số 5 : Châm_cứu',
    'Châm_cứu là một hình_thức y_học cổ_truyền của Trung_Quốc . Các kim rất mỏng được đưa vào da của bạn ở các điểm khác nhau trên_cơ_thể . Nó được sử_dụng để điều_trị nhiều tình_trạng khác nhau . Một bài báo được xuất_bản trong Cơ_sở dữ_liệu Cochrane về các đánh_giá có hệ_thống cho thấy nó có_thể giúp điều_trị chứng đau cơ xơ_hóa . Các tác_giả đã đánh_giá 9 nghiên_cứu với tổng_số 395 người tham_gia . Họ đã tìm ra một_số bằng_chứng cho thấy châm_cứu có_thể giúp cải_thiện tình_trạng đau và cứng khớp .',
    'Những lợi_ích của châm_cứu đối_với sức_khoẻ An Hoà Khang Những lợi_ích của châm_cứu đối_với sức_khoẻ Mặc_dù lão_hoá là một quá_trình_tự_nhiên của cơ_thể nhưng châm_cứu có_thể giúp làm chậm quá_trình này và giảm hiện_tượng lão_hoá hiệu_quả . Châm_cứu_giúp làm_đẹp da bằng cách tăng_cường lưu_thông máu đến các tế_bào da . Nó cũng giúp làm giảm nếp nhăn , đốm đồi_mồi và các dấu_hiệu lão_hoá khác . Đẩy_lùi viêm họng Đau họng có_thể là do bạn đã bị nhiễm_trùng , dị_ứng hoặc do các chất kích_thích . Việc châm_cứu_giúp tăng_cường lưu_thông máu , từ đó cải_thiện hệ miễn_dịch và khắc_phục các vấn_đề về hô_hấp hiệu_quả . Châm_cứu làm tăng lưu_lượng máu đến tử_cung , giúp thư giãn các cơ và kích_thích giải_phóng endorphin trong não để bạn quên đi cảm_giác khó_chịu và đau_đớn trong những ngày " đèn_đỏ " . Nếu muốn có đời_sống tình_dục tốt , bạn cần có sức_khoẻ tốt về cả_thể_chất lẫn tinh_thần và không bị rối_loạn tình_dục . Châm_cứu có_thể cải_thiện sức_khoẻ thể_chất và tinh_thần , từ đó giúp bạn có đời_sống tình_dục tốt_đẹp . Châm_cứu còn có_thể giúp điều_trị các chứng rối_loạn tình_dục như rối_loạn cương dương , xuất_tinh sớm ... Châm_cứu cũng được xem là một phương_pháp điều_trị hen_suyễn rất hiệu_quả . Các nghiên_cứu đã chỉ ra rằng , khoảng 70 bệnh_nhân bị hen_suyễn đã giảm bớt các triệu_chứng của bệnh sau khi điều_trị bằng cách châm_cứu . Đối_phó với hội_chứng ống cổ_tay Hội_chứng ống cổ_tay hay còn gọi là hội_chứng đường_hầm cổ_tay , hội_chứng chèn_ép thần_kinh giữa . Hội_chứng này xảy ra khi dây thần_kinh hoặc dây_chằng trong ống cổ_tay bị kích_thích do chấn_thương . Các biểu_hiện lâm_sàng của hội_chứng ống cổ_tay là ngứa ran hoặc tê ở lòng bàn_tay và các ngón tay , đặc_biệt là ngón_cái và ngón_giữa . Châm_cứu là một phương_pháp điều_trị hội_chứng ống cổ_tay rất hiệu_quả thay_vì bạn phải tiến_hành phẫu_thuật .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

vi_nli-healthcare-supervised

Dataset: vi_nli-healthcare-supervised at 3aadc4d
Size: 1,032,889 training samples
Columns: anchor, positive, and negative

Approximate statistics based on the first 1000 samples:

	anchor	positive	negative
type	string	string	string
details	min: 3 tokens mean: 10.1 tokens max: 30 tokens	min: 2 tokens mean: 118.68 tokens max: 128 tokens	min: 20 tokens mean: 118.11 tokens max: 128 tokens

Samples:

anchor	positive	negative
`Triệu_chứng của u sợi thần_kinh hạ_thanh môn`	Bệnh có_thể gặp ở từ 2 đến 60 tuổi nhưng hầu_hết tập_trung ở trẻ_em . Các triệu_chứng của u sợi thần_kinh hạ_thanh môn là khàn tiếng , khó thở , khò_khè , khó nuốt , khó phát_âm ... Trẻ thường được chẩn_đoán nhầm là hen phế_quản và được cho điều_trị nội_khoa nhưng không đáp_ứng với điều_trị . Tình_trạng khó thở ngày_càng tăng đặc_biệt khi nằm , trẻ phải ngồi , nằm đầu cao hoặc ngước cổ lên để thở . Trẻ thường nhập_viện với tình_trạng khó thở nặng , đôi_khi phải mở khí_quản cấp_cứu . Để chẩn_đoán bệnh , bác_sĩ sẽ nội_soi thanh_quản , chụp cắt_lớp vi_tính và sinh_thiết lấy mẫu bệnh_phẩm để thực_hiện xét_nghiệm giải_phẫu bệnh . Xét_nghiệm cho thấy là các tế_bào hình_thoi với nhân gợn sóng , collagen và những sợi thần_kinh trong đó . Ngoài_ra , có_thể xét_nghiệm_hóa mô miễn_dịch dương_tính với S100 để chẩn_đoán u sợi thần_kinh hạ_thanh môn .	`Triệu_chứng ung_thư thanh_quản`
`Quy_trình chụp cắt_lớp vi_tính hốc mắt axial và coronal có tiêm thuốc cản_quang`	Khi người gặp chấn_thương vùng hốc mắt , bác_sĩ sẽ có chỉ_định chụp cắt_lớp vi_tính Chỉ_định : ● Chấn_thương vùng hốc mắt . ● Viêm , nhiễm_trùng như viêm dây thần_kinh thị_giác ... ● Nghi_ngờ có tổn_thương mạch_máu , thần_kinh , khối_u trong vùng hốc mắt . ● Chỉ_định theo yêu_cầu chuyên_môn của bác_sĩ điều_trị . Chống chỉ_định : ● Chống chỉ_định tương_đối : Phụ_nữ mang thai , trẻ nhỏ . Phụ_nữ mang thai nếu chụp phải dùng áo chì để che vùng bụng nếu chụp . ● Chống chỉ_định tuyệt_đối trong các trường_hợp có chống chỉ_định với thuốc đối quang như : Bệnh_nhân mắc bệnh suy thận , suy gan , suy tim nặng , tiền_sử dị_ứng với thuốc cản_quang , hen phế_quản hay cường_giáp_trạng chưa điều_trị ổn_định ... ● Trẻ nhỏ có_thể không hợp_tác trong quá_trình chụp : Xử_trí bằng cách có_thể chụp lúc trẻ ngủ , dùng thuốc an_thần hoặc một_số trường_hợp phải gây_mê . ● Người_bệnh không_thể ngửa cổ được khi chụp lớp cắt đứng ngang ( coronal ) , có_thể tái_tạo_hình_ảnh từ hướng cắt ngang đối_với các máy chụp...	Hệ_thống chụp cắt_lớp võng_mạc hỗ_trợ chẩn_đoán các bệnh_lý chuyên_sâu ( VO H ) - Bệnh_viện Mắt TPHCM vừa được trang_bị Hệ_thống chụp cắt_lớp võng_mạc CIRRUS HD - OCT 5000 ( OCT - A ) nhằm hỗ_trợ chẩn_đoán các bệnh_lý chuyên_sâu về mắt . Đây là máy chẩn_đoán hình_ảnh không xâm_lấn có_thể chụp được những vi_mạch_máu của võng_mạc , hắc mạc , được xem là thành_tựu công_nghệ sáng_tạo nổi_bật mới được Cục quản_lý thuốc và thực_phẩm Mỹ công_nhận . Máy OCT - A sử_dụng kỹ_thuật laser quét để ghi_nhận hình_ảnh các mạch_máu ở võng_mạc là lớp thần_kinh của mắt . Xét_nghiệm thực_hiện nhanh chỉ trong vòng 15 giây , người_bệnh chỉ cần nhìn vào tia hướng_dẫn trong máy như đo kính thông_thường . Ngoài_ra tia laser quét ở phổ hồng_ngoại có năng_lượng thấp không gây bất_cứ tổn_thương nào cho mắt của người_bệnh . Trước_đây để ghi_nhận được hình_ảnh các mạch_máu tương_tự thì phải tiêm thuốc cản_quang vào tĩnh_mạch người_bệnh và điều này tiềm_ẩn rủi_ro do thuốc gây ra . Người_bệnh cũng phải chịu hàng chục ...
`Thế_nào là hở van tim 3 lá ?`	Van 3 lá nằm giữa tâm_nhĩ phải và tâm_thất phải của tim , có tác_dụng cho máu lưu_thông theo một_chiều từ tâm_nhĩ xuống tâm_thất . Van 3 lá sẽ mở ra khi tâm_nhĩ co lại để bơm máu vào tâm_thất phải , van ba_lá đóng lại khi tâm_thất co tống máu vào động_mạch phổi , để có_thể ngăn dòng máu chảy ngược về tâm_nhĩ . Hở van tim 3 lá là tình_trạng van không đóng kín hoàn_toàn khi tâm_thất phải co lại , để bơm máu lên động_mạch phổi , khiến cho một phần máu bị trào ngược trở_lại thất phải . Khi có một lượng máu chảy ngược trở_lại tâm_nhĩ thì tâm_nhĩ phải cần phải hoạt_động nhiều hơn và trở_nên to ra , lâu dần gây suy chức_năng tim phải và gây ra nhiều biến_chứng như suy tim , rung nhĩ ... Hở van ba_lá tùy theo mức_độ mà được chia thành 4 mức_độ khác nhau : Hở van tim tim 3 lá 1 / 4 : Mức_độ hở van ba_lá nhẹ nhất , thông_thường còn được gọi là hở van sinh_lý , có_thể gặp ở nhiều người khỏe mạnh bình_thường . Hở van 2 lá 2 / 4 : Mức_độ hở van trung_bình và cần tiến_hành điều_trị khi thấy có các t...	Trang_chủ Bệnh tim_mạch Bệnh_lý về van tim Hở van tim 3 lá Hở van tim 3 lá là gì ? 19 / 04 / 2016 534 luợt xem Hở van tim 3 lá là gì , hậu_quả hở van tim 3 lá như thế_nào và hở van tim 3 lá cần lưu_ý những gì là những vấn_đề mọi người cần trang_bị cho mình những kiến_thức cần_thiết để biết cách đối_phó với căn_bệnh nguy_hiểm này . Van tim 3 lá bị hở cần được phát_hiện sớm và điều_trị hiệu_quả . Khi hai tâm_thất bóp ( thời_kỳ tâm thu ) thì van 2 lá và van 3 lá đóng kín , đồng_thời van động_mạch chủ và van động_mạch phổi mở để đẩy máu lên phổi và đưa máu giàu ôxy tới nuôi các tế_bào . Khi tâm_nhĩ nghỉ ( thời_kỳ tâm trương ) , 2 van động_mạch chủ và phổi đóng kín để máu không chảy ngược_lại tâm_thất được . Chúng_ta có_thể coi các van tim là những cánh cửa , khi mở ra cho máu chảy một_chiều , khi đóng lại giữ máu không chảy ngược_lại được . Van tim 3 lá là van tim thông giữa tâm_nhĩ phải và tâm_thất phải . Nếu van 3 lá bị hở , người_ta gọi là bệnh hở van tim 3 lá . Nguyên_nhân hở van tim 3...

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 128
learning_rate: 0.0001
weight_decay: 0.1
num_train_epochs: 1
warmup_ratio: 0.1
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 128
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 0.0001
weight_decay: 0.1
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0062	50	3.345
0.0124	100	0.8099
0.0186	150	0.3079
0.0248	200	0.2089
0.0310	250	0.1961
0.0372	300	0.186
0.0434	350	0.1607
0.0496	400	0.1483
0.0558	450	0.1391
0.0620	500	0.1343
0.0682	550	0.1235
0.0743	600	0.1222
0.0805	650	0.1186
0.0867	700	0.128
0.0929	750	0.1145
0.0991	800	0.1153
0.1053	850	0.1143
0.1115	900	0.1099
0.1177	950	0.1018
0.1239	1000	0.1079
0.1301	1050	0.0982
0.1363	1100	0.0949
0.1425	1150	0.0945
0.1487	1200	0.0952
0.1549	1250	0.1162
0.1611	1300	0.0965
0.1673	1350	0.0847
0.1735	1400	0.0916
0.1797	1450	0.0821
0.1859	1500	0.0693
0.1921	1550	0.0753
0.1983	1600	0.072
0.2045	1650	0.0718
0.2107	1700	0.0715
0.2169	1750	0.0711
0.2230	1800	0.0731
0.2292	1850	0.0636
0.2354	1900	0.076
0.2416	1950	0.06
0.2478	2000	0.0582
0.2540	2050	0.056
0.2602	2100	0.0539
0.2664	2150	0.0548
0.2726	2200	0.0522
0.2788	2250	0.0429
0.2850	2300	0.0543
0.2912	2350	0.055
0.2974	2400	0.0449
0.3036	2450	0.0526
0.3098	2500	0.0432
0.3160	2550	0.0513
0.3222	2600	0.0478
0.3284	2650	0.041
0.3346	2700	0.0455
0.3408	2750	0.0515
0.3470	2800	0.0455
0.3532	2850	0.0429
0.3594	2900	0.037
0.3656	2950	0.0329
0.3717	3000	0.0381
0.3779	3050	0.0381
0.3841	3100	0.0373
0.3903	3150	0.0405
0.3965	3200	0.0344
0.4027	3250	0.0345
0.4089	3300	0.0327
0.4151	3350	0.0271
0.4213	3400	0.0314
0.4275	3450	0.0352
0.4337	3500	0.0262
0.4399	3550	0.0295
0.4461	3600	0.0284
0.4523	3650	0.0248
0.4585	3700	0.0239
0.4647	3750	0.0272
0.4709	3800	0.0253
0.4771	3850	0.0288
0.4833	3900	0.0267
0.4895	3950	0.027
0.4957	4000	0.0233
0.5019	4050	0.0237
0.5081	4100	0.0224
0.5143	4150	0.0252
0.5204	4200	0.0228
0.5266	4250	0.0243
0.5328	4300	0.0269
0.5390	4350	0.0228
0.5452	4400	0.0219
0.5514	4450	0.0215
0.5576	4500	0.0242
0.5638	4550	0.0199
0.5700	4600	0.0196
0.5762	4650	0.0171
0.5824	4700	0.0161
0.5886	4750	0.0182
0.5948	4800	0.019
0.6010	4850	0.0192
0.6072	4900	0.018
0.6134	4950	0.016
0.6196	5000	0.0167
0.6258	5050	0.0155
0.6320	5100	0.0151
0.6382	5150	0.0169
0.6444	5200	0.0151
0.6506	5250	0.0152
0.6568	5300	0.0141
0.6629	5350	0.0167
0.6691	5400	0.0159
0.6753	5450	0.0163
0.6815	5500	0.0153
0.6877	5550	0.0122
0.6939	5600	0.016
0.7001	5650	0.0169
0.7063	5700	0.0132
0.7125	5750	0.0129
0.7187	5800	0.0128
0.7249	5850	0.0119
0.7311	5900	0.0118
0.7373	5950	0.0138
0.7435	6000	0.0123
0.7497	6050	0.0104
0.7559	6100	0.0147
0.7621	6150	0.0102
0.7683	6200	0.0125
0.7745	6250	0.0133
0.7807	6300	0.0134
0.7869	6350	0.0125
0.7931	6400	0.0119
0.7993	6450	0.0134
0.8055	6500	0.0144
0.8116	6550	0.0119
0.8178	6600	0.0109
0.8240	6650	0.0098
0.8302	6700	0.0115
0.8364	6750	0.0127
0.8426	6800	0.0102
0.8488	6850	0.011
0.8550	6900	0.0114
0.8612	6950	0.0116
0.8674	7000	0.0102
0.8736	7050	0.0104
0.8798	7100	0.0098
0.8860	7150	0.01
0.8922	7200	0.01
0.8984	7250	0.0085
0.9046	7300	0.0106
0.9108	7350	0.0085
0.9170	7400	0.0092
0.9232	7450	0.0095
0.9294	7500	0.0099
0.9356	7550	0.0113
0.9418	7600	0.0077
0.9480	7650	0.0095
0.9542	7700	0.0077
0.9603	7750	0.0089
0.9665	7800	0.009
0.9727	7850	0.0077
0.9789	7900	0.0101
0.9851	7950	0.0088
0.9913	8000	0.0098
0.9975	8050	0.0102

Framework Versions

Python: 3.10.13
Sentence Transformers: 3.3.1
Transformers: 4.47.1
PyTorch: 2.2.0
Accelerate: 0.26.0
Datasets: 3.2.0
Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

Downloads last month: 3

Safetensors

Model size

0.1B params

Tensor type

F32

Model tree for quangtohe/Simcse-phoBert-base-healthcare

Base model

vinai/phobert-base-v2

Finetuned

(293)

this model

quangtohe
/

Simcse-phoBert-base-healthcare