sft_uniqueness_new

This model is a fine-tuned version of Qwen/Qwen2-VL-7B-Instruct on the enrico, the fer2013, the resisc45, the decimer, the ucmerced and the inaturalist datasets. It achieves the following results on the evaluation set:

Loss: 0.2041

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 2
eval_batch_size: 1
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 8
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: cosine
lr_scheduler_warmup_ratio: 0.1
num_epochs: 3.0

Training results

Training Loss	Epoch	Step	Validation Loss
0.736	0.0454	500	0.6253
0.4861	0.0908	1000	0.3907
0.4181	0.1362	1500	0.3503
0.3028	0.1817	2000	0.3344
0.3214	0.2271	2500	0.3016
0.303	0.2725	3000	0.2977
0.3694	0.3179	3500	0.2994
0.3416	0.3633	4000	0.2988
0.266	0.4087	4500	0.2733
0.2433	0.4542	5000	0.2824
0.2216	0.4996	5500	0.2608
0.2781	0.5450	6000	0.2595
0.2206	0.5904	6500	0.2495
0.2403	0.6358	7000	0.2441
0.2681	0.6812	7500	0.2487
0.2041	0.7266	8000	0.2309
0.2982	0.7721	8500	0.2371
0.2233	0.8175	9000	0.2332
0.2416	0.8629	9500	0.2305
0.1913	0.9083	10000	0.2288
0.2006	0.9537	10500	0.2316
0.1846	0.9991	11000	0.2236
0.2535	1.0446	11500	0.2257
0.1195	1.0900	12000	0.2257
0.1386	1.1354	12500	0.2197
0.1542	1.1808	13000	0.2315
0.1951	1.2262	13500	0.2194
0.1833	1.2716	14000	0.2194
0.1244	1.3170	14500	0.2179
0.1624	1.3625	15000	0.2153
0.2119	1.4079	15500	0.2152
0.1696	1.4533	16000	0.2227
0.1398	1.4987	16500	0.2123
0.2048	1.5441	17000	0.2136
0.1115	1.5895	17500	0.2082
0.2041	1.6350	18000	0.2004
0.2027	1.6804	18500	0.1996
0.1198	1.7258	19000	0.2000
0.1837	1.7712	19500	0.2014
0.1748	1.8166	20000	0.1982
0.156	1.8620	20500	0.1981
0.1704	1.9074	21000	0.1924
0.1532	1.9529	21500	0.1963
0.1719	1.9983	22000	0.1920
0.0699	2.0437	22500	0.2018
0.145	2.0891	23000	0.2079
0.1097	2.1345	23500	0.2018
0.1007	2.1799	24000	0.2035
0.0622	2.2254	24500	0.2074
0.095	2.2708	25000	0.2000
0.144	2.3162	25500	0.2056
0.2398	2.3616	26000	0.2032
0.0303	2.4070	26500	0.2016
0.0766	2.4524	27000	0.2044
0.0822	2.4978	27500	0.2029
0.1465	2.5433	28000	0.2057
0.094	2.5887	28500	0.2006
0.1033	2.6341	29000	0.2012
0.128	2.6795	29500	0.2027
0.0784	2.7249	30000	0.2035
0.1244	2.7703	30500	0.2045
0.1106	2.8158	31000	0.2042
0.0845	2.8612	31500	0.2042
0.1129	2.9066	32000	0.2041
0.1064	2.9520	32500	0.2041
0.1087	2.9974	33000	0.2041