layoutlm-impira-funsd

This model is a fine-tuned version of impira/layoutlm-document-qa on the funsd dataset. It achieves the following results on the evaluation set:

• Loss: 1.6121
• Answer: {'precision': 0.5377049180327869, 'recall': 0.6081582200247219, 'f1': 0.5707656612529002, 'number': 809}
• Header: {'precision': 0.4322033898305085, 'recall': 0.42857142857142855, 'f1': 0.430379746835443, 'number': 119}
• Question: {'precision': 0.6891545687446626, 'recall': 0.7577464788732394, 'f1': 0.7218246869409659, 'number': 1065}
• Overall Precision: 0.6125
• Overall Recall: 0.6774
• Overall F1: 0.6433
• Overall Accuracy: 0.6880

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 100
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Answer	Header	Question	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
1.826	1.0	19	1.6716	{'precision': 0.03225806451612903, 'recall': 0.0012360939431396785, 'f1': 0.0023809523809523807, 'number': 809}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 119}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1065}	0.0323	0.0005	0.0010	0.2917
1.655	2.0	38	1.5392	{'precision': 0.18201595358955766, 'recall': 0.31025957972805934, 'f1': 0.2294332723948812, 'number': 809}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 119}	{'precision': 0.3561030235162374, 'recall': 0.29859154929577464, 'f1': 0.3248212461695608, 'number': 1065}	0.2504	0.2855	0.2668	0.3928
1.4902	3.0	57	1.3716	{'precision': 0.16489988221436985, 'recall': 0.34610630407911, 'f1': 0.2233745512564819, 'number': 809}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 119}	{'precision': 0.28278221208665905, 'recall': 0.46572769953051646, 'f1': 0.3518978361120965, 'number': 1065}	0.2248	0.3894	0.2850	0.4462
1.32	4.0	76	1.1821	{'precision': 0.22830336200156373, 'recall': 0.36093943139678614, 'f1': 0.27969348659003834, 'number': 809}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 119}	{'precision': 0.4038231780167264, 'recall': 0.6347417840375587, 'f1': 0.49361080686381886, 'number': 1065}	0.3278	0.4857	0.3914	0.5030
1.1648	5.0	95	1.1064	{'precision': 0.3294301327088212, 'recall': 0.5216316440049443, 'f1': 0.4038277511961722, 'number': 809}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 119}	{'precision': 0.5201900237529691, 'recall': 0.6169014084507042, 'f1': 0.5644329896907216, 'number': 1065}	0.4226	0.5414	0.4747	0.5367
1.0693	6.0	114	1.0764	{'precision': 0.3750932140193885, 'recall': 0.6217552533992583, 'f1': 0.46790697674418597, 'number': 809}	{'precision': 0.04, 'recall': 0.008403361344537815, 'f1': 0.01388888888888889, 'number': 119}	{'precision': 0.5842293906810035, 'recall': 0.612206572769953, 'f1': 0.5978908757450712, 'number': 1065}	0.4658	0.5800	0.5166	0.5660
0.9437	7.0	133	0.9254	{'precision': 0.39571150097465885, 'recall': 0.5018541409147095, 'f1': 0.4425068119891008, 'number': 809}	{'precision': 0.09090909090909091, 'recall': 0.05042016806722689, 'f1': 0.06486486486486487, 'number': 119}	{'precision': 0.5672609400324149, 'recall': 0.6572769953051644, 'f1': 0.6089604175728578, 'number': 1065}	0.4781	0.5580	0.5149	0.6690
0.8709	8.0	152	0.9539	{'precision': 0.43952802359882004, 'recall': 0.5525339925834364, 'f1': 0.4895947426067908, 'number': 809}	{'precision': 0.19230769230769232, 'recall': 0.12605042016806722, 'f1': 0.15228426395939088, 'number': 119}	{'precision': 0.6252220248667851, 'recall': 0.6610328638497652, 'f1': 0.642628936558649, 'number': 1065}	0.5250	0.5850	0.5534	0.6319
0.7989	9.0	171	0.9067	{'precision': 0.4297082228116711, 'recall': 0.6007416563658838, 'f1': 0.5010309278350515, 'number': 809}	{'precision': 0.21794871794871795, 'recall': 0.14285714285714285, 'f1': 0.17258883248730966, 'number': 119}	{'precision': 0.625, 'recall': 0.6572769953051644, 'f1': 0.6407322654462242, 'number': 1065}	0.5165	0.6036	0.5567	0.6898
0.7433	10.0	190	0.8878	{'precision': 0.44200626959247646, 'recall': 0.522867737948084, 'f1': 0.479048697621744, 'number': 809}	{'precision': 0.26548672566371684, 'recall': 0.25210084033613445, 'f1': 0.25862068965517243, 'number': 119}	{'precision': 0.5764094955489614, 'recall': 0.7295774647887324, 'f1': 0.6440116038126814, 'number': 1065}	0.5087	0.6172	0.5577	0.6906
0.6651	11.0	209	0.9188	{'precision': 0.4670103092783505, 'recall': 0.5599505562422744, 'f1': 0.509274873524452, 'number': 809}	{'precision': 0.27350427350427353, 'recall': 0.2689075630252101, 'f1': 0.2711864406779661, 'number': 119}	{'precision': 0.6237799467613132, 'recall': 0.6600938967136151, 'f1': 0.6414233576642335, 'number': 1065}	0.5366	0.5961	0.5648	0.6888
0.6192	12.0	228	0.9399	{'precision': 0.45463228271251194, 'recall': 0.588380716934487, 'f1': 0.5129310344827586, 'number': 809}	{'precision': 0.25833333333333336, 'recall': 0.2605042016806723, 'f1': 0.2594142259414226, 'number': 119}	{'precision': 0.6372968349016254, 'recall': 0.6995305164319249, 'f1': 0.6669650850492391, 'number': 1065}	0.5360	0.6282	0.5784	0.6669
0.5783	13.0	247	1.0329	{'precision': 0.47099311701081614, 'recall': 0.5920889987639061, 'f1': 0.524644030668127, 'number': 809}	{'precision': 0.275, 'recall': 0.2773109243697479, 'f1': 0.27615062761506276, 'number': 119}	{'precision': 0.6464912280701754, 'recall': 0.692018779342723, 'f1': 0.6684807256235827, 'number': 1065}	0.5485	0.6267	0.5850	0.6499
0.5438	14.0	266	0.9345	{'precision': 0.5125748502994012, 'recall': 0.5290482076637825, 'f1': 0.5206812652068127, 'number': 809}	{'precision': 0.25, 'recall': 0.2773109243697479, 'f1': 0.26294820717131473, 'number': 119}	{'precision': 0.6063418406805878, 'recall': 0.7361502347417841, 'f1': 0.6649703138252757, 'number': 1065}	0.5509	0.6247	0.5855	0.6976
0.505	15.0	285	1.0248	{'precision': 0.4761459307764266, 'recall': 0.6291718170580964, 'f1': 0.5420660276890309, 'number': 809}	{'precision': 0.2711864406779661, 'recall': 0.2689075630252101, 'f1': 0.270042194092827, 'number': 119}	{'precision': 0.6457286432160804, 'recall': 0.723943661971831, 'f1': 0.6826029216467463, 'number': 1065}	0.5510	0.6583	0.5999	0.6631
0.4889	16.0	304	0.9589	{'precision': 0.4879032258064516, 'recall': 0.5982694684796045, 'f1': 0.5374791782343143, 'number': 809}	{'precision': 0.2916666666666667, 'recall': 0.29411764705882354, 'f1': 0.29288702928870297, 'number': 119}	{'precision': 0.6603284356093345, 'recall': 0.7173708920187793, 'f1': 0.6876687668766878, 'number': 1065}	0.5654	0.6438	0.6021	0.6890
0.4573	17.0	323	0.9687	{'precision': 0.4908503767491927, 'recall': 0.5636588380716935, 'f1': 0.5247410817031071, 'number': 809}	{'precision': 0.25196850393700787, 'recall': 0.2689075630252101, 'f1': 0.2601626016260163, 'number': 119}	{'precision': 0.613464447806354, 'recall': 0.7615023474178404, 'f1': 0.679514034352744, 'number': 1065}	0.5463	0.6518	0.5944	0.6699
0.429	18.0	342	0.9203	{'precision': 0.4941427050053248, 'recall': 0.5735475896168108, 'f1': 0.5308924485125858, 'number': 809}	{'precision': 0.29411764705882354, 'recall': 0.25210084033613445, 'f1': 0.27149321266968324, 'number': 119}	{'precision': 0.6371610845295056, 'recall': 0.7502347417840376, 'f1': 0.6890901250539027, 'number': 1065}	0.5634	0.6488	0.6031	0.6936
0.4083	19.0	361	1.1199	{'precision': 0.4856870229007634, 'recall': 0.6291718170580964, 'f1': 0.548196015078083, 'number': 809}	{'precision': 0.275, 'recall': 0.2773109243697479, 'f1': 0.27615062761506276, 'number': 119}	{'precision': 0.6541038525963149, 'recall': 0.7333333333333333, 'f1': 0.6914563966356795, 'number': 1065}	0.5601	0.6638	0.6076	0.6647
0.386	20.0	380	0.9997	{'precision': 0.5216450216450217, 'recall': 0.595797280593325, 'f1': 0.5562608193883439, 'number': 809}	{'precision': 0.3333333333333333, 'recall': 0.3025210084033613, 'f1': 0.3171806167400881, 'number': 119}	{'precision': 0.6660973526900086, 'recall': 0.7323943661971831, 'f1': 0.6976744186046512, 'number': 1065}	0.5892	0.6513	0.6187	0.6912
0.3673	21.0	399	1.0394	{'precision': 0.5, 'recall': 0.5377008652657602, 'f1': 0.5181655747468732, 'number': 809}	{'precision': 0.296875, 'recall': 0.31932773109243695, 'f1': 0.3076923076923077, 'number': 119}	{'precision': 0.6133133881824981, 'recall': 0.7699530516431925, 'f1': 0.6827643630308077, 'number': 1065}	0.5537	0.6488	0.5975	0.6676
0.356	22.0	418	1.0552	{'precision': 0.5015479876160991, 'recall': 0.6007416563658838, 'f1': 0.5466816647919011, 'number': 809}	{'precision': 0.3153153153153153, 'recall': 0.29411764705882354, 'f1': 0.30434782608695654, 'number': 119}	{'precision': 0.6769638128861429, 'recall': 0.72018779342723, 'f1': 0.6979071883530482, 'number': 1065}	0.5820	0.6463	0.6125	0.6780
0.3228	23.0	437	1.0022	{'precision': 0.4894561598224195, 'recall': 0.5451174289245982, 'f1': 0.5157894736842105, 'number': 809}	{'precision': 0.29838709677419356, 'recall': 0.31092436974789917, 'f1': 0.3045267489711935, 'number': 119}	{'precision': 0.6420047732696897, 'recall': 0.7577464788732394, 'f1': 0.6950904392764858, 'number': 1065}	0.5631	0.6448	0.6012	0.6990
0.3065	24.0	456	1.0304	{'precision': 0.49398907103825135, 'recall': 0.5587144622991347, 'f1': 0.5243619489559165, 'number': 809}	{'precision': 0.2937062937062937, 'recall': 0.35294117647058826, 'f1': 0.32061068702290074, 'number': 119}	{'precision': 0.6472545757071547, 'recall': 0.7305164319248826, 'f1': 0.686369651521835, 'number': 1065}	0.5628	0.6382	0.5982	0.6882
0.2999	25.0	475	1.1837	{'precision': 0.5005291005291005, 'recall': 0.584672435105068, 'f1': 0.5393386545039908, 'number': 809}	{'precision': 0.27586206896551724, 'recall': 0.33613445378151263, 'f1': 0.30303030303030304, 'number': 119}	{'precision': 0.6452648475120385, 'recall': 0.7549295774647887, 'f1': 0.6958026828212894, 'number': 1065}	0.5638	0.6608	0.6085	0.6616
0.2766	26.0	494	1.1027	{'precision': 0.5060639470782801, 'recall': 0.5673671199011124, 'f1': 0.534965034965035, 'number': 809}	{'precision': 0.33620689655172414, 'recall': 0.3277310924369748, 'f1': 0.33191489361702126, 'number': 119}	{'precision': 0.6644182124789207, 'recall': 0.739906103286385, 'f1': 0.7001332741003998, 'number': 1065}	0.5822	0.6453	0.6121	0.6833
0.2626	27.0	513	1.2458	{'precision': 0.5086393088552916, 'recall': 0.5822002472187886, 'f1': 0.5429394812680115, 'number': 809}	{'precision': 0.30935251798561153, 'recall': 0.36134453781512604, 'f1': 0.33333333333333337, 'number': 119}	{'precision': 0.6675, 'recall': 0.752112676056338, 'f1': 0.7072847682119207, 'number': 1065}	0.5806	0.6598	0.6177	0.6690
0.2526	28.0	532	1.1911	{'precision': 0.4964964964964965, 'recall': 0.6131025957972805, 'f1': 0.5486725663716815, 'number': 809}	{'precision': 0.29411764705882354, 'recall': 0.33613445378151263, 'f1': 0.3137254901960785, 'number': 119}	{'precision': 0.6669527896995708, 'recall': 0.7295774647887324, 'f1': 0.6968609865470853, 'number': 1065}	0.5709	0.6588	0.6117	0.6688
0.2496	29.0	551	1.2185	{'precision': 0.5184782608695652, 'recall': 0.5896168108776267, 'f1': 0.551764025448236, 'number': 809}	{'precision': 0.3387096774193548, 'recall': 0.35294117647058826, 'f1': 0.345679012345679, 'number': 119}	{'precision': 0.6751484308736218, 'recall': 0.7474178403755869, 'f1': 0.7094474153297682, 'number': 1065}	0.5915	0.6598	0.6238	0.6759
0.2424	30.0	570	1.1054	{'precision': 0.52046783625731, 'recall': 0.5500618046971569, 'f1': 0.5348557692307692, 'number': 809}	{'precision': 0.3028169014084507, 'recall': 0.36134453781512604, 'f1': 0.3295019157088122, 'number': 119}	{'precision': 0.6565910999160369, 'recall': 0.7342723004694836, 'f1': 0.6932624113475178, 'number': 1065}	0.5804	0.6372	0.6075	0.6944
0.2214	31.0	589	1.1367	{'precision': 0.5209903121636168, 'recall': 0.5982694684796045, 'f1': 0.5569620253164558, 'number': 809}	{'precision': 0.35833333333333334, 'recall': 0.36134453781512604, 'f1': 0.35983263598326365, 'number': 119}	{'precision': 0.6734006734006734, 'recall': 0.7511737089201878, 'f1': 0.7101642254771415, 'number': 1065}	0.5932	0.6658	0.6274	0.6868
0.219	32.0	608	1.1335	{'precision': 0.5192096597145993, 'recall': 0.584672435105068, 'f1': 0.5499999999999999, 'number': 809}	{'precision': 0.3644067796610169, 'recall': 0.36134453781512604, 'f1': 0.3628691983122363, 'number': 119}	{'precision': 0.6756529064869419, 'recall': 0.7530516431924883, 'f1': 0.7122557726465364, 'number': 1065}	0.5948	0.6613	0.6263	0.6958
0.2086	33.0	627	1.3057	{'precision': 0.5021231422505308, 'recall': 0.584672435105068, 'f1': 0.5402627070245574, 'number': 809}	{'precision': 0.40425531914893614, 'recall': 0.31932773109243695, 'f1': 0.35680751173708913, 'number': 119}	{'precision': 0.6480446927374302, 'recall': 0.7624413145539906, 'f1': 0.7006039689387402, 'number': 1065}	0.5780	0.6638	0.6179	0.6704
0.1986	34.0	646	1.2480	{'precision': 0.5186766275346851, 'recall': 0.6007416563658838, 'f1': 0.5567010309278351, 'number': 809}	{'precision': 0.36607142857142855, 'recall': 0.3445378151260504, 'f1': 0.35497835497835495, 'number': 119}	{'precision': 0.6735537190082644, 'recall': 0.7652582159624414, 'f1': 0.7164835164835165, 'number': 1065}	0.5941	0.6734	0.6312	0.6770
0.1887	35.0	665	1.3013	{'precision': 0.5235546038543897, 'recall': 0.6044499381953028, 'f1': 0.5611015490533562, 'number': 809}	{'precision': 0.39285714285714285, 'recall': 0.3697478991596639, 'f1': 0.38095238095238093, 'number': 119}	{'precision': 0.6961805555555556, 'recall': 0.7530516431924883, 'f1': 0.7235002255299956, 'number': 1065}	0.6074	0.6698	0.6371	0.6839
0.1741	36.0	684	1.2890	{'precision': 0.5340136054421769, 'recall': 0.5822002472187886, 'f1': 0.5570668243642815, 'number': 809}	{'precision': 0.36666666666666664, 'recall': 0.3697478991596639, 'f1': 0.36820083682008364, 'number': 119}	{'precision': 0.6721581548599671, 'recall': 0.7661971830985915, 'f1': 0.7161035541904345, 'number': 1065}	0.6006	0.6678	0.6325	0.6785
0.1711	37.0	703	1.2594	{'precision': 0.5379388448471121, 'recall': 0.5871446229913473, 'f1': 0.561465721040189, 'number': 809}	{'precision': 0.35877862595419846, 'recall': 0.3949579831932773, 'f1': 0.376, 'number': 119}	{'precision': 0.6864771748492678, 'recall': 0.748356807511737, 'f1': 0.7160826594788858, 'number': 1065}	0.6064	0.6618	0.6329	0.6908
0.171	38.0	722	1.3327	{'precision': 0.52319309600863, 'recall': 0.5995055624227441, 'f1': 0.5587557603686636, 'number': 809}	{'precision': 0.37398373983739835, 'recall': 0.3865546218487395, 'f1': 0.38016528925619836, 'number': 119}	{'precision': 0.670843776106934, 'recall': 0.7539906103286385, 'f1': 0.7099911582670202, 'number': 1065}	0.5937	0.6693	0.6292	0.6794
0.1684	39.0	741	1.2908	{'precision': 0.5429864253393665, 'recall': 0.5933250927070457, 'f1': 0.5670407560543415, 'number': 809}	{'precision': 0.3798449612403101, 'recall': 0.4117647058823529, 'f1': 0.3951612903225806, 'number': 119}	{'precision': 0.6595918367346939, 'recall': 0.7586854460093897, 'f1': 0.7056768558951966, 'number': 1065}	0.5974	0.6708	0.6320	0.6843
0.1519	40.0	760	1.2763	{'precision': 0.5168776371308017, 'recall': 0.6056860321384425, 'f1': 0.5577689243027889, 'number': 809}	{'precision': 0.4, 'recall': 0.3697478991596639, 'f1': 0.38427947598253276, 'number': 119}	{'precision': 0.6917748917748918, 'recall': 0.7502347417840376, 'f1': 0.7198198198198199, 'number': 1065}	0.6023	0.6688	0.6339	0.6925
0.148	41.0	779	1.3251	{'precision': 0.5316184351554126, 'recall': 0.6131025957972805, 'f1': 0.5694603903559127, 'number': 809}	{'precision': 0.45098039215686275, 'recall': 0.3865546218487395, 'f1': 0.41628959276018096, 'number': 119}	{'precision': 0.6932305055698372, 'recall': 0.7596244131455399, 'f1': 0.7249103942652331, 'number': 1065}	0.6135	0.6779	0.6441	0.6861
0.1528	42.0	798	1.4758	{'precision': 0.5392491467576792, 'recall': 0.5859085290482077, 'f1': 0.5616113744075829, 'number': 809}	{'precision': 0.415929203539823, 'recall': 0.3949579831932773, 'f1': 0.4051724137931034, 'number': 119}	{'precision': 0.6675062972292192, 'recall': 0.7464788732394366, 'f1': 0.7047872340425532, 'number': 1065}	0.6028	0.6603	0.6303	0.6737
0.142	43.0	817	1.4983	{'precision': 0.521511017838405, 'recall': 0.6143386897404203, 'f1': 0.5641316685584563, 'number': 809}	{'precision': 0.40310077519379844, 'recall': 0.4369747899159664, 'f1': 0.4193548387096774, 'number': 119}	{'precision': 0.687392055267703, 'recall': 0.7474178403755869, 'f1': 0.7161493477282952, 'number': 1065}	0.6004	0.6749	0.6355	0.6770
0.1354	44.0	836	1.4494	{'precision': 0.5366666666666666, 'recall': 0.5970333745364648, 'f1': 0.5652428320655354, 'number': 809}	{'precision': 0.390625, 'recall': 0.42016806722689076, 'f1': 0.4048582995951417, 'number': 119}	{'precision': 0.6663879598662207, 'recall': 0.748356807511737, 'f1': 0.7049977885891198, 'number': 1065}	0.5980	0.6673	0.6308	0.6795
0.1263	45.0	855	1.3506	{'precision': 0.53156146179402, 'recall': 0.5933250927070457, 'f1': 0.5607476635514019, 'number': 809}	{'precision': 0.39823008849557523, 'recall': 0.37815126050420167, 'f1': 0.3879310344827587, 'number': 119}	{'precision': 0.6691604322527016, 'recall': 0.755868544600939, 'f1': 0.7098765432098766, 'number': 1065}	0.5994	0.6673	0.6315	0.6799
0.1214	46.0	874	1.4475	{'precision': 0.5427302996670367, 'recall': 0.6044499381953028, 'f1': 0.5719298245614035, 'number': 809}	{'precision': 0.3968253968253968, 'recall': 0.42016806722689076, 'f1': 0.40816326530612246, 'number': 119}	{'precision': 0.688622754491018, 'recall': 0.755868544600939, 'f1': 0.720680393912265, 'number': 1065}	0.6120	0.6744	0.6417	0.6836
0.1204	47.0	893	1.4826	{'precision': 0.5131048387096774, 'recall': 0.6291718170580964, 'f1': 0.5652415324819545, 'number': 809}	{'precision': 0.36220472440944884, 'recall': 0.3865546218487395, 'f1': 0.37398373983739847, 'number': 119}	{'precision': 0.6830122591943958, 'recall': 0.7323943661971831, 'f1': 0.7068418667874944, 'number': 1065}	0.5904	0.6698	0.6276	0.6737
0.1237	48.0	912	1.4585	{'precision': 0.5222584147665581, 'recall': 0.5945611866501854, 'f1': 0.5560693641618497, 'number': 809}	{'precision': 0.4152542372881356, 'recall': 0.4117647058823529, 'f1': 0.41350210970464135, 'number': 119}	{'precision': 0.6644844517184942, 'recall': 0.7624413145539906, 'f1': 0.710100568430258, 'number': 1065}	0.5935	0.6734	0.6309	0.6806
0.1173	49.0	931	1.3632	{'precision': 0.5359828141783028, 'recall': 0.6168108776266996, 'f1': 0.5735632183908045, 'number': 809}	{'precision': 0.44545454545454544, 'recall': 0.4117647058823529, 'f1': 0.4279475982532751, 'number': 119}	{'precision': 0.6863247863247863, 'recall': 0.7539906103286385, 'f1': 0.7185682326621924, 'number': 1065}	0.6110	0.6779	0.6427	0.6883
0.1089	50.0	950	1.3344	{'precision': 0.5304347826086957, 'recall': 0.6032138442521632, 'f1': 0.5644881434355119, 'number': 809}	{'precision': 0.423728813559322, 'recall': 0.42016806722689076, 'f1': 0.4219409282700422, 'number': 119}	{'precision': 0.6686046511627907, 'recall': 0.755868544600939, 'f1': 0.7095636844424857, 'number': 1065}	0.5990	0.6739	0.6342	0.6856
0.1054	51.0	969	1.4151	{'precision': 0.5236559139784946, 'recall': 0.6019777503090235, 'f1': 0.5600920069005176, 'number': 809}	{'precision': 0.4051724137931034, 'recall': 0.3949579831932773, 'f1': 0.4, 'number': 119}	{'precision': 0.672544080604534, 'recall': 0.752112676056338, 'f1': 0.7101063829787234, 'number': 1065}	0.5968	0.6698	0.6312	0.6833
0.1054	52.0	988	1.3220	{'precision': 0.5251396648044693, 'recall': 0.580964153275649, 'f1': 0.5516431924882629, 'number': 809}	{'precision': 0.42105263157894735, 'recall': 0.40336134453781514, 'f1': 0.4120171673819742, 'number': 119}	{'precision': 0.6750841750841751, 'recall': 0.7530516431924883, 'f1': 0.7119396360408343, 'number': 1065}	0.6008	0.6623	0.6301	0.6856
0.099	53.0	1007	1.4203	{'precision': 0.5301339285714286, 'recall': 0.5871446229913473, 'f1': 0.5571847507331378, 'number': 809}	{'precision': 0.42016806722689076, 'recall': 0.42016806722689076, 'f1': 0.42016806722689076, 'number': 119}	{'precision': 0.6858369098712447, 'recall': 0.7502347417840376, 'f1': 0.7165919282511212, 'number': 1065}	0.6073	0.6643	0.6346	0.6758
0.0987	54.0	1026	1.4823	{'precision': 0.5256124721603563, 'recall': 0.5834363411619283, 'f1': 0.5530169888693615, 'number': 809}	{'precision': 0.4260869565217391, 'recall': 0.4117647058823529, 'f1': 0.41880341880341876, 'number': 119}	{'precision': 0.6688851913477537, 'recall': 0.7549295774647887, 'f1': 0.7093074547860608, 'number': 1065}	0.5982	0.6648	0.6298	0.6791
0.0933	55.0	1045	1.4239	{'precision': 0.5375139977603584, 'recall': 0.5933250927070457, 'f1': 0.5640423031727378, 'number': 809}	{'precision': 0.4, 'recall': 0.42016806722689076, 'f1': 0.40983606557377056, 'number': 119}	{'precision': 0.673109243697479, 'recall': 0.752112676056338, 'f1': 0.7104212860310422, 'number': 1065}	0.6028	0.6678	0.6337	0.6830
0.0889	56.0	1064	1.4540	{'precision': 0.5423913043478261, 'recall': 0.6168108776266996, 'f1': 0.5772122614227877, 'number': 809}	{'precision': 0.4396551724137931, 'recall': 0.42857142857142855, 'f1': 0.4340425531914894, 'number': 119}	{'precision': 0.6954986760812003, 'recall': 0.739906103286385, 'f1': 0.7170154686078254, 'number': 1065}	0.6169	0.6713	0.6430	0.6846
0.0901	57.0	1083	1.3690	{'precision': 0.5361653272101033, 'recall': 0.5772558714462299, 'f1': 0.555952380952381, 'number': 809}	{'precision': 0.42276422764227645, 'recall': 0.4369747899159664, 'f1': 0.4297520661157025, 'number': 119}	{'precision': 0.6736577181208053, 'recall': 0.7539906103286385, 'f1': 0.7115640230394328, 'number': 1065}	0.6048	0.6633	0.6327	0.6871
0.0879	58.0	1102	1.4882	{'precision': 0.5384615384615384, 'recall': 0.588380716934487, 'f1': 0.5623154164205552, 'number': 809}	{'precision': 0.42735042735042733, 'recall': 0.42016806722689076, 'f1': 0.423728813559322, 'number': 119}	{'precision': 0.6760797342192691, 'recall': 0.7643192488262911, 'f1': 0.7174966945791098, 'number': 1065}	0.6077	0.6724	0.6384	0.6809
0.0866	59.0	1121	1.4205	{'precision': 0.5398907103825137, 'recall': 0.6106304079110012, 'f1': 0.5730858468677494, 'number': 809}	{'precision': 0.4083333333333333, 'recall': 0.4117647058823529, 'f1': 0.41004184100418406, 'number': 119}	{'precision': 0.7000887311446318, 'recall': 0.7408450704225352, 'f1': 0.7198905109489051, 'number': 1065}	0.6161	0.6683	0.6412	0.6902
0.0862	60.0	1140	1.4635	{'precision': 0.5306345733041575, 'recall': 0.5995055624227441, 'f1': 0.562971561230412, 'number': 809}	{'precision': 0.46875, 'recall': 0.5042016806722689, 'f1': 0.48582995951417, 'number': 119}	{'precision': 0.6980633802816901, 'recall': 0.7446009389671362, 'f1': 0.720581553839164, 'number': 1065}	0.6143	0.6713	0.6416	0.6859
0.0854	61.0	1159	1.4218	{'precision': 0.5401069518716578, 'recall': 0.6242274412855378, 'f1': 0.5791284403669726, 'number': 809}	{'precision': 0.3951612903225806, 'recall': 0.4117647058823529, 'f1': 0.4032921810699588, 'number': 119}	{'precision': 0.7081468218442256, 'recall': 0.7427230046948357, 'f1': 0.7250229147571036, 'number': 1065}	0.6181	0.6749	0.6452	0.6905
0.0791	62.0	1178	1.4982	{'precision': 0.5265392781316348, 'recall': 0.6131025957972805, 'f1': 0.566533409480297, 'number': 809}	{'precision': 0.4298245614035088, 'recall': 0.4117647058823529, 'f1': 0.42060085836909866, 'number': 119}	{'precision': 0.7, 'recall': 0.7427230046948357, 'f1': 0.7207289293849659, 'number': 1065}	0.6112	0.6703	0.6394	0.6871
0.0756	63.0	1197	1.5634	{'precision': 0.5431034482758621, 'recall': 0.622991347342398, 'f1': 0.5803108808290155, 'number': 809}	{'precision': 0.44545454545454544, 'recall': 0.4117647058823529, 'f1': 0.4279475982532751, 'number': 119}	{'precision': 0.7023498694516971, 'recall': 0.7577464788732394, 'f1': 0.7289972899728997, 'number': 1065}	0.6219	0.6824	0.6507	0.6887
0.0767	64.0	1216	1.4964	{'precision': 0.5491990846681922, 'recall': 0.5933250927070457, 'f1': 0.5704099821746881, 'number': 809}	{'precision': 0.4392523364485981, 'recall': 0.3949579831932773, 'f1': 0.415929203539823, 'number': 119}	{'precision': 0.6870805369127517, 'recall': 0.7690140845070422, 'f1': 0.7257421355782011, 'number': 1065}	0.6194	0.6754	0.6462	0.6880
0.0775	65.0	1235	1.4019	{'precision': 0.540268456375839, 'recall': 0.5970333745364648, 'f1': 0.5672342924251321, 'number': 809}	{'precision': 0.4146341463414634, 'recall': 0.42857142857142855, 'f1': 0.4214876033057851, 'number': 119}	{'precision': 0.687235841081995, 'recall': 0.7633802816901408, 'f1': 0.7233096085409253, 'number': 1065}	0.6123	0.6759	0.6425	0.6902
0.0693	66.0	1254	1.6123	{'precision': 0.5328389830508474, 'recall': 0.6217552533992583, 'f1': 0.573873359954364, 'number': 809}	{'precision': 0.45045045045045046, 'recall': 0.42016806722689076, 'f1': 0.43478260869565216, 'number': 119}	{'precision': 0.6825938566552902, 'recall': 0.7511737089201878, 'f1': 0.7152436298614215, 'number': 1065}	0.6075	0.6789	0.6412	0.6850
0.066	67.0	1273	1.5190	{'precision': 0.5472103004291845, 'recall': 0.630407911001236, 'f1': 0.5858701895462377, 'number': 809}	{'precision': 0.45454545454545453, 'recall': 0.42016806722689076, 'f1': 0.43668122270742354, 'number': 119}	{'precision': 0.7008695652173913, 'recall': 0.7568075117370892, 'f1': 0.727765237020316, 'number': 1065}	0.6232	0.6854	0.6528	0.6878
0.0694	68.0	1292	1.4423	{'precision': 0.5465968586387434, 'recall': 0.6452410383189122, 'f1': 0.5918367346938774, 'number': 809}	{'precision': 0.4854368932038835, 'recall': 0.42016806722689076, 'f1': 0.4504504504504504, 'number': 119}	{'precision': 0.7270220588235294, 'recall': 0.7427230046948357, 'f1': 0.7347886669763122, 'number': 1065}	0.6351	0.6839	0.6586	0.6948
0.0678	69.0	1311	1.4951	{'precision': 0.5543595263724435, 'recall': 0.6365883807169345, 'f1': 0.5926352128883775, 'number': 809}	{'precision': 0.48598130841121495, 'recall': 0.4369747899159664, 'f1': 0.4601769911504424, 'number': 119}	{'precision': 0.7184115523465704, 'recall': 0.7474178403755869, 'f1': 0.732627703635527, 'number': 1065}	0.6357	0.6839	0.6589	0.6944
0.0707	70.0	1330	1.5528	{'precision': 0.5412748171368861, 'recall': 0.6402966625463535, 'f1': 0.5866364665911664, 'number': 809}	{'precision': 0.4636363636363636, 'recall': 0.42857142857142855, 'f1': 0.445414847161572, 'number': 119}	{'precision': 0.7080035180299032, 'recall': 0.755868544600939, 'f1': 0.7311534968210718, 'number': 1065}	0.6234	0.6894	0.6548	0.6883
0.0613	71.0	1349	1.6101	{'precision': 0.5446623093681917, 'recall': 0.6180469715698393, 'f1': 0.5790387955993052, 'number': 809}	{'precision': 0.4351851851851852, 'recall': 0.3949579831932773, 'f1': 0.4140969162995594, 'number': 119}	{'precision': 0.6961702127659575, 'recall': 0.7680751173708921, 'f1': 0.7303571428571429, 'number': 1065}	0.6202	0.6849	0.6509	0.6863
0.0621	72.0	1368	1.5541	{'precision': 0.5388828039430449, 'recall': 0.6081582200247219, 'f1': 0.5714285714285715, 'number': 809}	{'precision': 0.44144144144144143, 'recall': 0.4117647058823529, 'f1': 0.4260869565217391, 'number': 119}	{'precision': 0.6974716652136007, 'recall': 0.7511737089201878, 'f1': 0.7233273056057867, 'number': 1065}	0.6177	0.6729	0.6441	0.6885
0.0643	73.0	1387	1.6067	{'precision': 0.5564245810055866, 'recall': 0.61557478368356, 'f1': 0.5845070422535211, 'number': 809}	{'precision': 0.4322033898305085, 'recall': 0.42857142857142855, 'f1': 0.430379746835443, 'number': 119}	{'precision': 0.7017241379310345, 'recall': 0.7643192488262911, 'f1': 0.7316853932584269, 'number': 1065}	0.6272	0.6839	0.6543	0.6883
0.0593	74.0	1406	1.4441	{'precision': 0.5393013100436681, 'recall': 0.6106304079110012, 'f1': 0.5727536231884058, 'number': 809}	{'precision': 0.45132743362831856, 'recall': 0.42857142857142855, 'f1': 0.4396551724137931, 'number': 119}	{'precision': 0.7067137809187279, 'recall': 0.7511737089201878, 'f1': 0.7282658170232135, 'number': 1065}	0.6224	0.6749	0.6476	0.6954
0.0632	75.0	1425	1.4990	{'precision': 0.5407488986784141, 'recall': 0.6069221260815822, 'f1': 0.5719277810133955, 'number': 809}	{'precision': 0.46601941747572817, 'recall': 0.40336134453781514, 'f1': 0.43243243243243246, 'number': 119}	{'precision': 0.6705107084019769, 'recall': 0.7643192488262911, 'f1': 0.7143483984203598, 'number': 1065}	0.6081	0.6789	0.6415	0.6890
0.0562	76.0	1444	1.4282	{'precision': 0.5434782608695652, 'recall': 0.6180469715698393, 'f1': 0.578368999421631, 'number': 809}	{'precision': 0.47619047619047616, 'recall': 0.42016806722689076, 'f1': 0.44642857142857145, 'number': 119}	{'precision': 0.6876574307304786, 'recall': 0.7690140845070422, 'f1': 0.726063829787234, 'number': 1065}	0.6178	0.6869	0.6505	0.6972
0.0563	77.0	1463	1.5303	{'precision': 0.5428881650380022, 'recall': 0.6180469715698393, 'f1': 0.5780346820809249, 'number': 809}	{'precision': 0.45794392523364486, 'recall': 0.4117647058823529, 'f1': 0.43362831858407075, 'number': 119}	{'precision': 0.7069565217391305, 'recall': 0.7633802816901408, 'f1': 0.7340857787810384, 'number': 1065}	0.6253	0.6834	0.6531	0.6932
0.0583	78.0	1482	1.4900	{'precision': 0.5490867579908676, 'recall': 0.5945611866501854, 'f1': 0.5709198813056381, 'number': 809}	{'precision': 0.42857142857142855, 'recall': 0.453781512605042, 'f1': 0.4408163265306122, 'number': 119}	{'precision': 0.6869198312236287, 'recall': 0.7643192488262911, 'f1': 0.7235555555555555, 'number': 1065}	0.6168	0.6769	0.6455	0.6888
0.0558	79.0	1501	1.4974	{'precision': 0.5367727771679474, 'recall': 0.6044499381953028, 'f1': 0.5686046511627907, 'number': 809}	{'precision': 0.4434782608695652, 'recall': 0.42857142857142855, 'f1': 0.4358974358974359, 'number': 119}	{'precision': 0.694585448392555, 'recall': 0.7708920187793428, 'f1': 0.730752113929684, 'number': 1065}	0.6164	0.6829	0.6479	0.6890
0.0506	80.0	1520	1.5349	{'precision': 0.5398037077426391, 'recall': 0.6118665018541409, 'f1': 0.5735805330243338, 'number': 809}	{'precision': 0.45535714285714285, 'recall': 0.42857142857142855, 'f1': 0.44155844155844154, 'number': 119}	{'precision': 0.6915887850467289, 'recall': 0.7643192488262911, 'f1': 0.7261373773416593, 'number': 1065}	0.6165	0.6824	0.6478	0.6878
0.0552	81.0	1539	1.5525	{'precision': 0.5477777777777778, 'recall': 0.6093943139678616, 'f1': 0.5769455822118198, 'number': 809}	{'precision': 0.4126984126984127, 'recall': 0.4369747899159664, 'f1': 0.42448979591836733, 'number': 119}	{'precision': 0.6917098445595855, 'recall': 0.752112676056338, 'f1': 0.7206477732793523, 'number': 1065}	0.6163	0.6754	0.6445	0.6862
0.0532	82.0	1558	1.6455	{'precision': 0.5377155172413793, 'recall': 0.6168108776266996, 'f1': 0.5745538284398389, 'number': 809}	{'precision': 0.4583333333333333, 'recall': 0.46218487394957986, 'f1': 0.4602510460251046, 'number': 119}	{'precision': 0.6965811965811965, 'recall': 0.7652582159624414, 'f1': 0.7293064876957496, 'number': 1065}	0.6172	0.6869	0.6502	0.6852
0.0502	83.0	1577	1.6351	{'precision': 0.5505376344086022, 'recall': 0.6328800988875154, 'f1': 0.5888441633122483, 'number': 809}	{'precision': 0.4857142857142857, 'recall': 0.42857142857142855, 'f1': 0.45535714285714285, 'number': 119}	{'precision': 0.7151675485008818, 'recall': 0.7615023474178404, 'f1': 0.7376080036380173, 'number': 1065}	0.6335	0.6894	0.6603	0.6891
0.0503	84.0	1596	1.6748	{'precision': 0.5477439664218258, 'recall': 0.6452410383189122, 'f1': 0.5925085130533484, 'number': 809}	{'precision': 0.4807692307692308, 'recall': 0.42016806722689076, 'f1': 0.4484304932735426, 'number': 119}	{'precision': 0.7168299198575245, 'recall': 0.755868544600939, 'f1': 0.7358318098720293, 'number': 1065}	0.6317	0.6909	0.6600	0.6897
0.0552	85.0	1615	1.6299	{'precision': 0.5439560439560439, 'recall': 0.6118665018541409, 'f1': 0.5759162303664922, 'number': 809}	{'precision': 0.4690265486725664, 'recall': 0.44537815126050423, 'f1': 0.45689655172413796, 'number': 119}	{'precision': 0.6904761904761905, 'recall': 0.7624413145539906, 'f1': 0.7246764837126282, 'number': 1065}	0.6185	0.6824	0.6489	0.6878
0.0455	86.0	1634	1.5423	{'precision': 0.5527472527472528, 'recall': 0.6217552533992583, 'f1': 0.5852239674229204, 'number': 809}	{'precision': 0.4434782608695652, 'recall': 0.42857142857142855, 'f1': 0.4358974358974359, 'number': 119}	{'precision': 0.7079646017699115, 'recall': 0.7511737089201878, 'f1': 0.7289293849658314, 'number': 1065}	0.6283	0.6794	0.6528	0.6911
0.049	87.0	1653	1.6445	{'precision': 0.5551876379690949, 'recall': 0.6217552533992583, 'f1': 0.5865889212827987, 'number': 809}	{'precision': 0.4608695652173913, 'recall': 0.44537815126050423, 'f1': 0.452991452991453, 'number': 119}	{'precision': 0.7079337401918047, 'recall': 0.7624413145539906, 'f1': 0.7341772151898734, 'number': 1065}	0.6310	0.6864	0.6575	0.6859
0.0505	88.0	1672	1.6087	{'precision': 0.5461538461538461, 'recall': 0.6143386897404203, 'f1': 0.5782431646305991, 'number': 809}	{'precision': 0.41935483870967744, 'recall': 0.4369747899159664, 'f1': 0.4279835390946502, 'number': 119}	{'precision': 0.6939655172413793, 'recall': 0.755868544600939, 'f1': 0.7235955056179775, 'number': 1065}	0.6171	0.6794	0.6468	0.6875
0.0465	89.0	1691	1.6089	{'precision': 0.5569060773480663, 'recall': 0.622991347342398, 'f1': 0.588098016336056, 'number': 809}	{'precision': 0.46017699115044247, 'recall': 0.4369747899159664, 'f1': 0.44827586206896547, 'number': 119}	{'precision': 0.714795008912656, 'recall': 0.7530516431924883, 'f1': 0.7334247828074989, 'number': 1065}	0.6346	0.6814	0.6571	0.6898
0.0454	90.0	1710	1.5652	{'precision': 0.5424107142857143, 'recall': 0.6007416563658838, 'f1': 0.5700879765395895, 'number': 809}	{'precision': 0.4732142857142857, 'recall': 0.44537815126050423, 'f1': 0.4588744588744588, 'number': 119}	{'precision': 0.6869712351945855, 'recall': 0.7624413145539906, 'f1': 0.7227414330218067, 'number': 1065}	0.6169	0.6779	0.6459	0.6895
0.0498	91.0	1729	1.5853	{'precision': 0.5479603087100331, 'recall': 0.6143386897404203, 'f1': 0.5792540792540793, 'number': 809}	{'precision': 0.45689655172413796, 'recall': 0.44537815126050423, 'f1': 0.4510638297872341, 'number': 119}	{'precision': 0.6976744186046512, 'recall': 0.7605633802816901, 'f1': 0.7277628032345014, 'number': 1065}	0.6227	0.6824	0.6512	0.6902
0.0463	92.0	1748	1.5698	{'precision': 0.5466520307354555, 'recall': 0.61557478368356, 'f1': 0.5790697674418605, 'number': 809}	{'precision': 0.453781512605042, 'recall': 0.453781512605042, 'f1': 0.453781512605042, 'number': 119}	{'precision': 0.697754749568221, 'recall': 0.7586854460093897, 'f1': 0.7269455690508322, 'number': 1065}	0.6216	0.6824	0.6506	0.6911
0.0448	93.0	1767	1.5815	{'precision': 0.5422077922077922, 'recall': 0.619283065512979, 'f1': 0.5781881130986728, 'number': 809}	{'precision': 0.452991452991453, 'recall': 0.44537815126050423, 'f1': 0.4491525423728814, 'number': 119}	{'precision': 0.7006920415224913, 'recall': 0.7605633802816901, 'f1': 0.7294011706438542, 'number': 1065}	0.6208	0.6844	0.6511	0.6911
0.0469	94.0	1786	1.6014	{'precision': 0.5513392857142857, 'recall': 0.6106304079110012, 'f1': 0.5794721407624632, 'number': 809}	{'precision': 0.4649122807017544, 'recall': 0.44537815126050423, 'f1': 0.45493562231759654, 'number': 119}	{'precision': 0.6959517657192076, 'recall': 0.7586854460093897, 'f1': 0.7259658580413297, 'number': 1065}	0.6241	0.6799	0.6508	0.6890
0.0487	95.0	1805	1.5969	{'precision': 0.5484221980413493, 'recall': 0.622991347342398, 'f1': 0.5833333333333333, 'number': 809}	{'precision': 0.4406779661016949, 'recall': 0.4369747899159664, 'f1': 0.4388185654008439, 'number': 119}	{'precision': 0.7039301310043669, 'recall': 0.7568075117370892, 'f1': 0.7294117647058823, 'number': 1065}	0.6242	0.6834	0.6525	0.6895
0.0456	96.0	1824	1.6042	{'precision': 0.5490830636461704, 'recall': 0.6291718170580964, 'f1': 0.5864055299539171, 'number': 809}	{'precision': 0.4396551724137931, 'recall': 0.42857142857142855, 'f1': 0.4340425531914894, 'number': 119}	{'precision': 0.7026086956521739, 'recall': 0.7586854460093897, 'f1': 0.7295711060948081, 'number': 1065}	0.6238	0.6864	0.6536	0.6889
0.0426	97.0	1843	1.6003	{'precision': 0.538121546961326, 'recall': 0.6019777503090235, 'f1': 0.5682613768961494, 'number': 809}	{'precision': 0.4358974358974359, 'recall': 0.42857142857142855, 'f1': 0.4322033898305085, 'number': 119}	{'precision': 0.6833192209991532, 'recall': 0.7577464788732394, 'f1': 0.7186108637577916, 'number': 1065}	0.6105	0.6749	0.6411	0.6871
0.0467	98.0	1862	1.6125	{'precision': 0.5387168141592921, 'recall': 0.6019777503090235, 'f1': 0.5685931115002919, 'number': 809}	{'precision': 0.44537815126050423, 'recall': 0.44537815126050423, 'f1': 0.4453781512605043, 'number': 119}	{'precision': 0.6777685262281432, 'recall': 0.7643192488262911, 'f1': 0.7184466019417476, 'number': 1065}	0.6088	0.6794	0.6422	0.6877
0.0447	99.0	1881	1.6162	{'precision': 0.5337690631808278, 'recall': 0.6056860321384425, 'f1': 0.567458019687319, 'number': 809}	{'precision': 0.4322033898305085, 'recall': 0.42857142857142855, 'f1': 0.430379746835443, 'number': 119}	{'precision': 0.6856414613423959, 'recall': 0.7577464788732394, 'f1': 0.719892952720785, 'number': 1065}	0.6091	0.6764	0.6410	0.6871
0.0441	100.0	1900	1.6121	{'precision': 0.5377049180327869, 'recall': 0.6081582200247219, 'f1': 0.5707656612529002, 'number': 809}	{'precision': 0.4322033898305085, 'recall': 0.42857142857142855, 'f1': 0.430379746835443, 'number': 119}	{'precision': 0.6891545687446626, 'recall': 0.7577464788732394, 'f1': 0.7218246869409659, 'number': 1065}	0.6125	0.6774	0.6433	0.6880

Framework versions

• Transformers 4.48.3
• Pytorch 2.5.1+cu124
• Datasets 3.5.0
• Tokenizers 0.21.0