| { | |
| "best_global_step": null, | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 10.0, | |
| "eval_steps": 100, | |
| "global_step": 240, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.08333333333333333, | |
| "grad_norm": 277161.21875, | |
| "learning_rate": 4.999785818935018e-06, | |
| "loss": 0.3109, | |
| "step": 2 | |
| }, | |
| { | |
| "epoch": 0.16666666666666666, | |
| "grad_norm": 264979.96875, | |
| "learning_rate": 4.998072590601808e-06, | |
| "loss": 0.2757, | |
| "step": 4 | |
| }, | |
| { | |
| "epoch": 0.25, | |
| "grad_norm": 250839.65625, | |
| "learning_rate": 4.994647308096509e-06, | |
| "loss": 0.3737, | |
| "step": 6 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 337547.125, | |
| "learning_rate": 4.989512318936654e-06, | |
| "loss": 0.3103, | |
| "step": 8 | |
| }, | |
| { | |
| "epoch": 0.4166666666666667, | |
| "grad_norm": 243754.265625, | |
| "learning_rate": 4.982671142387316e-06, | |
| "loss": 0.2833, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.5, | |
| "grad_norm": 246569.46875, | |
| "learning_rate": 4.974128467049177e-06, | |
| "loss": 0.3272, | |
| "step": 12 | |
| }, | |
| { | |
| "epoch": 0.5833333333333334, | |
| "grad_norm": 340996.46875, | |
| "learning_rate": 4.963890147645195e-06, | |
| "loss": 0.309, | |
| "step": 14 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 277841.0625, | |
| "learning_rate": 4.9519632010080765e-06, | |
| "loss": 0.2991, | |
| "step": 16 | |
| }, | |
| { | |
| "epoch": 0.75, | |
| "grad_norm": 284092.75, | |
| "learning_rate": 4.938355801271282e-06, | |
| "loss": 0.3206, | |
| "step": 18 | |
| }, | |
| { | |
| "epoch": 0.8333333333333334, | |
| "grad_norm": 301649.75, | |
| "learning_rate": 4.923077274266886e-06, | |
| "loss": 0.2941, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.9166666666666666, | |
| "grad_norm": 247042.15625, | |
| "learning_rate": 4.906138091134118e-06, | |
| "loss": 0.2782, | |
| "step": 22 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 177517.359375, | |
| "learning_rate": 4.887549861142967e-06, | |
| "loss": 0.2799, | |
| "step": 24 | |
| }, | |
| { | |
| "epoch": 1.0833333333333333, | |
| "grad_norm": 141740.15625, | |
| "learning_rate": 4.867325323737765e-06, | |
| "loss": 0.2632, | |
| "step": 26 | |
| }, | |
| { | |
| "epoch": 1.1666666666666667, | |
| "grad_norm": 148289.796875, | |
| "learning_rate": 4.845478339806211e-06, | |
| "loss": 0.2598, | |
| "step": 28 | |
| }, | |
| { | |
| "epoch": 1.25, | |
| "grad_norm": 149420.78125, | |
| "learning_rate": 4.822023882179811e-06, | |
| "loss": 0.2401, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 137315.53125, | |
| "learning_rate": 4.796978025372247e-06, | |
| "loss": 0.2442, | |
| "step": 32 | |
| }, | |
| { | |
| "epoch": 1.4166666666666667, | |
| "grad_norm": 292511.53125, | |
| "learning_rate": 4.770357934562704e-06, | |
| "loss": 0.2932, | |
| "step": 34 | |
| }, | |
| { | |
| "epoch": 1.5, | |
| "grad_norm": 98516.1953125, | |
| "learning_rate": 4.742181853831721e-06, | |
| "loss": 0.2588, | |
| "step": 36 | |
| }, | |
| { | |
| "epoch": 1.5833333333333335, | |
| "grad_norm": 205524.15625, | |
| "learning_rate": 4.712469093657605e-06, | |
| "loss": 0.2865, | |
| "step": 38 | |
| }, | |
| { | |
| "epoch": 1.6666666666666665, | |
| "grad_norm": 222744.65625, | |
| "learning_rate": 4.681240017681994e-06, | |
| "loss": 0.2774, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 1.75, | |
| "grad_norm": 155741.34375, | |
| "learning_rate": 4.648516028753632e-06, | |
| "loss": 0.2486, | |
| "step": 42 | |
| }, | |
| { | |
| "epoch": 1.8333333333333335, | |
| "grad_norm": 138485.5, | |
| "learning_rate": 4.614319554259934e-06, | |
| "loss": 0.2815, | |
| "step": 44 | |
| }, | |
| { | |
| "epoch": 1.9166666666666665, | |
| "grad_norm": 180206.0, | |
| "learning_rate": 4.578674030756364e-06, | |
| "loss": 0.2778, | |
| "step": 46 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 275126.28125, | |
| "learning_rate": 4.541603887904198e-06, | |
| "loss": 0.2566, | |
| "step": 48 | |
| }, | |
| { | |
| "epoch": 2.0833333333333335, | |
| "grad_norm": 161235.96875, | |
| "learning_rate": 4.503134531727652e-06, | |
| "loss": 0.2413, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 2.1666666666666665, | |
| "grad_norm": 151276.75, | |
| "learning_rate": 4.463292327201862e-06, | |
| "loss": 0.2387, | |
| "step": 52 | |
| }, | |
| { | |
| "epoch": 2.25, | |
| "grad_norm": 214811.53125, | |
| "learning_rate": 4.422104580183649e-06, | |
| "loss": 0.202, | |
| "step": 54 | |
| }, | |
| { | |
| "epoch": 2.3333333333333335, | |
| "grad_norm": 120471.1640625, | |
| "learning_rate": 4.379599518697444e-06, | |
| "loss": 0.2424, | |
| "step": 56 | |
| }, | |
| { | |
| "epoch": 2.4166666666666665, | |
| "grad_norm": 223549.71875, | |
| "learning_rate": 4.335806273589214e-06, | |
| "loss": 0.2532, | |
| "step": 58 | |
| }, | |
| { | |
| "epoch": 2.5, | |
| "grad_norm": 158741.640625, | |
| "learning_rate": 4.290754858561636e-06, | |
| "loss": 0.2222, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 2.5833333333333335, | |
| "grad_norm": 168212.796875, | |
| "learning_rate": 4.244476149604201e-06, | |
| "loss": 0.2697, | |
| "step": 62 | |
| }, | |
| { | |
| "epoch": 2.6666666666666665, | |
| "grad_norm": 127443.5703125, | |
| "learning_rate": 4.197001863832355e-06, | |
| "loss": 0.2598, | |
| "step": 64 | |
| }, | |
| { | |
| "epoch": 2.75, | |
| "grad_norm": 200275.375, | |
| "learning_rate": 4.1483645377501726e-06, | |
| "loss": 0.2563, | |
| "step": 66 | |
| }, | |
| { | |
| "epoch": 2.8333333333333335, | |
| "grad_norm": 272594.875, | |
| "learning_rate": 4.098597504951462e-06, | |
| "loss": 0.2633, | |
| "step": 68 | |
| }, | |
| { | |
| "epoch": 2.9166666666666665, | |
| "grad_norm": 272273.5, | |
| "learning_rate": 4.047734873274586e-06, | |
| "loss": 0.2496, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "grad_norm": 346169.5, | |
| "learning_rate": 3.995811501426648e-06, | |
| "loss": 0.2604, | |
| "step": 72 | |
| }, | |
| { | |
| "epoch": 3.0833333333333335, | |
| "grad_norm": 195421.421875, | |
| "learning_rate": 3.942862975093085e-06, | |
| "loss": 0.2654, | |
| "step": 74 | |
| }, | |
| { | |
| "epoch": 3.1666666666666665, | |
| "grad_norm": 224577.984375, | |
| "learning_rate": 3.888925582549006e-06, | |
| "loss": 0.2298, | |
| "step": 76 | |
| }, | |
| { | |
| "epoch": 3.25, | |
| "grad_norm": 149166.828125, | |
| "learning_rate": 3.83403628978903e-06, | |
| "loss": 0.2276, | |
| "step": 78 | |
| }, | |
| { | |
| "epoch": 3.3333333333333335, | |
| "grad_norm": 231685.625, | |
| "learning_rate": 3.77823271519263e-06, | |
| "loss": 0.2303, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 3.4166666666666665, | |
| "grad_norm": 146236.25, | |
| "learning_rate": 3.721553103742388e-06, | |
| "loss": 0.21, | |
| "step": 82 | |
| }, | |
| { | |
| "epoch": 3.5, | |
| "grad_norm": 116645.328125, | |
| "learning_rate": 3.664036300812779e-06, | |
| "loss": 0.2156, | |
| "step": 84 | |
| }, | |
| { | |
| "epoch": 3.5833333333333335, | |
| "grad_norm": 182062.515625, | |
| "learning_rate": 3.6057217255475034e-06, | |
| "loss": 0.2228, | |
| "step": 86 | |
| }, | |
| { | |
| "epoch": 3.6666666666666665, | |
| "grad_norm": 183792.453125, | |
| "learning_rate": 3.5466493438435707e-06, | |
| "loss": 0.2395, | |
| "step": 88 | |
| }, | |
| { | |
| "epoch": 3.75, | |
| "grad_norm": 200719.84375, | |
| "learning_rate": 3.486859640960668e-06, | |
| "loss": 0.1998, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 3.8333333333333335, | |
| "grad_norm": 240248.5625, | |
| "learning_rate": 3.426393593774591e-06, | |
| "loss": 0.2072, | |
| "step": 92 | |
| }, | |
| { | |
| "epoch": 3.9166666666666665, | |
| "grad_norm": 142419.359375, | |
| "learning_rate": 3.3652926426937327e-06, | |
| "loss": 0.1926, | |
| "step": 94 | |
| }, | |
| { | |
| "epoch": 4.0, | |
| "grad_norm": 304218.34375, | |
| "learning_rate": 3.303598663257904e-06, | |
| "loss": 0.2485, | |
| "step": 96 | |
| }, | |
| { | |
| "epoch": 4.083333333333333, | |
| "grad_norm": 206209.65625, | |
| "learning_rate": 3.2413539374389275e-06, | |
| "loss": 0.1723, | |
| "step": 98 | |
| }, | |
| { | |
| "epoch": 4.166666666666667, | |
| "grad_norm": 138843.71875, | |
| "learning_rate": 3.1786011246626858e-06, | |
| "loss": 0.1827, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 4.166666666666667, | |
| "eval_accuracy": 0.6567164179104478, | |
| "eval_f1": 0.629383374713847, | |
| "eval_loss": 0.28619036078453064, | |
| "eval_precision": 0.616748828273677, | |
| "eval_recall": 0.6567164179104478, | |
| "eval_roc_auc": 0.7802087163664574, | |
| "eval_runtime": 24.8222, | |
| "eval_samples_per_second": 21.594, | |
| "eval_steps_per_second": 0.201, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 4.25, | |
| "grad_norm": 462713.96875, | |
| "learning_rate": 3.115383232572483e-06, | |
| "loss": 0.2578, | |
| "step": 102 | |
| }, | |
| { | |
| "epoch": 4.333333333333333, | |
| "grad_norm": 168273.71875, | |
| "learning_rate": 3.051743587553754e-06, | |
| "loss": 0.1947, | |
| "step": 104 | |
| }, | |
| { | |
| "epoch": 4.416666666666667, | |
| "grad_norm": 179804.609375, | |
| "learning_rate": 2.9877258050403214e-06, | |
| "loss": 0.1886, | |
| "step": 106 | |
| }, | |
| { | |
| "epoch": 4.5, | |
| "grad_norm": 191085.890625, | |
| "learning_rate": 2.9233737596225616e-06, | |
| "loss": 0.2014, | |
| "step": 108 | |
| }, | |
| { | |
| "epoch": 4.583333333333333, | |
| "grad_norm": 231197.09375, | |
| "learning_rate": 2.858731554977948e-06, | |
| "loss": 0.2, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 4.666666666666667, | |
| "grad_norm": 152779.234375, | |
| "learning_rate": 2.7938434936445946e-06, | |
| "loss": 0.1916, | |
| "step": 112 | |
| }, | |
| { | |
| "epoch": 4.75, | |
| "grad_norm": 241908.578125, | |
| "learning_rate": 2.7287540466585067e-06, | |
| "loss": 0.1927, | |
| "step": 114 | |
| }, | |
| { | |
| "epoch": 4.833333333333333, | |
| "grad_norm": 339523.9375, | |
| "learning_rate": 2.663507823075358e-06, | |
| "loss": 0.2068, | |
| "step": 116 | |
| }, | |
| { | |
| "epoch": 4.916666666666667, | |
| "grad_norm": 289464.1875, | |
| "learning_rate": 2.5981495393976718e-06, | |
| "loss": 0.2465, | |
| "step": 118 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "grad_norm": 290908.40625, | |
| "learning_rate": 2.5327239889283613e-06, | |
| "loss": 0.2386, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 5.083333333333333, | |
| "grad_norm": 221161.90625, | |
| "learning_rate": 2.4672760110716395e-06, | |
| "loss": 0.2032, | |
| "step": 122 | |
| }, | |
| { | |
| "epoch": 5.166666666666667, | |
| "grad_norm": 175281.828125, | |
| "learning_rate": 2.4018504606023295e-06, | |
| "loss": 0.1925, | |
| "step": 124 | |
| }, | |
| { | |
| "epoch": 5.25, | |
| "grad_norm": 249385.0625, | |
| "learning_rate": 2.3364921769246423e-06, | |
| "loss": 0.1868, | |
| "step": 126 | |
| }, | |
| { | |
| "epoch": 5.333333333333333, | |
| "grad_norm": 546758.625, | |
| "learning_rate": 2.271245953341494e-06, | |
| "loss": 0.2033, | |
| "step": 128 | |
| }, | |
| { | |
| "epoch": 5.416666666666667, | |
| "grad_norm": 299280.65625, | |
| "learning_rate": 2.2061565063554063e-06, | |
| "loss": 0.2214, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 5.5, | |
| "grad_norm": 195162.5, | |
| "learning_rate": 2.1412684450220524e-06, | |
| "loss": 0.1922, | |
| "step": 132 | |
| }, | |
| { | |
| "epoch": 5.583333333333333, | |
| "grad_norm": 340476.96875, | |
| "learning_rate": 2.0766262403774388e-06, | |
| "loss": 0.1725, | |
| "step": 134 | |
| }, | |
| { | |
| "epoch": 5.666666666666667, | |
| "grad_norm": 206147.984375, | |
| "learning_rate": 2.01227419495968e-06, | |
| "loss": 0.1952, | |
| "step": 136 | |
| }, | |
| { | |
| "epoch": 5.75, | |
| "grad_norm": 165519.734375, | |
| "learning_rate": 1.9482564124462478e-06, | |
| "loss": 0.1861, | |
| "step": 138 | |
| }, | |
| { | |
| "epoch": 5.833333333333333, | |
| "grad_norm": 293182.59375, | |
| "learning_rate": 1.8846167674275175e-06, | |
| "loss": 0.1765, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 5.916666666666667, | |
| "grad_norm": 208781.828125, | |
| "learning_rate": 1.8213988753373147e-06, | |
| "loss": 0.1668, | |
| "step": 142 | |
| }, | |
| { | |
| "epoch": 6.0, | |
| "grad_norm": 254646.9375, | |
| "learning_rate": 1.758646062561073e-06, | |
| "loss": 0.2303, | |
| "step": 144 | |
| }, | |
| { | |
| "epoch": 6.083333333333333, | |
| "grad_norm": 324146.96875, | |
| "learning_rate": 1.6964013367420967e-06, | |
| "loss": 0.1827, | |
| "step": 146 | |
| }, | |
| { | |
| "epoch": 6.166666666666667, | |
| "grad_norm": 257018.671875, | |
| "learning_rate": 1.634707357306267e-06, | |
| "loss": 0.1597, | |
| "step": 148 | |
| }, | |
| { | |
| "epoch": 6.25, | |
| "grad_norm": 206533.25, | |
| "learning_rate": 1.5736064062254094e-06, | |
| "loss": 0.16, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 6.333333333333333, | |
| "grad_norm": 167917.015625, | |
| "learning_rate": 1.5131403590393323e-06, | |
| "loss": 0.1505, | |
| "step": 152 | |
| }, | |
| { | |
| "epoch": 6.416666666666667, | |
| "grad_norm": 212221.5, | |
| "learning_rate": 1.4533506561564305e-06, | |
| "loss": 0.2218, | |
| "step": 154 | |
| }, | |
| { | |
| "epoch": 6.5, | |
| "grad_norm": 230035.359375, | |
| "learning_rate": 1.3942782744524974e-06, | |
| "loss": 0.1704, | |
| "step": 156 | |
| }, | |
| { | |
| "epoch": 6.583333333333333, | |
| "grad_norm": 214737.0, | |
| "learning_rate": 1.3359636991872215e-06, | |
| "loss": 0.1844, | |
| "step": 158 | |
| }, | |
| { | |
| "epoch": 6.666666666666667, | |
| "grad_norm": 235808.03125, | |
| "learning_rate": 1.2784468962576136e-06, | |
| "loss": 0.1783, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 6.75, | |
| "grad_norm": 232662.234375, | |
| "learning_rate": 1.2217672848073702e-06, | |
| "loss": 0.1863, | |
| "step": 162 | |
| }, | |
| { | |
| "epoch": 6.833333333333333, | |
| "grad_norm": 175760.4375, | |
| "learning_rate": 1.1659637102109713e-06, | |
| "loss": 0.1831, | |
| "step": 164 | |
| }, | |
| { | |
| "epoch": 6.916666666666667, | |
| "grad_norm": 356778.75, | |
| "learning_rate": 1.1110744174509952e-06, | |
| "loss": 0.1989, | |
| "step": 166 | |
| }, | |
| { | |
| "epoch": 7.0, | |
| "grad_norm": 202149.03125, | |
| "learning_rate": 1.0571370249069163e-06, | |
| "loss": 0.1838, | |
| "step": 168 | |
| }, | |
| { | |
| "epoch": 7.083333333333333, | |
| "grad_norm": 302604.65625, | |
| "learning_rate": 1.0041884985733524e-06, | |
| "loss": 0.1822, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 7.166666666666667, | |
| "grad_norm": 202012.578125, | |
| "learning_rate": 9.522651267254149e-07, | |
| "loss": 0.1454, | |
| "step": 172 | |
| }, | |
| { | |
| "epoch": 7.25, | |
| "grad_norm": 265440.15625, | |
| "learning_rate": 9.014024950485384e-07, | |
| "loss": 0.1883, | |
| "step": 174 | |
| }, | |
| { | |
| "epoch": 7.333333333333333, | |
| "grad_norm": 204455.96875, | |
| "learning_rate": 8.516354622498279e-07, | |
| "loss": 0.1683, | |
| "step": 176 | |
| }, | |
| { | |
| "epoch": 7.416666666666667, | |
| "grad_norm": 233323.109375, | |
| "learning_rate": 8.029981361676456e-07, | |
| "loss": 0.17, | |
| "step": 178 | |
| }, | |
| { | |
| "epoch": 7.5, | |
| "grad_norm": 316090.125, | |
| "learning_rate": 7.555238503958001e-07, | |
| "loss": 0.173, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 7.583333333333333, | |
| "grad_norm": 231199.53125, | |
| "learning_rate": 7.092451414383644e-07, | |
| "loss": 0.1667, | |
| "step": 182 | |
| }, | |
| { | |
| "epoch": 7.666666666666667, | |
| "grad_norm": 205682.75, | |
| "learning_rate": 6.641937264107868e-07, | |
| "loss": 0.1692, | |
| "step": 184 | |
| }, | |
| { | |
| "epoch": 7.75, | |
| "grad_norm": 231449.3125, | |
| "learning_rate": 6.204004813025569e-07, | |
| "loss": 0.1544, | |
| "step": 186 | |
| }, | |
| { | |
| "epoch": 7.833333333333333, | |
| "grad_norm": 263006.875, | |
| "learning_rate": 5.778954198163514e-07, | |
| "loss": 0.1633, | |
| "step": 188 | |
| }, | |
| { | |
| "epoch": 7.916666666666667, | |
| "grad_norm": 221704.015625, | |
| "learning_rate": 5.367076727981383e-07, | |
| "loss": 0.1687, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 8.0, | |
| "grad_norm": 362602.21875, | |
| "learning_rate": 4.968654682723487e-07, | |
| "loss": 0.1563, | |
| "step": 192 | |
| }, | |
| { | |
| "epoch": 8.083333333333334, | |
| "grad_norm": 193824.296875, | |
| "learning_rate": 4.5839611209580277e-07, | |
| "loss": 0.1709, | |
| "step": 194 | |
| }, | |
| { | |
| "epoch": 8.166666666666666, | |
| "grad_norm": 286846.21875, | |
| "learning_rate": 4.2132596924363666e-07, | |
| "loss": 0.1591, | |
| "step": 196 | |
| }, | |
| { | |
| "epoch": 8.25, | |
| "grad_norm": 216035.734375, | |
| "learning_rate": 3.85680445740067e-07, | |
| "loss": 0.1594, | |
| "step": 198 | |
| }, | |
| { | |
| "epoch": 8.333333333333334, | |
| "grad_norm": 333412.6875, | |
| "learning_rate": 3.514839712463683e-07, | |
| "loss": 0.185, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 8.333333333333334, | |
| "eval_accuracy": 0.6380597014925373, | |
| "eval_f1": 0.6324565271085214, | |
| "eval_loss": 0.2704140543937683, | |
| "eval_precision": 0.6309064531545356, | |
| "eval_recall": 0.6380597014925373, | |
| "eval_roc_auc": 0.7803652914363663, | |
| "eval_runtime": 25.0632, | |
| "eval_samples_per_second": 21.386, | |
| "eval_steps_per_second": 0.199, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 8.416666666666666, | |
| "grad_norm": 217248.59375, | |
| "learning_rate": 3.187599823180071e-07, | |
| "loss": 0.1632, | |
| "step": 202 | |
| }, | |
| { | |
| "epoch": 8.5, | |
| "grad_norm": 250078.484375, | |
| "learning_rate": 2.875309063423956e-07, | |
| "loss": 0.1436, | |
| "step": 204 | |
| }, | |
| { | |
| "epoch": 8.583333333333334, | |
| "grad_norm": 228992.078125, | |
| "learning_rate": 2.5781814616827936e-07, | |
| "loss": 0.1599, | |
| "step": 206 | |
| }, | |
| { | |
| "epoch": 8.666666666666666, | |
| "grad_norm": 241761.3125, | |
| "learning_rate": 2.2964206543729662e-07, | |
| "loss": 0.1587, | |
| "step": 208 | |
| }, | |
| { | |
| "epoch": 8.75, | |
| "grad_norm": 325764.9375, | |
| "learning_rate": 2.0302197462775453e-07, | |
| "loss": 0.1592, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 8.833333333333334, | |
| "grad_norm": 454068.09375, | |
| "learning_rate": 1.7797611782018942e-07, | |
| "loss": 0.1804, | |
| "step": 212 | |
| }, | |
| { | |
| "epoch": 8.916666666666666, | |
| "grad_norm": 343717.625, | |
| "learning_rate": 1.5452166019378989e-07, | |
| "loss": 0.1793, | |
| "step": 214 | |
| }, | |
| { | |
| "epoch": 9.0, | |
| "grad_norm": 232539.609375, | |
| "learning_rate": 1.3267467626223606e-07, | |
| "loss": 0.1282, | |
| "step": 216 | |
| }, | |
| { | |
| "epoch": 9.083333333333334, | |
| "grad_norm": 199415.765625, | |
| "learning_rate": 1.1245013885703343e-07, | |
| "loss": 0.1457, | |
| "step": 218 | |
| }, | |
| { | |
| "epoch": 9.166666666666666, | |
| "grad_norm": 196572.265625, | |
| "learning_rate": 9.386190886588208e-08, | |
| "loss": 0.1373, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 9.25, | |
| "grad_norm": 229028.171875, | |
| "learning_rate": 7.692272573311427e-08, | |
| "loss": 0.142, | |
| "step": 222 | |
| }, | |
| { | |
| "epoch": 9.333333333333334, | |
| "grad_norm": 193899.640625, | |
| "learning_rate": 6.164419872871835e-08, | |
| "loss": 0.1677, | |
| "step": 224 | |
| }, | |
| { | |
| "epoch": 9.416666666666666, | |
| "grad_norm": 239608.796875, | |
| "learning_rate": 4.8036798991923925e-08, | |
| "loss": 0.1771, | |
| "step": 226 | |
| }, | |
| { | |
| "epoch": 9.5, | |
| "grad_norm": 290402.34375, | |
| "learning_rate": 3.610985235480563e-08, | |
| "loss": 0.1659, | |
| "step": 228 | |
| }, | |
| { | |
| "epoch": 9.583333333333334, | |
| "grad_norm": 260572.0, | |
| "learning_rate": 2.5871532950824395e-08, | |
| "loss": 0.1562, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 9.666666666666666, | |
| "grad_norm": 237179.59375, | |
| "learning_rate": 1.732885761268427e-08, | |
| "loss": 0.162, | |
| "step": 232 | |
| }, | |
| { | |
| "epoch": 9.75, | |
| "grad_norm": 233287.578125, | |
| "learning_rate": 1.0487681063345856e-08, | |
| "loss": 0.1814, | |
| "step": 234 | |
| }, | |
| { | |
| "epoch": 9.833333333333334, | |
| "grad_norm": 450626.28125, | |
| "learning_rate": 5.352691903491303e-09, | |
| "loss": 0.1711, | |
| "step": 236 | |
| }, | |
| { | |
| "epoch": 9.916666666666666, | |
| "grad_norm": 212048.828125, | |
| "learning_rate": 1.9274093981927476e-09, | |
| "loss": 0.1638, | |
| "step": 238 | |
| }, | |
| { | |
| "epoch": 10.0, | |
| "grad_norm": 241610.109375, | |
| "learning_rate": 2.1418106498249936e-10, | |
| "loss": 0.1542, | |
| "step": 240 | |
| } | |
| ], | |
| "logging_steps": 2, | |
| "max_steps": 240, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 10, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 6.115509116059779e+19, | |
| "train_batch_size": 128, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |