{ "best_global_step": null, "best_metric": null, "best_model_checkpoint": null, "epoch": 3.0, "eval_steps": 500, "global_step": 564, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.05333333333333334, "grad_norm": 7.268641434090062, "learning_rate": 1.5789473684210526e-06, "loss": 0.9631, "step": 10 }, { "epoch": 0.10666666666666667, "grad_norm": 1.5524683114050997, "learning_rate": 3.3333333333333333e-06, "loss": 0.5366, "step": 20 }, { "epoch": 0.16, "grad_norm": 0.8481152969926828, "learning_rate": 5.087719298245615e-06, "loss": 0.2342, "step": 30 }, { "epoch": 0.21333333333333335, "grad_norm": 0.7906229277108383, "learning_rate": 6.842105263157896e-06, "loss": 0.229, "step": 40 }, { "epoch": 0.26666666666666666, "grad_norm": 0.6688081529499371, "learning_rate": 8.596491228070176e-06, "loss": 0.1899, "step": 50 }, { "epoch": 0.32, "grad_norm": 0.6316990036719511, "learning_rate": 9.999616046820467e-06, "loss": 0.1808, "step": 60 }, { "epoch": 0.37333333333333335, "grad_norm": 0.676693950061979, "learning_rate": 9.986183876164412e-06, "loss": 0.176, "step": 70 }, { "epoch": 0.4266666666666667, "grad_norm": 0.7279459414684131, "learning_rate": 9.953612973853853e-06, "loss": 0.1885, "step": 80 }, { "epoch": 0.48, "grad_norm": 0.5852904360453396, "learning_rate": 9.90202835849511e-06, "loss": 0.1892, "step": 90 }, { "epoch": 0.5333333333333333, "grad_norm": 0.7343218709815196, "learning_rate": 9.831628030028698e-06, "loss": 0.1743, "step": 100 }, { "epoch": 0.5866666666666667, "grad_norm": 0.5708706241087459, "learning_rate": 9.742682209735727e-06, "loss": 0.1554, "step": 110 }, { "epoch": 0.64, "grad_norm": 0.4904682760841779, "learning_rate": 9.635532303033386e-06, "loss": 0.1717, "step": 120 }, { "epoch": 0.6933333333333334, "grad_norm": 0.7938749929863032, "learning_rate": 9.510589589040554e-06, "loss": 0.1847, "step": 130 }, { "epoch": 0.7466666666666667, "grad_norm": 0.6487537882647484, "learning_rate": 9.368333641943558e-06, "loss": 0.1617, "step": 140 }, { "epoch": 0.8, "grad_norm": 0.6375843847052841, "learning_rate": 9.209310490221368e-06, "loss": 0.1702, "step": 150 }, { "epoch": 0.8533333333333334, "grad_norm": 0.6488787000465619, "learning_rate": 9.034130520795774e-06, "loss": 0.1488, "step": 160 }, { "epoch": 0.9066666666666666, "grad_norm": 0.8191218865440053, "learning_rate": 8.843466136151191e-06, "loss": 0.167, "step": 170 }, { "epoch": 0.96, "grad_norm": 0.7107977695657147, "learning_rate": 8.638049173416855e-06, "loss": 0.1523, "step": 180 }, { "epoch": 1.0106666666666666, "grad_norm": 0.56557755472795, "learning_rate": 8.418668095317912e-06, "loss": 0.1646, "step": 190 }, { "epoch": 1.064, "grad_norm": 0.5404779104284172, "learning_rate": 8.18616496377748e-06, "loss": 0.0881, "step": 200 }, { "epoch": 1.1173333333333333, "grad_norm": 0.6335397213220804, "learning_rate": 7.94143220778613e-06, "loss": 0.0962, "step": 210 }, { "epoch": 1.1706666666666667, "grad_norm": 0.5169673259147998, "learning_rate": 7.685409197944768e-06, "loss": 0.0958, "step": 220 }, { "epoch": 1.224, "grad_norm": 0.5282952358557619, "learning_rate": 7.419078640829088e-06, "loss": 0.0981, "step": 230 }, { "epoch": 1.2773333333333334, "grad_norm": 0.4728012047295974, "learning_rate": 7.143462807015271e-06, "loss": 0.0962, "step": 240 }, { "epoch": 1.3306666666666667, "grad_norm": 0.5373711893693601, "learning_rate": 6.859619607245102e-06, "loss": 0.1002, "step": 250 }, { "epoch": 1.384, "grad_norm": 0.4884071306885222, "learning_rate": 6.568638531791555e-06, "loss": 0.0986, "step": 260 }, { "epoch": 1.4373333333333334, "grad_norm": 0.49583244381072467, "learning_rate": 6.271636468611022e-06, "loss": 0.1008, "step": 270 }, { "epoch": 1.4906666666666666, "grad_norm": 0.503655174447597, "learning_rate": 5.9697534163335645e-06, "loss": 0.0833, "step": 280 }, { "epoch": 1.544, "grad_norm": 0.6113391981882261, "learning_rate": 5.664148108546242e-06, "loss": 0.0901, "step": 290 }, { "epoch": 1.5973333333333333, "grad_norm": 0.5122723468850343, "learning_rate": 5.355993566165091e-06, "loss": 0.0848, "step": 300 }, { "epoch": 1.6506666666666665, "grad_norm": 0.5618052969742489, "learning_rate": 5.046472594967279e-06, "loss": 0.1019, "step": 310 }, { "epoch": 1.704, "grad_norm": 0.5899729199125028, "learning_rate": 4.736773245565521e-06, "loss": 0.0998, "step": 320 }, { "epoch": 1.7573333333333334, "grad_norm": 0.5797213107388501, "learning_rate": 4.428084253250972e-06, "loss": 0.0898, "step": 330 }, { "epoch": 1.8106666666666666, "grad_norm": 0.4797669030212097, "learning_rate": 4.121590475208071e-06, "loss": 0.0967, "step": 340 }, { "epoch": 1.8639999999999999, "grad_norm": 0.5087914673813295, "learning_rate": 3.818468342614932e-06, "loss": 0.0869, "step": 350 }, { "epoch": 1.9173333333333333, "grad_norm": 0.6430919776454612, "learning_rate": 3.519881345085724e-06, "loss": 0.1076, "step": 360 }, { "epoch": 1.9706666666666668, "grad_norm": 0.6148971370969265, "learning_rate": 3.226975564787322e-06, "loss": 0.0932, "step": 370 }, { "epoch": 2.021333333333333, "grad_norm": 0.36531669442096026, "learning_rate": 2.9408752773718895e-06, "loss": 0.0668, "step": 380 }, { "epoch": 2.074666666666667, "grad_norm": 0.44531042368365115, "learning_rate": 2.6626786366105493e-06, "loss": 0.0431, "step": 390 }, { "epoch": 2.128, "grad_norm": 0.5348696984729043, "learning_rate": 2.3934534592920416e-06, "loss": 0.0409, "step": 400 }, { "epoch": 2.1813333333333333, "grad_norm": 0.42040671360025555, "learning_rate": 2.1342331265654194e-06, "loss": 0.038, "step": 410 }, { "epoch": 2.2346666666666666, "grad_norm": 0.5188488577186744, "learning_rate": 1.886012617458864e-06, "loss": 0.0389, "step": 420 }, { "epoch": 2.288, "grad_norm": 0.5665871725948884, "learning_rate": 1.6497446897993885e-06, "loss": 0.0404, "step": 430 }, { "epoch": 2.3413333333333335, "grad_norm": 0.355356621043848, "learning_rate": 1.426336223192386e-06, "loss": 0.0383, "step": 440 }, { "epoch": 2.3946666666666667, "grad_norm": 0.43513447079283774, "learning_rate": 1.2166447380979801e-06, "loss": 0.037, "step": 450 }, { "epoch": 2.448, "grad_norm": 0.4900077854910989, "learning_rate": 1.0214751043651582e-06, "loss": 0.0384, "step": 460 }, { "epoch": 2.501333333333333, "grad_norm": 0.6300091825269042, "learning_rate": 8.415764518575415e-07, "loss": 0.043, "step": 470 }, { "epoch": 2.554666666666667, "grad_norm": 0.5085232575741937, "learning_rate": 6.776392950288397e-07, "loss": 0.0443, "step": 480 }, { "epoch": 2.608, "grad_norm": 0.5310248192479002, "learning_rate": 5.302928824849335e-07, "loss": 0.042, "step": 490 }, { "epoch": 2.6613333333333333, "grad_norm": 0.5430899442368551, "learning_rate": 4.001027817058789e-07, "loss": 0.0417, "step": 500 }, { "epoch": 2.7146666666666666, "grad_norm": 0.4733023367785739, "learning_rate": 2.8756870819851736e-07, "loss": 0.0383, "step": 510 }, { "epoch": 2.768, "grad_norm": 0.4449505393836064, "learning_rate": 1.9312260741218114e-07, "loss": 0.0401, "step": 520 }, { "epoch": 2.8213333333333335, "grad_norm": 0.38159566697531916, "learning_rate": 1.1712699677977224e-07, "loss": 0.036, "step": 530 }, { "epoch": 2.8746666666666667, "grad_norm": 0.4455540144875204, "learning_rate": 5.987357424804441e-08, "loss": 0.0422, "step": 540 }, { "epoch": 2.928, "grad_norm": 0.40424024176839296, "learning_rate": 2.158209863804217e-08, "loss": 0.0378, "step": 550 }, { "epoch": 2.981333333333333, "grad_norm": 0.45617330733378497, "learning_rate": 2.3995461332676496e-09, "loss": 0.0443, "step": 560 }, { "epoch": 3.0, "step": 564, "total_flos": 28761056837632.0, "train_loss": 0.12506910989470515, "train_runtime": 5545.1344, "train_samples_per_second": 3.246, "train_steps_per_second": 0.102 } ], "logging_steps": 10, "max_steps": 564, "num_input_tokens_seen": 0, "num_train_epochs": 3, "save_steps": 500, "stateful_callbacks": { "TrainerControl": { "args": { "should_epoch_stop": false, "should_evaluate": false, "should_log": false, "should_save": false, "should_training_stop": false }, "attributes": {} } }, "total_flos": 28761056837632.0, "train_batch_size": 1, "trial_name": null, "trial_params": null }