| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 1.0, | |
| "eval_steps": 20, | |
| "global_step": 375, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.02666666666666667, | |
| "grad_norm": 0.6144651174545288, | |
| "learning_rate": 9.982464296247522e-05, | |
| "loss": 0.5086, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "grad_norm": 0.041260600090026855, | |
| "learning_rate": 9.929980185352526e-05, | |
| "loss": 0.0107, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "eval_loss": 0.004315248690545559, | |
| "eval_runtime": 95.7488, | |
| "eval_samples_per_second": 10.444, | |
| "eval_steps_per_second": 0.439, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 0.00790360290557146, | |
| "learning_rate": 9.842915805643155e-05, | |
| "loss": 0.004, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "grad_norm": 0.022915204986929893, | |
| "learning_rate": 9.721881851187406e-05, | |
| "loss": 0.0035, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "eval_loss": 0.0034025884233415127, | |
| "eval_runtime": 95.7394, | |
| "eval_samples_per_second": 10.445, | |
| "eval_steps_per_second": 0.439, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 0.026596330106258392, | |
| "learning_rate": 9.567727288213005e-05, | |
| "loss": 0.0034, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 0.10935429483652115, | |
| "learning_rate": 9.381533400219318e-05, | |
| "loss": 0.0033, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "eval_loss": 0.0027047081384807825, | |
| "eval_runtime": 95.776, | |
| "eval_samples_per_second": 10.441, | |
| "eval_steps_per_second": 0.439, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.18666666666666668, | |
| "grad_norm": 0.1983339935541153, | |
| "learning_rate": 9.164606203550497e-05, | |
| "loss": 0.0024, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "grad_norm": 0.11285419017076492, | |
| "learning_rate": 8.9184672866292e-05, | |
| "loss": 0.0018, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "eval_loss": 0.001777145778760314, | |
| "eval_runtime": 95.7123, | |
| "eval_samples_per_second": 10.448, | |
| "eval_steps_per_second": 0.439, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 0.09023458510637283, | |
| "learning_rate": 8.644843137107059e-05, | |
| "loss": 0.0022, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 0.0411541648209095, | |
| "learning_rate": 8.345653031794292e-05, | |
| "loss": 0.0025, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "eval_loss": 0.0019247803138568997, | |
| "eval_runtime": 95.7325, | |
| "eval_samples_per_second": 10.446, | |
| "eval_steps_per_second": 0.439, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.29333333333333333, | |
| "grad_norm": 0.05165160447359085, | |
| "learning_rate": 8.022995574311876e-05, | |
| "loss": 0.0015, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 0.11784542351961136, | |
| "learning_rate": 7.679133974894983e-05, | |
| "loss": 0.0019, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "eval_loss": 0.00168008788023144, | |
| "eval_runtime": 95.7517, | |
| "eval_samples_per_second": 10.444, | |
| "eval_steps_per_second": 0.439, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.3466666666666667, | |
| "grad_norm": 0.1648288369178772, | |
| "learning_rate": 7.316480175599309e-05, | |
| "loss": 0.0015, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "grad_norm": 0.064679816365242, | |
| "learning_rate": 6.937577932260515e-05, | |
| "loss": 0.0015, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "eval_loss": 0.001629200647585094, | |
| "eval_runtime": 95.7474, | |
| "eval_samples_per_second": 10.444, | |
| "eval_steps_per_second": 0.439, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 0.10296431183815002, | |
| "learning_rate": 6.545084971874738e-05, | |
| "loss": 0.0012, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "grad_norm": 0.020578118041157722, | |
| "learning_rate": 6.141754350553279e-05, | |
| "loss": 0.0015, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "eval_loss": 0.001399434870108962, | |
| "eval_runtime": 95.7645, | |
| "eval_samples_per_second": 10.442, | |
| "eval_steps_per_second": 0.439, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.4533333333333333, | |
| "grad_norm": 0.036092739552259445, | |
| "learning_rate": 5.730415142812059e-05, | |
| "loss": 0.0015, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 0.07469587028026581, | |
| "learning_rate": 5.313952597646568e-05, | |
| "loss": 0.0015, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "eval_loss": 0.001668238895945251, | |
| "eval_runtime": 95.6093, | |
| "eval_samples_per_second": 10.459, | |
| "eval_steps_per_second": 0.439, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.5066666666666667, | |
| "grad_norm": 0.012558485381305218, | |
| "learning_rate": 4.895287900583216e-05, | |
| "loss": 0.0013, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 0.026587937027215958, | |
| "learning_rate": 4.477357683661734e-05, | |
| "loss": 0.001, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "eval_loss": 0.0009001157595776021, | |
| "eval_runtime": 95.6055, | |
| "eval_samples_per_second": 10.46, | |
| "eval_steps_per_second": 0.439, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "grad_norm": 0.057403530925512314, | |
| "learning_rate": 4.063093427071376e-05, | |
| "loss": 0.001, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 0.5866666666666667, | |
| "grad_norm": 0.03403661027550697, | |
| "learning_rate": 3.655400896923672e-05, | |
| "loss": 0.0007, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.5866666666666667, | |
| "eval_loss": 0.0007602078258059919, | |
| "eval_runtime": 95.6123, | |
| "eval_samples_per_second": 10.459, | |
| "eval_steps_per_second": 0.439, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.6133333333333333, | |
| "grad_norm": 0.0659874901175499, | |
| "learning_rate": 3.257139763390925e-05, | |
| "loss": 0.0008, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 0.06739695370197296, | |
| "learning_rate": 2.8711035421746367e-05, | |
| "loss": 0.0011, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "eval_loss": 0.0008268249221146107, | |
| "eval_runtime": 95.5979, | |
| "eval_samples_per_second": 10.46, | |
| "eval_steps_per_second": 0.439, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 0.03626958280801773, | |
| "learning_rate": 2.500000000000001e-05, | |
| "loss": 0.0006, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 0.6933333333333334, | |
| "grad_norm": 0.04814556986093521, | |
| "learning_rate": 2.1464321615778422e-05, | |
| "loss": 0.0008, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 0.6933333333333334, | |
| "eval_loss": 0.0010607398580759764, | |
| "eval_runtime": 95.6167, | |
| "eval_samples_per_second": 10.458, | |
| "eval_steps_per_second": 0.439, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "grad_norm": 0.0736890509724617, | |
| "learning_rate": 1.8128800512565513e-05, | |
| "loss": 0.001, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 0.7466666666666667, | |
| "grad_norm": 0.00970852468162775, | |
| "learning_rate": 1.5016832974331724e-05, | |
| "loss": 0.0006, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 0.7466666666666667, | |
| "eval_loss": 0.000896115496288985, | |
| "eval_runtime": 95.5995, | |
| "eval_samples_per_second": 10.46, | |
| "eval_steps_per_second": 0.439, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 0.7733333333333333, | |
| "grad_norm": 0.0626436322927475, | |
| "learning_rate": 1.2150247217412186e-05, | |
| "loss": 0.0007, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 0.028112420812249184, | |
| "learning_rate": 9.549150281252633e-06, | |
| "loss": 0.0008, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "eval_loss": 0.0006250065052881837, | |
| "eval_runtime": 95.5927, | |
| "eval_samples_per_second": 10.461, | |
| "eval_steps_per_second": 0.439, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.8266666666666667, | |
| "grad_norm": 0.04174938425421715, | |
| "learning_rate": 7.2317869919746705e-06, | |
| "loss": 0.0005, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 0.8533333333333334, | |
| "grad_norm": 0.024150365963578224, | |
| "learning_rate": 5.214411988029355e-06, | |
| "loss": 0.0006, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 0.8533333333333334, | |
| "eval_loss": 0.0006509472732432187, | |
| "eval_runtime": 95.6069, | |
| "eval_samples_per_second": 10.459, | |
| "eval_steps_per_second": 0.439, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "grad_norm": 0.03418087959289551, | |
| "learning_rate": 3.511175705587433e-06, | |
| "loss": 0.0008, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 0.9066666666666666, | |
| "grad_norm": 0.043204039335250854, | |
| "learning_rate": 2.134025123396638e-06, | |
| "loss": 0.0005, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 0.9066666666666666, | |
| "eval_loss": 0.0005842947866767645, | |
| "eval_runtime": 95.6059, | |
| "eval_samples_per_second": 10.46, | |
| "eval_steps_per_second": 0.439, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 0.07010845839977264, | |
| "learning_rate": 1.0926199633097157e-06, | |
| "loss": 0.0006, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 0.0437210276722908, | |
| "learning_rate": 3.9426493427611177e-07, | |
| "loss": 0.0006, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "eval_loss": 0.0006073525873944163, | |
| "eval_runtime": 95.5779, | |
| "eval_samples_per_second": 10.463, | |
| "eval_steps_per_second": 0.439, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 0.9866666666666667, | |
| "grad_norm": 0.022227060049772263, | |
| "learning_rate": 4.385849505708084e-08, | |
| "loss": 0.0005, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "step": 375, | |
| "total_flos": 7.369767647728108e+17, | |
| "train_loss": 0.01518383183144033, | |
| "train_runtime": 4516.1364, | |
| "train_samples_per_second": 1.993, | |
| "train_steps_per_second": 0.083 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 375, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 1, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 7.369767647728108e+17, | |
| "train_batch_size": 12, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |