File size: 38,137 Bytes
509e6ae
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
840
841
842
843
844
845
846
847
848
849
850
851
852
853
854
855
856
857
858
859
860
861
862
863
864
865
866
867
868
869
870
871
872
873
874
875
876
877
878
879
880
881
882
883
884
885
886
887
888
889
890
891
892
893
894
895
896
897
898
899
900
901
902
903
904
905
906
907
908
909
910
911
912
913
914
915
916
917
918
919
920
921
922
923
924
925
926
927
928
929
930
931
932
933
934
935
936
937
938
939
940
941
942
943
944
945
946
947
948
949
950
951
952
953
954
955
956
957
958
959
960
961
962
963
964
965
966
967
968
969
970
971
972
973
974
975
976
977
978
979
980
981
982
983
984
985
986
987
988
989
990
991
992
993
994
995
996
997
998
999
1000
1001
1002
1003
1004
1005
1006
1007
1008
1009
1010
1011
1012
1013
1014
1015
1016
1017
1018
1019
1020
1021
1022
1023
1024
1025
1026
1027
1028
1029
1030
1031
1032
1033
1034
1035
1036
1037
1038
1039
1040
1041
1042
1043
1044
1045
1046
1047
1048
1049
1050
1051
1052
1053
1054
1055
1056
1057
1058
1059
1060
1061
1062
1063
1064
1065
1066
1067
1068
1069
1070
1071
1072
1073
1074
1075
1076
1077
1078
1079
1080
1081
1082
1083
1084
1085
1086
1087
1088
1089
1090
1091
1092
1093
1094
1095
1096
1097
1098
1099
1100
1101
1102
1103
1104
1105
1106
{
    "evaluation_frequency": {
        "frequency": 1,
        "period": "epoch"
    },
    "test": {},
    "training": {
        "answer": {
            "bleu": [
                0.0676649957895279,
                0.09600745886564255,
                0.12647490203380585,
                0.20117470622062683,
                0.24742721021175385,
                0.2628253996372223,
                0.30213549733161926,
                0.29996946454048157,
                0.273244172334671,
                0.30084073543548584,
                0.3171538710594177,
                0.29339954257011414,
                0.3520800769329071,
                0.30406540632247925,
                0.33240628242492676,
                0.3805045485496521,
                0.37416401505470276,
                0.3974965810775757,
                0.43064478039741516,
                0.3358197510242462,
                0.47880181670188904,
                0.4125445783138275,
                0.41014838218688965,
                0.3562224805355072,
                0.394199013710022,
                0.37036260962486267,
                0.4113684892654419,
                0.39730897545814514,
                0.5424091815948486,
                0.5053449273109436,
                0.4880022704601288,
                0.4590362012386322,
                0.4080365300178528,
                0.44825801253318787,
                0.4375535547733307,
                0.5008343458175659,
                0.4627838432788849,
                0.4307810962200165,
                0.4406319856643677,
                0.48086920380592346,
                0.3720667064189911,
                0.4081326425075531,
                0.437488317489624,
                0.48522573709487915,
                0.3722201883792877,
                0.3797307312488556,
                0.46601706743240356,
                0.47983235120773315,
                0.3697850704193115,
                0.49818187952041626
            ],
            "char_error_rate": [
                1.1984374523162842,
                1.6807003021240234,
                2.1512651443481445,
                1.0279017686843872,
                1.3860819339752197,
                1.1320312023162842,
                1.0777630805969238,
                1.2470805644989014,
                1.6150627136230469,
                1.6054259538650513,
                0.9964494109153748,
                1.9940193891525269,
                0.849968433380127,
                1.2580373287200928,
                1.318591833114624,
                0.9902375936508179,
                1.2168779373168945,
                1.03743314743042,
                0.9939255118370056,
                1.9151943922042847,
                0.9319227337837219,
                1.2691435813903809,
                1.1845722198486328,
                1.6184051036834717,
                1.065855622291565,
                1.608474850654602,
                1.1486583948135376,
                1.3252102136611938,
                0.6463222503662109,
                0.7272914052009583,
                1.0723570585250854,
                1.0036054849624634,
                1.188139796257019,
                1.0972784757614136,
                1.177308201789856,
                0.8661734461784363,
                0.8964848518371582,
                1.035879135131836,
                0.944412350654602,
                0.8306243419647217,
                1.534341812133789,
                1.4511349201202393,
                1.010003685951233,
                0.9108259081840515,
                1.388667106628418,
                1.4345743656158447,
                0.9154477119445801,
                0.9958861470222473,
                1.468770146369934,
                0.8007446527481079
            ],
            "loss": [
                2.2871785163879395,
                1.3125925064086914,
                0.8123974204063416,
                0.7298464775085449,
                0.408573716878891,
                0.42836445569992065,
                0.33741727471351624,
                0.23163869976997375,
                0.23141896724700928,
                0.23874790966510773,
                0.1878015398979187,
                0.11481565982103348,
                0.18654073774814606,
                0.15228109061717987,
                0.09598526358604431,
                0.10778030008077621,
                0.06690600514411926,
                0.043918803334236145,
                0.036408353596925735,
                0.015376781113445759,
                0.020412757992744446,
                0.01862117275595665,
                0.03325316682457924,
                0.027059268206357956,
                0.025422487407922745,
                0.019622284919023514,
                0.022757118567824364,
                0.00897483341395855,
                0.02360736019909382,
                0.017439767718315125,
                0.0187111534178257,
                0.01347588561475277,
                0.02360430359840393,
                0.013605301268398762,
                0.017232254147529602,
                0.010657137259840965,
                0.010405931621789932,
                0.01177170779556036,
                0.022303439676761627,
                0.010013094171881676,
                0.016894595697522163,
                0.01088069099932909,
                0.007804367691278458,
                0.007286504842340946,
                0.00782779511064291,
                0.009966685436666012,
                0.008492008782923222,
                0.007912886328995228,
                0.0064546773210167885,
                0.003611441468819976
            ],
            "next_token_perplexity": [
                19690.146484375,
                18322.087890625,
                15675.294921875,
                15190.9169921875,
                13613.951171875,
                13743.7783203125,
                13371.482421875,
                12871.078125,
                12865.365234375,
                12888.2861328125,
                12742.6513671875,
                12416.98828125,
                12729.7109375,
                12500.767578125,
                12319.2734375,
                12427.57421875,
                12144.791015625,
                12079.287109375,
                12037.90234375,
                11880.205078125,
                11924.271484375,
                11900.314453125,
                11998.7265625,
                11966.109375,
                11962.8193359375,
                11872.4423828125,
                11912.056640625,
                11855.9033203125,
                11948.0703125,
                11891.9296875,
                11881.2666015625,
                11880.4130859375,
                11904.0439453125,
                11877.8525390625,
                11905.0419921875,
                11872.517578125,
                11844.6484375,
                11856.66015625,
                11927.2529296875,
                11846.490234375,
                11887.484375,
                11844.2880859375,
                11841.888671875,
                11839.107421875,
                11818.7060546875,
                11848.857421875,
                11841.7421875,
                11844.6201171875,
                11826.2392578125,
                11810.5400390625
            ],
            "perplexity": [
                31818.48046875,
                31959.685546875,
                31892.42578125,
                31864.8515625,
                31936.25390625,
                31901.765625,
                31824.490234375,
                31923.34375,
                31642.3671875,
                31911.046875,
                31775.453125,
                31859.533203125,
                31861.052734375,
                31991.88671875,
                31792.791015625,
                31650.9375,
                31833.505859375,
                31824.005859375,
                31704.349609375,
                31885.21875,
                31984.77734375,
                31929.37109375,
                31931.83984375,
                31863.484375,
                31803.98046875,
                31990.177734375,
                31850.814453125,
                31862.603515625,
                31840.732421875,
                31917.1328125,
                31773.9375,
                31978.068359375,
                31902.859375,
                31898.0234375,
                31772.30078125,
                31884.45703125,
                31950.541015625,
                31974.8046875,
                31782.392578125,
                31823.337890625,
                31906.90625,
                31880.017578125,
                31979.927734375,
                31874.638671875,
                31954.625,
                31849.14453125,
                31696.912109375,
                31860.111328125,
                31912.171875,
                31866.15625
            ],
            "rouge1_fmeasure": [
                0.39818209409713745,
                0.4243268370628357,
                0.41477829217910767,
                0.5110393166542053,
                0.5139212608337402,
                0.5586860179901123,
                0.5687342882156372,
                0.5366232395172119,
                0.5317553281784058,
                0.5334140062332153,
                0.5960548520088196,
                0.5194144248962402,
                0.6115748286247253,
                0.5660273432731628,
                0.5650803446769714,
                0.6333515644073486,
                0.6111521124839783,
                0.6005109548568726,
                0.6407095789909363,
                0.5270798206329346,
                0.6519533395767212,
                0.5953192114830017,
                0.6081262826919556,
                0.5657275319099426,
                0.5982725024223328,
                0.5624117851257324,
                0.6025000810623169,
                0.5862615704536438,
                0.7048433423042297,
                0.6891309022903442,
                0.6288206577301025,
                0.6381796002388,
                0.5790943503379822,
                0.6197379231452942,
                0.6146485209465027,
                0.6540629267692566,
                0.6339989304542542,
                0.6338462829589844,
                0.6265696883201599,
                0.633441150188446,
                0.5498812794685364,
                0.589422881603241,
                0.6316519975662231,
                0.6557794213294983,
                0.589402437210083,
                0.5661942362785339,
                0.6471343636512756,
                0.6208221316337585,
                0.5627917051315308,
                0.6563125848770142
            ],
            "rouge1_precision": [
                0.3053378164768219,
                0.33698463439941406,
                0.30634576082229614,
                0.40361154079437256,
                0.38106006383895874,
                0.429673969745636,
                0.42601877450942993,
                0.39622434973716736,
                0.3969629406929016,
                0.40717387199401855,
                0.44685208797454834,
                0.37383389472961426,
                0.46901077032089233,
                0.42193281650543213,
                0.42766234278678894,
                0.49076271057128906,
                0.4636644124984741,
                0.45625677704811096,
                0.4819779694080353,
                0.3703266680240631,
                0.49313485622406006,
                0.4453620910644531,
                0.4582081735134125,
                0.408080518245697,
                0.45170366764068604,
                0.4272603392601013,
                0.45134902000427246,
                0.4291943609714508,
                0.5604517459869385,
                0.5372855067253113,
                0.4946170151233673,
                0.4902564585208893,
                0.45203104615211487,
                0.47002384066581726,
                0.46541768312454224,
                0.5131718516349792,
                0.47497236728668213,
                0.47135502099990845,
                0.48243531584739685,
                0.4917212426662445,
                0.40607190132141113,
                0.4333809018135071,
                0.48334649205207825,
                0.5090259313583374,
                0.44535890221595764,
                0.43384507298469543,
                0.5026842355728149,
                0.48674920201301575,
                0.4401545822620392,
                0.5046634674072266
            ],
            "rouge1_recall": [
                0.5966582894325256,
                0.5934929251670837,
                0.664327085018158,
                0.730544924736023,
                0.832303524017334,
                0.827915370464325,
                0.8848379850387573,
                0.8847448229789734,
                0.842096209526062,
                0.7910086512565613,
                0.9338212609291077,
                0.8746686577796936,
                0.9309293031692505,
                0.9150538444519043,
                0.8798174262046814,
                0.9131277203559875,
                0.9257842302322388,
                0.9367193579673767,
                0.9890698790550232,
                0.9469103813171387,
                0.9909656047821045,
                0.9459381103515625,
                0.9394440650939941,
                0.9447744488716125,
                0.9416347742080688,
                0.8530561327934265,
                0.9445317387580872,
                0.9503635168075562,
                0.9913846254348755,
                0.9943118095397949,
                0.899429440498352,
                0.9492518305778503,
                0.8512063026428223,
                0.9482022523880005,
                0.9462174773216248,
                0.9487248659133911,
                0.9971611499786377,
                0.9969097971916199,
                0.9434909820556641,
                0.9508928656578064,
                0.9018500447273254,
                0.9500288367271423,
                0.950323760509491,
                0.9504799842834473,
                0.9016981720924377,
                0.8520143628120422,
                0.9505007863044739,
                0.9024881720542908,
                0.8074973821640015,
                0.9995189905166626
            ],
            "rouge2_fmeasure": [
                0.18507863581180573,
                0.237844780087471,
                0.2868768572807312,
                0.36649271845817566,
                0.4339558780193329,
                0.4707113802433014,
                0.48638489842414856,
                0.4845327138900757,
                0.4829316735267639,
                0.4804344177246094,
                0.5485184192657471,
                0.49502190947532654,
                0.5534137487411499,
                0.5279683470726013,
                0.5367940068244934,
                0.5952136516571045,
                0.5876814723014832,
                0.5864992141723633,
                0.6224509477615356,
                0.5182633399963379,
                0.6430156826972961,
                0.5855221748352051,
                0.5908651351928711,
                0.5525633096694946,
                0.5832771062850952,
                0.5541191697120667,
                0.5926451683044434,
                0.5801405906677246,
                0.6937909722328186,
                0.6814221143722534,
                0.6203153133392334,
                0.6307939291000366,
                0.5701058506965637,
                0.6126195192337036,
                0.6062581539154053,
                0.6478073596954346,
                0.6259527206420898,
                0.6266385316848755,
                0.613209068775177,
                0.6277174353599548,
                0.5401471257209778,
                0.5826659798622131,
                0.6257494688034058,
                0.6502458453178406,
                0.5836957693099976,
                0.5591084361076355,
                0.6408913135528564,
                0.6148146986961365,
                0.5579848289489746,
                0.6505444645881653
            ],
            "rouge2_precision": [
                0.1444595605134964,
                0.19011208415031433,
                0.20871275663375854,
                0.2872615456581116,
                0.318430632352829,
                0.35757166147232056,
                0.36125174164772034,
                0.35530591011047363,
                0.35785603523254395,
                0.363127201795578,
                0.40659573674201965,
                0.3545052111148834,
                0.4187772870063782,
                0.3889612853527069,
                0.40320536494255066,
                0.45837149024009705,
                0.4430689513683319,
                0.4435938000679016,
                0.46596014499664307,
                0.36257439851760864,
                0.4847981035709381,
                0.43643420934677124,
                0.44320178031921387,
                0.39690789580345154,
                0.4386776387691498,
                0.4197190999984741,
                0.44230255484580994,
                0.423231303691864,
                0.5501857399940491,
                0.529962956905365,
                0.4868635833263397,
                0.4831033945083618,
                0.4436205327510834,
                0.46324625611305237,
                0.4575534462928772,
                0.5071352124214172,
                0.46757379174232483,
                0.46458372473716736,
                0.47053641080856323,
                0.4863778054714203,
                0.3977583050727844,
                0.4269216060638428,
                0.47748056054115295,
                0.5034469366073608,
                0.43970751762390137,
                0.4272785186767578,
                0.4964950680732727,
                0.4809749126434326,
                0.435355544090271,
                0.4990876615047455
            ],
            "rouge2_recall": [
                0.2694289982318878,
                0.32976260781288147,
                0.4748002588748932,
                0.5333926677703857,
                0.7177915573120117,
                0.7153750658035278,
                0.7725433111190796,
                0.8128460645675659,
                0.7769003510475159,
                0.7243825197219849,
                0.8781525492668152,
                0.8442379236221313,
                0.8641104698181152,
                0.8738481402397156,
                0.8503449559211731,
                0.8684680461883545,
                0.901735782623291,
                0.9262425303459167,
                0.9717134833335876,
                0.944210946559906,
                0.9848138093948364,
                0.9400348663330078,
                0.9227122068405151,
                0.9335429668426514,
                0.9283308982849121,
                0.8471662402153015,
                0.938388466835022,
                0.9493141174316406,
                0.9824482798576355,
                0.9893498420715332,
                0.892510712146759,
                0.9455618262290955,
                0.8451074957847595,
                0.9450099468231201,
                0.9419037699699402,
                0.946241557598114,
                0.9930741190910339,
                0.9936433434486389,
                0.932122528553009,
                0.9493087530136108,
                0.8948882222175598,
                0.9482959508895874,
                0.948470950126648,
                0.9481585621833801,
                0.9000611305236816,
                0.8476599454879761,
                0.9480143785476685,
                0.8998450040817261,
                0.8054249882698059,
                0.9990281462669373
            ],
            "rougeL_fmeasure": [
                0.34631991386413574,
                0.37975677847862244,
                0.38787972927093506,
                0.47860100865364075,
                0.49609044194221497,
                0.5394492149353027,
                0.5525321960449219,
                0.5273043513298035,
                0.5238259434700012,
                0.5247453451156616,
                0.5852515697479248,
                0.5164174437522888,
                0.5998174548149109,
                0.5580529570579529,
                0.5584600567817688,
                0.6285427212715149,
                0.6091301441192627,
                0.5995772480964661,
                0.6375470161437988,
                0.5270798206329346,
                0.6517449617385864,
                0.5950323343276978,
                0.6064978241920471,
                0.5639781355857849,
                0.5971146821975708,
                0.5618381500244141,
                0.6025000810623169,
                0.5862615704536438,
                0.7042480707168579,
                0.6891309022903442,
                0.6288206577301025,
                0.6377827525138855,
                0.5786868333816528,
                0.6197379231452942,
                0.6146485209465027,
                0.6538004875183105,
                0.6339989304542542,
                0.6338462829589844,
                0.6255924105644226,
                0.633441150188446,
                0.5495854616165161,
                0.589422881603241,
                0.6314584612846375,
                0.6557794213294983,
                0.589402437210083,
                0.5660018920898438,
                0.6468837857246399,
                0.6205352544784546,
                0.5627917051315308,
                0.6563125848770142
            ],
            "rougeL_precision": [
                0.2664726674556732,
                0.30192720890045166,
                0.2854008078575134,
                0.377015084028244,
                0.3670376241207123,
                0.4139465093612671,
                0.4132266640663147,
                0.38896727561950684,
                0.3902077376842499,
                0.39975425601005554,
                0.4375613033771515,
                0.3714459240436554,
                0.4586128890514374,
                0.4147321283817291,
                0.4220235049724579,
                0.48674020171165466,
                0.4619252383708954,
                0.4554250240325928,
                0.4792790114879608,
                0.3703266680240631,
                0.49294885993003845,
                0.4451153576374054,
                0.45690345764160156,
                0.40678319334983826,
                0.45078980922698975,
                0.42681530117988586,
                0.45134902000427246,
                0.4291943609714508,
                0.5599382519721985,
                0.5372855067253113,
                0.4946170151233673,
                0.48992347717285156,
                0.45166459679603577,
                0.47002384066581726,
                0.46541768312454224,
                0.5129429697990417,
                0.47497236728668213,
                0.47135502099990845,
                0.48162180185317993,
                0.4917212426662445,
                0.4058172106742859,
                0.4333809018135071,
                0.4831726849079132,
                0.5090259313583374,
                0.44535890221595764,
                0.43367254734039307,
                0.5024627447128296,
                0.486502468585968,
                0.4401545822620392,
                0.5046634674072266
            ],
            "rougeL_recall": [
                0.5163897275924683,
                0.5298325419425964,
                0.6256285905838013,
                0.6875836253166199,
                0.8060304522514343,
                0.8026245832443237,
                0.8621798157691956,
                0.8711563944816589,
                0.8322287797927856,
                0.7803822755813599,
                0.9206846952438354,
                0.8706137537956238,
                0.9173827171325684,
                0.9061194062232971,
                0.8716963529586792,
                0.907103419303894,
                0.9233686327934265,
                0.9356552362442017,
                0.9852215051651001,
                0.9469103813171387,
                0.9907287359237671,
                0.9455955028533936,
                0.9371834993362427,
                0.9420727491378784,
                0.9399703741073608,
                0.852249026298523,
                0.9445317387580872,
                0.9503635168075562,
                0.9906764030456543,
                0.9943118095397949,
                0.899429440498352,
                0.9487608671188354,
                0.8507472276687622,
                0.9482022523880005,
                0.9462174773216248,
                0.9484176635742188,
                0.9971611499786377,
                0.9969097971916199,
                0.9422513842582703,
                0.9508928656578064,
                0.9014973640441895,
                0.9500288367271423,
                0.9501053690910339,
                0.9504799842834473,
                0.9016981720924377,
                0.8517969250679016,
                0.9502121210098267,
                0.9021455645561218,
                0.8074973821640015,
                0.9995189905166626
            ],
            "rougeLsum_fmeasure": [
                0.369825154542923,
                0.40199124813079834,
                0.4037005603313446,
                0.498706191778183,
                0.5071882009506226,
                0.5537415146827698,
                0.5602717995643616,
                0.5316389799118042,
                0.5254824757575989,
                0.530821681022644,
                0.5913671851158142,
                0.5172802805900574,
                0.609735369682312,
                0.5630322694778442,
                0.5642105937004089,
                0.6296872496604919,
                0.6109046936035156,
                0.6002775430679321,
                0.639681339263916,
                0.5270798206329346,
                0.6519533395767212,
                0.5953192114830017,
                0.6076728105545044,
                0.5639781355857849,
                0.5974180102348328,
                0.5624117851257324,
                0.6025000810623169,
                0.5862615704536438,
                0.7045485377311707,
                0.6891309022903442,
                0.6288206577301025,
                0.6381796002388,
                0.5786868333816528,
                0.6197379231452942,
                0.6146485209465027,
                0.6538004875183105,
                0.6339989304542542,
                0.6338462829589844,
                0.6258230209350586,
                0.633441150188446,
                0.5498812794685364,
                0.589422881603241,
                0.6314584612846375,
                0.6557794213294983,
                0.589402437210083,
                0.5660018920898438,
                0.6471343636512756,
                0.6208221316337585,
                0.5627917051315308,
                0.6563125848770142
            ],
            "rougeLsum_precision": [
                0.28419312834739685,
                0.3197484612464905,
                0.2979278266429901,
                0.3936283588409424,
                0.3758982717990875,
                0.4257148504257202,
                0.4195578098297119,
                0.3923894762992859,
                0.3918912410736084,
                0.40515047311782837,
                0.4427284896373749,
                0.3722448945045471,
                0.46738043427467346,
                0.4192263185977936,
                0.4268994927406311,
                0.48773401975631714,
                0.4634449779987335,
                0.4560488164424896,
                0.4811312258243561,
                0.3703266680240631,
                0.49313485622406006,
                0.4453620910644531,
                0.45781463384628296,
                0.40678319334983826,
                0.4510543942451477,
                0.4272603392601013,
                0.45134902000427246,
                0.4291943609714508,
                0.5601984858512878,
                0.5372855067253113,
                0.4946170151233673,
                0.4902564585208893,
                0.45166459679603577,
                0.47002384066581726,
                0.46541768312454224,
                0.5129429697990417,
                0.47497236728668213,
                0.47135502099990845,
                0.4818253219127655,
                0.4917212426662445,
                0.40607190132141113,
                0.4333809018135071,
                0.4831726849079132,
                0.5090259313583374,
                0.44535890221595764,
                0.43367254734039307,
                0.5026842355728149,
                0.48674920201301575,
                0.4401545822620392,
                0.5046634674072266
            ],
            "rougeLsum_recall": [
                0.5526013970375061,
                0.5610343217849731,
                0.6476579904556274,
                0.7140280604362488,
                0.8216902613639832,
                0.8211542963981628,
                0.872273325920105,
                0.8773994445800781,
                0.8334723114967346,
                0.7870790362358093,
                0.9283719658851624,
                0.8712378740310669,
                0.928817629814148,
                0.9117010831832886,
                0.8788058161735535,
                0.9084529876708984,
                0.925500750541687,
                0.9364533424377441,
                0.9877530336380005,
                0.9469103813171387,
                0.9909656047821045,
                0.9459381103515625,
                0.9389089941978455,
                0.9420727491378784,
                0.9403257966041565,
                0.8530561327934265,
                0.9445317387580872,
                0.9503635168075562,
                0.99103182554245,
                0.9943118095397949,
                0.899429440498352,
                0.9492518305778503,
                0.8507472276687622,
                0.9482022523880005,
                0.9462174773216248,
                0.9484176635742188,
                0.9971611499786377,
                0.9969097971916199,
                0.9425173997879028,
                0.9508928656578064,
                0.9018500447273254,
                0.9500288367271423,
                0.9501053690910339,
                0.9504799842834473,
                0.9016981720924377,
                0.8517969250679016,
                0.9505007863044739,
                0.9024881720542908,
                0.8074973821640015,
                0.9995189905166626
            ],
            "sequence_accuracy": [
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0,
                0.0
            ],
            "token_accuracy": [
                0.0033028614707291126,
                0.00040184849058277905,
                0.0007356478017754853,
                0.0015544338384643197,
                0.0005670971586368978,
                0.0010837732115760446,
                0.0015536979772150517,
                0.0010643188143149018,
                0.003308310406282544,
                0.0010256953537464142,
                0.0029350025579333305,
                0.001207542372867465,
                0.0015802722191438079,
                9.300595411332324e-05,
                0.0019922819919884205,
                0.004376664292067289,
                0.0011963080614805222,
                0.0015528147341683507,
                0.003065174911171198,
                0.0012930271914228797,
                0.00023691068054176867,
                0.0004909179988317192,
                0.0007588692824356258,
                0.001098901149816811,
                0.0020783902145922184,
                0.0,
                0.001634980202652514,
                0.0016875002766028047,
                0.0019585106056183577,
                0.0008882221882231534,
                0.0024904501624405384,
                0.0003353453939780593,
                0.0011092660715803504,
                0.0009389941114932299,
                0.002604367211461067,
                0.0013732671504840255,
                0.0005802964442409575,
                0.0002630886738188565,
                0.0017505043651908636,
                0.0019173992332071066,
                0.001337525900453329,
                0.0009025255567394197,
                0.00016886186494957656,
                0.0018611466512084007,
                0.0002587991766631603,
                0.0016922848299145699,
                0.003198870923370123,
                0.0015977660659700632,
                0.0005580357392318547,
                0.0012059139553457499
            ],
            "word_error_rate": [
                1.6577438116073608,
                2.0039331912994385,
                2.172333002090454,
                1.2734663486480713,
                1.6162161827087402,
                1.3848237991333008,
                1.296296238899231,
                1.5722477436065674,
                1.7429170608520508,
                1.4815157651901245,
                1.3109641075134277,
                1.9598337411880493,
                1.086309552192688,
                1.5206445455551147,
                1.507568120956421,
                1.16043221950531,
                1.3290766477584839,
                1.2721021175384521,
                1.128816843032837,
                1.8630338907241821,
                1.0008786916732788,
                1.3064515590667725,
                1.237403154373169,
                1.6444141864776611,
                1.3258064985275269,
                1.5982627868652344,
                1.3019648790359497,
                1.4483568668365479,
                0.7572293281555176,
                0.9211618304252625,
                0.982300877571106,
                1.0857700109481812,
                1.3049852848052979,
                1.1473476886749268,
                1.189886450767517,
                0.949999988079071,
                1.096421480178833,
                1.2530521154403687,
                1.1401869058609009,
                1.0370370149612427,
                1.5725995302200317,
                1.368794322013855,
                1.2157751321792603,
                0.9992307424545288,
                1.6155580282211304,
                1.5367114543914795,
                1.0854772329330444,
                1.0435471534729004,
                1.621183156967163,
                0.9674295783042908
            ]
        },
        "combined": {
            "loss": [
                2.2871785163879395,
                1.3125925064086914,
                0.8123974204063416,
                0.7298464775085449,
                0.408573716878891,
                0.42836445569992065,
                0.33741727471351624,
                0.23163869976997375,
                0.23141896724700928,
                0.23874790966510773,
                0.1878015398979187,
                0.11481565982103348,
                0.18654073774814606,
                0.15228109061717987,
                0.09598526358604431,
                0.10778030008077621,
                0.06690600514411926,
                0.043918803334236145,
                0.036408353596925735,
                0.015376781113445759,
                0.020412757992744446,
                0.01862117275595665,
                0.03325316682457924,
                0.027059268206357956,
                0.025422487407922745,
                0.019622284919023514,
                0.022757118567824364,
                0.00897483341395855,
                0.02360736019909382,
                0.017439767718315125,
                0.0187111534178257,
                0.01347588561475277,
                0.02360430359840393,
                0.013605301268398762,
                0.017232254147529602,
                0.010657137259840965,
                0.010405931621789932,
                0.01177170779556036,
                0.022303439676761627,
                0.010013094171881676,
                0.016894595697522163,
                0.01088069099932909,
                0.007804367691278458,
                0.007286504842340946,
                0.00782779511064291,
                0.009966685436666012,
                0.008492008782923222,
                0.007912886328995228,
                0.0064546773210167885,
                0.003611441468819976
            ]
        }
    },
    "validation": {}
}