aryaadhi commited on
Commit
e6db197
·
verified ·
1 Parent(s): 5aeb7c9

End of training

Browse files
README.md ADDED
@@ -0,0 +1,355 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ base_model: google/flan-t5-base
3
+ library_name: peft
4
+ license: apache-2.0
5
+ tags:
6
+ - generated_from_trainer
7
+ model-index:
8
+ - name: FlanT5-Medical-QA-LoRA
9
+ results: []
10
+ ---
11
+
12
+ <!-- This model card has been generated automatically according to the information the Trainer had access to. You
13
+ should probably proofread and complete it, then remove this comment. -->
14
+
15
+ # FlanT5-Medical-QA-LoRA
16
+
17
+ This model is a fine-tuned version of [google/flan-t5-base](https://huggingface.co/google/flan-t5-base) on an unknown dataset.
18
+ It achieves the following results on the evaluation set:
19
+ - Loss: nan
20
+
21
+ ## Model description
22
+
23
+ More information needed
24
+
25
+ ## Intended uses & limitations
26
+
27
+ More information needed
28
+
29
+ ## Training and evaluation data
30
+
31
+ More information needed
32
+
33
+ ## Training procedure
34
+
35
+ ### Training hyperparameters
36
+
37
+ The following hyperparameters were used during training:
38
+ - learning_rate: 0.0005
39
+ - train_batch_size: 8
40
+ - eval_batch_size: 8
41
+ - seed: 42
42
+ - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
43
+ - lr_scheduler_type: linear
44
+ - num_epochs: 5
45
+
46
+ ### Training results
47
+
48
+ | Training Loss | Epoch | Step | Validation Loss |
49
+ |:-------------:|:------:|:----:|:---------------:|
50
+ | No log | 0.0168 | 10 | 2.6777 |
51
+ | No log | 0.0337 | 20 | 2.625 |
52
+ | No log | 0.0505 | 30 | 2.5820 |
53
+ | No log | 0.0673 | 40 | 2.5566 |
54
+ | No log | 0.0842 | 50 | 2.5391 |
55
+ | No log | 0.1010 | 60 | 2.5020 |
56
+ | No log | 0.1178 | 70 | 2.4824 |
57
+ | No log | 0.1347 | 80 | 2.4609 |
58
+ | No log | 0.1515 | 90 | 2.4668 |
59
+ | 2.9267 | 0.1684 | 100 | 2.4453 |
60
+ | 2.9267 | 0.1852 | 110 | 2.4375 |
61
+ | 2.9267 | 0.2020 | 120 | 2.4199 |
62
+ | 2.9267 | 0.2189 | 130 | 2.4082 |
63
+ | 2.9267 | 0.2357 | 140 | 2.3984 |
64
+ | 2.9267 | 0.2525 | 150 | 2.3770 |
65
+ | 2.9267 | 0.2694 | 160 | 2.375 |
66
+ | 2.9267 | 0.2862 | 170 | 2.3574 |
67
+ | 2.9267 | 0.3030 | 180 | 2.3574 |
68
+ | 2.9267 | 0.3199 | 190 | 2.3398 |
69
+ | 2.7261 | 0.3367 | 200 | 2.3281 |
70
+ | 2.7261 | 0.3535 | 210 | 2.3125 |
71
+ | 2.7261 | 0.3704 | 220 | 2.3027 |
72
+ | 2.7261 | 0.3872 | 230 | 2.2930 |
73
+ | 2.7261 | 0.4040 | 240 | 2.2930 |
74
+ | 2.7261 | 0.4209 | 250 | 2.2676 |
75
+ | 2.7261 | 0.4377 | 260 | 2.2676 |
76
+ | 2.7261 | 0.4545 | 270 | 2.2578 |
77
+ | 2.7261 | 0.4714 | 280 | 2.2617 |
78
+ | 2.7261 | 0.4882 | 290 | 2.2539 |
79
+ | 2.6159 | 0.5051 | 300 | 2.2402 |
80
+ | 2.6159 | 0.5219 | 310 | 2.2344 |
81
+ | 2.6159 | 0.5387 | 320 | 2.2363 |
82
+ | 2.6159 | 0.5556 | 330 | 2.2266 |
83
+ | 2.6159 | 0.5724 | 340 | 2.2188 |
84
+ | 2.6159 | 0.5892 | 350 | 2.2266 |
85
+ | 2.6159 | 0.6061 | 360 | 2.2031 |
86
+ | 2.6159 | 0.6229 | 370 | 2.1953 |
87
+ | 2.6159 | 0.6397 | 380 | 2.1914 |
88
+ | 2.6159 | 0.6566 | 390 | 2.1855 |
89
+ | 2.5187 | 0.6734 | 400 | 2.1836 |
90
+ | 2.5187 | 0.6902 | 410 | 2.1836 |
91
+ | 2.5187 | 0.7071 | 420 | 2.1738 |
92
+ | 2.5187 | 0.7239 | 430 | 2.1738 |
93
+ | 2.5187 | 0.7407 | 440 | 2.1621 |
94
+ | 2.5187 | 0.7576 | 450 | 2.1621 |
95
+ | 2.5187 | 0.7744 | 460 | 2.1621 |
96
+ | 2.5187 | 0.7912 | 470 | 2.1445 |
97
+ | 2.5187 | 0.8081 | 480 | 2.1465 |
98
+ | 2.5187 | 0.8249 | 490 | 2.1367 |
99
+ | 2.4576 | 0.8418 | 500 | 2.1445 |
100
+ | 2.4576 | 0.8586 | 510 | 2.1484 |
101
+ | 2.4576 | 0.8754 | 520 | 2.1328 |
102
+ | 2.4576 | 0.8923 | 530 | 2.1348 |
103
+ | 2.4576 | 0.9091 | 540 | 2.1270 |
104
+ | 2.4576 | 0.9259 | 550 | 2.125 |
105
+ | 2.4576 | 0.9428 | 560 | 2.1172 |
106
+ | 2.4576 | 0.9596 | 570 | 2.1191 |
107
+ | 2.4576 | 0.9764 | 580 | 2.1152 |
108
+ | 2.4576 | 0.9933 | 590 | 2.1230 |
109
+ | 2.4285 | 1.0101 | 600 | 2.1113 |
110
+ | 2.4285 | 1.0269 | 610 | 2.1055 |
111
+ | 2.4285 | 1.0438 | 620 | 2.1152 |
112
+ | 2.4285 | 1.0606 | 630 | 2.1094 |
113
+ | 2.4285 | 1.0774 | 640 | 2.1016 |
114
+ | 2.4285 | 1.0943 | 650 | 2.0977 |
115
+ | 2.4285 | 1.1111 | 660 | 2.0918 |
116
+ | 2.4285 | 1.1279 | 670 | 2.0977 |
117
+ | 2.4285 | 1.1448 | 680 | 2.0996 |
118
+ | 2.4285 | 1.1616 | 690 | 2.1035 |
119
+ | 2.3754 | 1.1785 | 700 | 2.0957 |
120
+ | 2.3754 | 1.1953 | 710 | 2.0938 |
121
+ | 2.3754 | 1.2121 | 720 | 2.1035 |
122
+ | 2.3754 | 1.2290 | 730 | 2.0996 |
123
+ | 2.3754 | 1.2458 | 740 | 2.1016 |
124
+ | 2.3754 | 1.2626 | 750 | 2.0977 |
125
+ | 2.3754 | 1.2795 | 760 | 2.1113 |
126
+ | 2.3754 | 1.2963 | 770 | 2.1074 |
127
+ | 2.3754 | 1.3131 | 780 | 2.1172 |
128
+ | 2.3754 | 1.3300 | 790 | 2.1230 |
129
+ | 2.404 | 1.3468 | 800 | 2.1426 |
130
+ | 2.404 | 1.3636 | 810 | 2.1406 |
131
+ | 2.404 | 1.3805 | 820 | nan |
132
+ | 2.404 | 1.3973 | 830 | nan |
133
+ | 2.404 | 1.4141 | 840 | nan |
134
+ | 2.404 | 1.4310 | 850 | nan |
135
+ | 2.404 | 1.4478 | 860 | nan |
136
+ | 2.404 | 1.4646 | 870 | nan |
137
+ | 2.404 | 1.4815 | 880 | nan |
138
+ | 2.404 | 1.4983 | 890 | nan |
139
+ | 2.3092 | 1.5152 | 900 | nan |
140
+ | 2.3092 | 1.5320 | 910 | nan |
141
+ | 2.3092 | 1.5488 | 920 | nan |
142
+ | 2.3092 | 1.5657 | 930 | nan |
143
+ | 2.3092 | 1.5825 | 940 | nan |
144
+ | 2.3092 | 1.5993 | 950 | nan |
145
+ | 2.3092 | 1.6162 | 960 | nan |
146
+ | 2.3092 | 1.6330 | 970 | nan |
147
+ | 2.3092 | 1.6498 | 980 | nan |
148
+ | 2.3092 | 1.6667 | 990 | nan |
149
+ | 0.0 | 1.6835 | 1000 | nan |
150
+ | 0.0 | 1.7003 | 1010 | nan |
151
+ | 0.0 | 1.7172 | 1020 | nan |
152
+ | 0.0 | 1.7340 | 1030 | nan |
153
+ | 0.0 | 1.7508 | 1040 | nan |
154
+ | 0.0 | 1.7677 | 1050 | nan |
155
+ | 0.0 | 1.7845 | 1060 | nan |
156
+ | 0.0 | 1.8013 | 1070 | nan |
157
+ | 0.0 | 1.8182 | 1080 | nan |
158
+ | 0.0 | 1.8350 | 1090 | nan |
159
+ | 0.0 | 1.8519 | 1100 | nan |
160
+ | 0.0 | 1.8687 | 1110 | nan |
161
+ | 0.0 | 1.8855 | 1120 | nan |
162
+ | 0.0 | 1.9024 | 1130 | nan |
163
+ | 0.0 | 1.9192 | 1140 | nan |
164
+ | 0.0 | 1.9360 | 1150 | nan |
165
+ | 0.0 | 1.9529 | 1160 | nan |
166
+ | 0.0 | 1.9697 | 1170 | nan |
167
+ | 0.0 | 1.9865 | 1180 | nan |
168
+ | 0.0 | 2.0034 | 1190 | nan |
169
+ | 0.0 | 2.0202 | 1200 | nan |
170
+ | 0.0 | 2.0370 | 1210 | nan |
171
+ | 0.0 | 2.0539 | 1220 | nan |
172
+ | 0.0 | 2.0707 | 1230 | nan |
173
+ | 0.0 | 2.0875 | 1240 | nan |
174
+ | 0.0 | 2.1044 | 1250 | nan |
175
+ | 0.0 | 2.1212 | 1260 | nan |
176
+ | 0.0 | 2.1380 | 1270 | nan |
177
+ | 0.0 | 2.1549 | 1280 | nan |
178
+ | 0.0 | 2.1717 | 1290 | nan |
179
+ | 0.0 | 2.1886 | 1300 | nan |
180
+ | 0.0 | 2.2054 | 1310 | nan |
181
+ | 0.0 | 2.2222 | 1320 | nan |
182
+ | 0.0 | 2.2391 | 1330 | nan |
183
+ | 0.0 | 2.2559 | 1340 | nan |
184
+ | 0.0 | 2.2727 | 1350 | nan |
185
+ | 0.0 | 2.2896 | 1360 | nan |
186
+ | 0.0 | 2.3064 | 1370 | nan |
187
+ | 0.0 | 2.3232 | 1380 | nan |
188
+ | 0.0 | 2.3401 | 1390 | nan |
189
+ | 0.0 | 2.3569 | 1400 | nan |
190
+ | 0.0 | 2.3737 | 1410 | nan |
191
+ | 0.0 | 2.3906 | 1420 | nan |
192
+ | 0.0 | 2.4074 | 1430 | nan |
193
+ | 0.0 | 2.4242 | 1440 | nan |
194
+ | 0.0 | 2.4411 | 1450 | nan |
195
+ | 0.0 | 2.4579 | 1460 | nan |
196
+ | 0.0 | 2.4747 | 1470 | nan |
197
+ | 0.0 | 2.4916 | 1480 | nan |
198
+ | 0.0 | 2.5084 | 1490 | nan |
199
+ | 0.0 | 2.5253 | 1500 | nan |
200
+ | 0.0 | 2.5421 | 1510 | nan |
201
+ | 0.0 | 2.5589 | 1520 | nan |
202
+ | 0.0 | 2.5758 | 1530 | nan |
203
+ | 0.0 | 2.5926 | 1540 | nan |
204
+ | 0.0 | 2.6094 | 1550 | nan |
205
+ | 0.0 | 2.6263 | 1560 | nan |
206
+ | 0.0 | 2.6431 | 1570 | nan |
207
+ | 0.0 | 2.6599 | 1580 | nan |
208
+ | 0.0 | 2.6768 | 1590 | nan |
209
+ | 0.0 | 2.6936 | 1600 | nan |
210
+ | 0.0 | 2.7104 | 1610 | nan |
211
+ | 0.0 | 2.7273 | 1620 | nan |
212
+ | 0.0 | 2.7441 | 1630 | nan |
213
+ | 0.0 | 2.7609 | 1640 | nan |
214
+ | 0.0 | 2.7778 | 1650 | nan |
215
+ | 0.0 | 2.7946 | 1660 | nan |
216
+ | 0.0 | 2.8114 | 1670 | nan |
217
+ | 0.0 | 2.8283 | 1680 | nan |
218
+ | 0.0 | 2.8451 | 1690 | nan |
219
+ | 0.0 | 2.8620 | 1700 | nan |
220
+ | 0.0 | 2.8788 | 1710 | nan |
221
+ | 0.0 | 2.8956 | 1720 | nan |
222
+ | 0.0 | 2.9125 | 1730 | nan |
223
+ | 0.0 | 2.9293 | 1740 | nan |
224
+ | 0.0 | 2.9461 | 1750 | nan |
225
+ | 0.0 | 2.9630 | 1760 | nan |
226
+ | 0.0 | 2.9798 | 1770 | nan |
227
+ | 0.0 | 2.9966 | 1780 | nan |
228
+ | 0.0 | 3.0135 | 1790 | nan |
229
+ | 0.0 | 3.0303 | 1800 | nan |
230
+ | 0.0 | 3.0471 | 1810 | nan |
231
+ | 0.0 | 3.0640 | 1820 | nan |
232
+ | 0.0 | 3.0808 | 1830 | nan |
233
+ | 0.0 | 3.0976 | 1840 | nan |
234
+ | 0.0 | 3.1145 | 1850 | nan |
235
+ | 0.0 | 3.1313 | 1860 | nan |
236
+ | 0.0 | 3.1481 | 1870 | nan |
237
+ | 0.0 | 3.1650 | 1880 | nan |
238
+ | 0.0 | 3.1818 | 1890 | nan |
239
+ | 0.0 | 3.1987 | 1900 | nan |
240
+ | 0.0 | 3.2155 | 1910 | nan |
241
+ | 0.0 | 3.2323 | 1920 | nan |
242
+ | 0.0 | 3.2492 | 1930 | nan |
243
+ | 0.0 | 3.2660 | 1940 | nan |
244
+ | 0.0 | 3.2828 | 1950 | nan |
245
+ | 0.0 | 3.2997 | 1960 | nan |
246
+ | 0.0 | 3.3165 | 1970 | nan |
247
+ | 0.0 | 3.3333 | 1980 | nan |
248
+ | 0.0 | 3.3502 | 1990 | nan |
249
+ | 0.0 | 3.3670 | 2000 | nan |
250
+ | 0.0 | 3.3838 | 2010 | nan |
251
+ | 0.0 | 3.4007 | 2020 | nan |
252
+ | 0.0 | 3.4175 | 2030 | nan |
253
+ | 0.0 | 3.4343 | 2040 | nan |
254
+ | 0.0 | 3.4512 | 2050 | nan |
255
+ | 0.0 | 3.4680 | 2060 | nan |
256
+ | 0.0 | 3.4848 | 2070 | nan |
257
+ | 0.0 | 3.5017 | 2080 | nan |
258
+ | 0.0 | 3.5185 | 2090 | nan |
259
+ | 0.0 | 3.5354 | 2100 | nan |
260
+ | 0.0 | 3.5522 | 2110 | nan |
261
+ | 0.0 | 3.5690 | 2120 | nan |
262
+ | 0.0 | 3.5859 | 2130 | nan |
263
+ | 0.0 | 3.6027 | 2140 | nan |
264
+ | 0.0 | 3.6195 | 2150 | nan |
265
+ | 0.0 | 3.6364 | 2160 | nan |
266
+ | 0.0 | 3.6532 | 2170 | nan |
267
+ | 0.0 | 3.6700 | 2180 | nan |
268
+ | 0.0 | 3.6869 | 2190 | nan |
269
+ | 0.0 | 3.7037 | 2200 | nan |
270
+ | 0.0 | 3.7205 | 2210 | nan |
271
+ | 0.0 | 3.7374 | 2220 | nan |
272
+ | 0.0 | 3.7542 | 2230 | nan |
273
+ | 0.0 | 3.7710 | 2240 | nan |
274
+ | 0.0 | 3.7879 | 2250 | nan |
275
+ | 0.0 | 3.8047 | 2260 | nan |
276
+ | 0.0 | 3.8215 | 2270 | nan |
277
+ | 0.0 | 3.8384 | 2280 | nan |
278
+ | 0.0 | 3.8552 | 2290 | nan |
279
+ | 0.0 | 3.8721 | 2300 | nan |
280
+ | 0.0 | 3.8889 | 2310 | nan |
281
+ | 0.0 | 3.9057 | 2320 | nan |
282
+ | 0.0 | 3.9226 | 2330 | nan |
283
+ | 0.0 | 3.9394 | 2340 | nan |
284
+ | 0.0 | 3.9562 | 2350 | nan |
285
+ | 0.0 | 3.9731 | 2360 | nan |
286
+ | 0.0 | 3.9899 | 2370 | nan |
287
+ | 0.0 | 4.0067 | 2380 | nan |
288
+ | 0.0 | 4.0236 | 2390 | nan |
289
+ | 0.0 | 4.0404 | 2400 | nan |
290
+ | 0.0 | 4.0572 | 2410 | nan |
291
+ | 0.0 | 4.0741 | 2420 | nan |
292
+ | 0.0 | 4.0909 | 2430 | nan |
293
+ | 0.0 | 4.1077 | 2440 | nan |
294
+ | 0.0 | 4.1246 | 2450 | nan |
295
+ | 0.0 | 4.1414 | 2460 | nan |
296
+ | 0.0 | 4.1582 | 2470 | nan |
297
+ | 0.0 | 4.1751 | 2480 | nan |
298
+ | 0.0 | 4.1919 | 2490 | nan |
299
+ | 0.0 | 4.2088 | 2500 | nan |
300
+ | 0.0 | 4.2256 | 2510 | nan |
301
+ | 0.0 | 4.2424 | 2520 | nan |
302
+ | 0.0 | 4.2593 | 2530 | nan |
303
+ | 0.0 | 4.2761 | 2540 | nan |
304
+ | 0.0 | 4.2929 | 2550 | nan |
305
+ | 0.0 | 4.3098 | 2560 | nan |
306
+ | 0.0 | 4.3266 | 2570 | nan |
307
+ | 0.0 | 4.3434 | 2580 | nan |
308
+ | 0.0 | 4.3603 | 2590 | nan |
309
+ | 0.0 | 4.3771 | 2600 | nan |
310
+ | 0.0 | 4.3939 | 2610 | nan |
311
+ | 0.0 | 4.4108 | 2620 | nan |
312
+ | 0.0 | 4.4276 | 2630 | nan |
313
+ | 0.0 | 4.4444 | 2640 | nan |
314
+ | 0.0 | 4.4613 | 2650 | nan |
315
+ | 0.0 | 4.4781 | 2660 | nan |
316
+ | 0.0 | 4.4949 | 2670 | nan |
317
+ | 0.0 | 4.5118 | 2680 | nan |
318
+ | 0.0 | 4.5286 | 2690 | nan |
319
+ | 0.0 | 4.5455 | 2700 | nan |
320
+ | 0.0 | 4.5623 | 2710 | nan |
321
+ | 0.0 | 4.5791 | 2720 | nan |
322
+ | 0.0 | 4.5960 | 2730 | nan |
323
+ | 0.0 | 4.6128 | 2740 | nan |
324
+ | 0.0 | 4.6296 | 2750 | nan |
325
+ | 0.0 | 4.6465 | 2760 | nan |
326
+ | 0.0 | 4.6633 | 2770 | nan |
327
+ | 0.0 | 4.6801 | 2780 | nan |
328
+ | 0.0 | 4.6970 | 2790 | nan |
329
+ | 0.0 | 4.7138 | 2800 | nan |
330
+ | 0.0 | 4.7306 | 2810 | nan |
331
+ | 0.0 | 4.7475 | 2820 | nan |
332
+ | 0.0 | 4.7643 | 2830 | nan |
333
+ | 0.0 | 4.7811 | 2840 | nan |
334
+ | 0.0 | 4.7980 | 2850 | nan |
335
+ | 0.0 | 4.8148 | 2860 | nan |
336
+ | 0.0 | 4.8316 | 2870 | nan |
337
+ | 0.0 | 4.8485 | 2880 | nan |
338
+ | 0.0 | 4.8653 | 2890 | nan |
339
+ | 0.0 | 4.8822 | 2900 | nan |
340
+ | 0.0 | 4.8990 | 2910 | nan |
341
+ | 0.0 | 4.9158 | 2920 | nan |
342
+ | 0.0 | 4.9327 | 2930 | nan |
343
+ | 0.0 | 4.9495 | 2940 | nan |
344
+ | 0.0 | 4.9663 | 2950 | nan |
345
+ | 0.0 | 4.9832 | 2960 | nan |
346
+ | 0.0 | 5.0 | 2970 | nan |
347
+
348
+
349
+ ### Framework versions
350
+
351
+ - PEFT 0.12.0
352
+ - Transformers 4.43.2
353
+ - Pytorch 1.13.1+cu117
354
+ - Datasets 2.19.2
355
+ - Tokenizers 0.19.1
runs/Jul25_08-15-59_cmle-training-9936476774146952381/events.out.tfevents.1721895360.cmle-training-9936476774146952381 CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:edbe989ec640e7f29ba9f943a992961a67f0846a1722e9a521765cceece33c18
3
- size 75155
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c885306bb6bbdf55c47943ce12e50449ebf733a4c3cf9a1c5d875bf016bb6ba9
3
+ size 93306