sft-llava-1.5-7b-hf

This model is a fine-tuned version of llava-hf/llava-1.5-7b-hf on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 2.2066
• Bleu: 0.1022
• Rouge1: 0.4068
• Rouge2: 0.1449
• Rougel: 0.3039
• F1: 0.1633

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 1
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• training_steps: 128

Training results

Training Loss	Epoch	Step	Validation Loss	Bleu	Rouge1	Rouge2	Rougel	F1
2.4895	0.0078	1	2.8980	0.0341	0.2763	0.0784	0.1926	0.0606
2.7403	0.0156	2	2.8865	0.0350	0.2778	0.0797	0.1928	0.0621
2.5288	0.0234	3	2.8686	0.0346	0.2783	0.0798	0.1936	0.0615
2.7888	0.0312	4	2.8437	0.0359	0.2787	0.0814	0.1946	0.0636
2.6592	0.0391	5	2.8111	0.0372	0.2799	0.0820	0.1971	0.0657
2.682	0.0469	6	2.7774	0.0374	0.2840	0.0835	0.1998	0.0661
2.7822	0.0547	7	2.7344	0.0410	0.2863	0.0863	0.2037	0.0717
2.6998	0.0625	8	2.6884	0.0425	0.2884	0.0899	0.2054	0.0741
2.332	0.0703	9	2.6515	0.0466	0.2929	0.0936	0.2109	0.0804
2.6385	0.0781	10	2.6203	0.0478	0.2953	0.0960	0.2118	0.0822
2.8734	0.0859	11	2.5952	0.0496	0.2994	0.0963	0.2134	0.0850
2.5088	0.0938	12	2.5700	0.0542	0.3012	0.1018	0.2173	0.0919
2.7795	0.1016	13	2.5459	0.0571	0.3050	0.1054	0.2213	0.0961
2.4867	0.1094	14	2.5214	0.0585	0.3083	0.1072	0.2229	0.0984
2.1623	0.1172	15	2.5031	0.0591	0.3085	0.1079	0.2240	0.0992
2.1557	0.125	16	2.4844	0.0592	0.3127	0.1089	0.2257	0.0995
2.0768	0.1328	17	2.4667	0.0599	0.3129	0.1094	0.2265	0.1006
2.2171	0.1406	18	2.4522	0.0604	0.3170	0.1107	0.2282	0.1015
2.2241	0.1484	19	2.4378	0.0616	0.3196	0.1130	0.2319	0.1032
2.3845	0.1562	20	2.4224	0.0623	0.3258	0.1144	0.2339	0.1046
2.0968	0.1641	21	2.4077	0.0629	0.3294	0.1154	0.2363	0.1056
2.1321	0.1719	22	2.3935	0.0635	0.3332	0.1169	0.2411	0.1067
2.0084	0.1797	23	2.3798	0.0652	0.3397	0.1212	0.2453	0.1094
2.0457	0.1875	24	2.3698	0.0660	0.3423	0.1219	0.2492	0.1107
2.0829	0.1953	25	2.3562	0.0672	0.3466	0.1221	0.2504	0.1125
2.1274	0.2031	26	2.3441	0.0678	0.3510	0.1233	0.2522	0.1137
2.5369	0.2109	27	2.3315	0.0689	0.3558	0.1245	0.2556	0.1155
2.3216	0.2188	28	2.3180	0.0739	0.3621	0.1289	0.2632	0.1228
2.2894	0.2266	29	2.3073	0.0764	0.3671	0.1312	0.2672	0.1265
2.3701	0.2344	30	2.2968	0.0797	0.3755	0.1337	0.2717	0.1314
1.9144	0.2422	31	2.2904	0.0821	0.3764	0.1362	0.2748	0.1348
2.1149	0.25	32	2.2838	0.0840	0.3804	0.1362	0.2776	0.1376
1.7937	0.2578	33	2.2795	0.0859	0.3851	0.1386	0.2833	0.1405
1.6068	0.2656	34	2.2743	0.0869	0.3899	0.1390	0.2856	0.1421
1.9267	0.2734	35	2.2709	0.0884	0.3940	0.1404	0.2889	0.1444
2.0678	0.2812	36	2.2670	0.0905	0.3970	0.1418	0.2918	0.1474
1.9654	0.2891	37	2.2626	0.0936	0.4022	0.1449	0.2977	0.1519
2.1679	0.2969	38	2.2597	0.0952	0.4076	0.1467	0.2992	0.1543
2.5372	0.3047	39	2.2561	0.0972	0.4119	0.1491	0.3031	0.1573
2.1875	0.3125	40	2.2524	0.0952	0.4031	0.1461	0.2962	0.1540
2.492	0.3203	41	2.2500	0.1009	0.4168	0.1517	0.3082	0.1624
1.9496	0.3281	42	2.2467	0.1026	0.4203	0.1521	0.3104	0.1650
1.9127	0.3359	43	2.2447	0.1047	0.4221	0.1535	0.3125	0.1678
2.2491	0.3438	44	2.2422	0.1042	0.4228	0.1528	0.3139	0.1672
2.1814	0.3516	45	2.2413	0.1067	0.4251	0.1548	0.3150	0.1706
1.7902	0.3594	46	2.2395	0.1075	0.4268	0.1536	0.3166	0.1718
1.982	0.3672	47	2.2390	0.1083	0.4249	0.1542	0.3158	0.1727
1.9774	0.375	48	2.2373	0.1092	0.4310	0.1572	0.3209	0.1743
1.8207	0.3828	49	2.2377	0.1092	0.4299	0.1569	0.3214	0.1742
2.2484	0.3906	50	2.2361	0.1102	0.4298	0.1560	0.3184	0.1754
2.2954	0.3984	51	2.2352	0.1098	0.4328	0.1550	0.3201	0.1752
2.1899	0.4062	52	2.2344	0.1115	0.4330	0.1584	0.3215	0.1773
2.1295	0.4141	53	2.2338	0.1120	0.4351	0.1588	0.3233	0.1782
2.1473	0.4219	54	2.2323	0.1120	0.4365	0.1580	0.3254	0.1783
1.9628	0.4297	55	2.2315	0.1130	0.4357	0.1581	0.3260	0.1795
2.0926	0.4375	56	2.2315	0.1143	0.4378	0.1592	0.3261	0.1812
1.9722	0.4453	57	2.2301	0.1140	0.4366	0.1583	0.3250	0.1808
2.5585	0.4531	58	2.2298	0.1140	0.4377	0.1579	0.3270	0.1809
1.8927	0.4609	59	2.2297	0.1145	0.4388	0.1587	0.3266	0.1816
1.8164	0.4688	60	2.2289	0.1140	0.4376	0.1570	0.3267	0.1808
2.1107	0.4766	61	2.2279	0.1139	0.4367	0.1570	0.3276	0.1807
1.827	0.4844	62	2.2265	0.1157	0.4388	0.1578	0.3275	0.1831
2.0554	0.4922	63	2.2269	0.1162	0.4359	0.1577	0.3251	0.1835
2.2363	0.5	64	2.2254	0.1167	0.4397	0.1587	0.3287	0.1845
2.1859	0.5078	65	2.2258	0.1160	0.4395	0.1562	0.3275	0.1836
2.0456	0.5156	66	2.2248	0.1162	0.4374	0.1580	0.3270	0.1836
2.085	0.5234	67	2.2250	0.1164	0.4400	0.1583	0.3279	0.1841
1.9723	0.5312	68	2.2243	0.1152	0.4374	0.1567	0.3241	0.1824
2.3812	0.5391	69	2.2233	0.1161	0.4379	0.1589	0.3265	0.1836
1.8786	0.5469	70	2.2236	0.1101	0.4252	0.1526	0.3184	0.1749
2.5123	0.5547	71	2.2225	0.1110	0.4260	0.1536	0.3187	0.1761
1.8613	0.5625	72	2.2231	0.1169	0.4391	0.1591	0.3283	0.1846
2.1822	0.5703	73	2.2221	0.1094	0.4246	0.1524	0.3175	0.1739
1.6759	0.5781	74	2.2215	0.1174	0.4404	0.1605	0.3296	0.1854
1.7215	0.5859	75	2.2216	0.1175	0.4444	0.1589	0.3291	0.1859
2.415	0.5938	76	2.2212	0.1127	0.4323	0.1554	0.3224	0.1787
2.366	0.6016	77	2.2210	0.1173	0.4470	0.1598	0.3316	0.1859
2.1624	0.6094	78	2.2200	0.1123	0.4322	0.1553	0.3227	0.1783
2.422	0.6172	79	2.2204	0.1117	0.4316	0.1547	0.3216	0.1775
1.5925	0.625	80	2.2198	0.1190	0.4465	0.1602	0.3330	0.1879
2.0679	0.6328	81	2.2199	0.1119	0.4329	0.1555	0.3224	0.1779
2.0866	0.6406	82	2.2184	0.1189	0.4467	0.1615	0.3326	0.1878
2.3189	0.6484	83	2.2199	0.1180	0.4458	0.1604	0.3324	0.1866
2.0302	0.6562	84	2.2192	0.1184	0.4460	0.1602	0.3320	0.1871
1.7403	0.6641	85	2.2189	0.1181	0.4455	0.1609	0.3323	0.1867
2.1954	0.6719	86	2.2187	0.1199	0.4440	0.1613	0.3315	0.1889
1.997	0.6797	87	2.2199	0.1183	0.4418	0.1588	0.3311	0.1867
2.4519	0.6875	88	2.2186	0.1120	0.4320	0.1553	0.3228	0.1779
2.2017	0.6953	89	2.2179	0.1072	0.4179	0.1513	0.3122	0.1706
2.1003	0.7031	90	2.2180	0.1122	0.4324	0.1541	0.3224	0.1782
1.7368	0.7109	91	2.2168	0.1123	0.4303	0.1541	0.3215	0.1781
1.8353	0.7188	92	2.2168	0.1122	0.4287	0.1543	0.3207	0.1778
2.1268	0.7266	93	2.2160	0.1199	0.4436	0.1622	0.3333	0.1887
1.9001	0.7344	94	2.2151	0.1074	0.4164	0.1523	0.3126	0.1707
1.8191	0.7422	95	2.2145	0.1064	0.4165	0.1495	0.3112	0.1695
2.1177	0.75	96	2.2136	0.1064	0.4163	0.1498	0.3114	0.1694
2.001	0.7578	97	2.2130	0.1069	0.4186	0.1508	0.3128	0.1703
1.954	0.7656	98	2.2137	0.1120	0.4318	0.1534	0.3235	0.1778
2.4814	0.7734	99	2.2128	0.1067	0.4178	0.1500	0.3115	0.1699
1.6829	0.7812	100	2.2121	0.1077	0.4171	0.1528	0.3123	0.1712
2.1517	0.7891	101	2.2124	0.1077	0.4174	0.1529	0.3125	0.1713
2.1862	0.7969	102	2.2117	0.1072	0.4171	0.1513	0.3119	0.1706
2.0831	0.8047	103	2.2109	0.1023	0.4048	0.1442	0.3027	0.1634
1.8499	0.8125	104	2.2098	0.1069	0.4172	0.1511	0.3142	0.1702
2.2972	0.8203	105	2.2105	0.1080	0.4189	0.1524	0.3148	0.1718
1.7076	0.8281	106	2.2099	0.1072	0.4171	0.1504	0.3113	0.1705
2.1683	0.8359	107	2.2090	0.1019	0.4036	0.1454	0.3018	0.1627
1.7442	0.8438	108	2.2085	0.1071	0.4201	0.1516	0.3133	0.1707
1.4781	0.8516	109	2.2078	0.1028	0.4033	0.1466	0.3030	0.1639
2.2545	0.8594	110	2.2093	0.1034	0.4047	0.1467	0.3018	0.1647
2.1487	0.8672	111	2.2077	0.1027	0.4050	0.1466	0.3023	0.1638
2.4301	0.875	112	2.2083	0.1025	0.4052	0.1462	0.3055	0.1636
1.7237	0.8828	113	2.2082	0.1028	0.4045	0.1469	0.3021	0.1639
2.198	0.8906	114	2.2083	0.1038	0.4066	0.1474	0.3051	0.1654
2.2638	0.8984	115	2.2083	0.1026	0.4037	0.1455	0.3032	0.1636
1.7335	0.9062	116	2.2073	0.1028	0.4040	0.1443	0.3028	0.1639
2.2235	0.9141	117	2.2074	0.1076	0.4170	0.1519	0.3116	0.1711
2.0328	0.9219	118	2.2073	0.1028	0.4043	0.1465	0.3032	0.1639
1.7564	0.9297	119	2.2066	0.1086	0.4184	0.1542	0.3144	0.1725
1.9033	0.9375	120	2.2071	0.1034	0.4042	0.1463	0.3034	0.1647
2.2383	0.9453	121	2.2072	0.1076	0.4170	0.1533	0.3131	0.1711
1.9066	0.9531	122	2.2069	0.1123	0.4314	0.1556	0.3233	0.1782
2.0935	0.9609	123	2.2071	0.1031	0.4047	0.1466	0.3018	0.1643
1.9301	0.9688	124	2.2067	0.1034	0.4047	0.1463	0.3043	0.1647
1.8388	0.9766	125	2.2064	0.1025	0.4038	0.1462	0.3029	0.1634
1.93	0.9844	126	2.2073	0.1079	0.4209	0.1510	0.3150	0.1718
1.669	0.9922	127	2.2074	0.1029	0.4055	0.1459	0.3033	0.1642
1.9271	1.0	128	2.2066	0.1022	0.4068	0.1449	0.3039	0.1633

Framework versions

• PEFT 0.12.0
• Transformers 4.44.2
• Pytorch 2.4.0+cu121
• Datasets 3.0.0
• Tokenizers 0.19.1