1
1
9
1
1
768
1
1
3072
1
1
768
1
1
768
1
1
768
1
1
3072
1
1
768
1
1
768
1
1
768
1
1
3072
1
1
768
1
1
768
1
1
768
1
1
3072
1
1
768
1
1
768
1
1
768
1
1
3072
1
1
768
1
1
768
1
1
768
1
1
3072
1
1
768
1
1
768
1
1
768
1
1
3072
1
1
768
1
1
768
1
1
768
1
1
3072
1
1
768
1
1
768
1
1
768
1
1
3072
1
1
768
1
1
768
1
1
768
1
1
3072
1
1
768
1
1
768
1
1
768
1
1
3072
1
1
768
1
1
768
1
1
768
1
1
3072
1
1
768
1
1
768
28996
768
28996
768
-1
-1
2
768
2
768
-1
-1
-1
-1
768
-1
-1
768
512
768
-1
-1
2
1
2
1
1
1
1
512
2
2
2
512
768
1
-1
-1
-1
768
1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
1
1
-1
12
64
-1
1
1
1
1
-1
12
-1
64
-1
12
64
-1
1
1
1
1
-1
-1
1
-1
1
-1
1
-1
1
1
-1
1
1
1
1
-1
1
1
-1
-1
1
1
-1
1
1
1
1
-1
12
-1
-1
-1
1
1
-1
-1
12
-1
-1
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
-1
-1
12
-1
64
-1
12
-1
64
4
-1
-1
12
64
3
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
3072
768
-1
-1
768
3072
768
1
1
3072
-1
-1
3072
-1
-1
3072
768
3072
-1
-1
3072
768
3072
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
1
1
-1
12
64
-1
1
1
1
1
-1
12
-1
64
-1
12
64
-1
-1
12
-1
-1
-1
1
1
-1
-1
12
-1
-1
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
-1
-1
12
-1
64
-1
12
-1
64
4
-1
-1
12
64
3
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
3072
768
-1
-1
768
3072
768
1
1
3072
-1
-1
3072
-1
-1
3072
768
3072
-1
-1
3072
768
3072
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
1
1
-1
12
64
-1
1
1
1
1
-1
12
-1
64
-1
12
64
-1
-1
12
-1
-1
-1
1
1
-1
-1
12
-1
-1
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
-1
-1
12
-1
64
-1
12
-1
64
4
-1
-1
12
64
3
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
3072
768
-1
-1
768
3072
768
1
1
3072
-1
-1
3072
-1
-1
3072
768
3072
-1
-1
3072
768
3072
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
1
1
-1
12
64
-1
1
1
1
1
-1
12
-1
64
-1
12
64
-1
-1
12
-1
-1
-1
1
1
-1
-1
12
-1
-1
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
-1
-1
12
-1
64
-1
12
-1
64
4
-1
-1
12
64
3
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
3072
768
-1
-1
768
3072
768
1
1
3072
-1
-1
3072
-1
-1
3072
768
3072
-1
-1
3072
768
3072
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
1
1
-1
12
64
-1
1
1
1
1
-1
12
-1
64
-1
12
64
-1
-1
12
-1
-1
-1
1
1
-1
-1
12
-1
-1
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
-1
-1
12
-1
64
-1
12
-1
64
4
-1
-1
12
64
3
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
3072
768
-1
-1
768
3072
768
1
1
3072
-1
-1
3072
-1
-1
3072
768
3072
-1
-1
3072
768
3072
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
1
1
-1
12
64
-1
1
1
1
1
-1
12
-1
64
-1
12
64
-1
-1
12
-1
-1
-1
1
1
-1
-1
12
-1
-1
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
-1
-1
12
-1
64
-1
12
-1
64
4
-1
-1
12
64
3
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
3072
768
-1
-1
768
3072
768
1
1
3072
-1
-1
3072
-1
-1
3072
768
3072
-1
-1
3072
768
3072
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
1
1
-1
12
64
-1
1
1
1
1
-1
12
-1
64
-1
12
64
-1
-1
12
-1
-1
-1
1
1
-1
-1
12
-1
-1
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
-1
-1
12
-1
64
-1
12
-1
64
4
-1
-1
12
64
3
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
3072
768
-1
-1
768
3072
768
1
1
3072
-1
-1
3072
-1
-1
3072
768
3072
-1
-1
3072
768
3072
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
1
1
-1
12
64
-1
1
1
1
1
-1
12
-1
64
-1
12
64
-1
-1
12
-1
-1
-1
1
1
-1
-1
12
-1
-1
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
-1
-1
12
-1
64
-1
12
-1
64
4
-1
-1
12
64
3
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
3072
768
-1
-1
768
3072
768
1
1
3072
-1
-1
3072
-1
-1
3072
768
3072
-1
-1
3072
768
3072
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
1
1
-1
12
64
-1
1
1
1
1
-1
12
-1
64
-1
12
64
-1
-1
12
-1
-1
-1
1
1
-1
-1
12
-1
-1
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
-1
-1
12
-1
64
-1
12
-1
64
4
-1
-1
12
64
3
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
3072
768
-1
-1
768
3072
768
1
1
3072
-1
-1
3072
-1
-1
3072
768
3072
-1
-1
3072
768
3072
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
1
1
-1
12
64
-1
1
1
1
1
-1
12
-1
64
-1
12
64
-1
-1
12
-1
-1
-1
1
1
-1
-1
12
-1
-1
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
-1
-1
12
-1
64
-1
12
-1
64
4
-1
-1
12
64
3
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
3072
768
-1
-1
768
3072
768
1
1
3072
-1
-1
3072
-1
-1
3072
768
3072
-1
-1
3072
768
3072
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
1
1
-1
12
64
-1
1
1
1
1
-1
12
-1
64
-1
12
64
-1
-1
12
-1
-1
-1
1
1
-1
-1
12
-1
-1
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
-1
-1
12
-1
64
-1
12
-1
64
4
-1
-1
12
64
3
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
3072
768
-1
-1
768
3072
768
1
1
3072
-1
-1
3072
-1
-1
3072
768
3072
-1
-1
3072
768
3072
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
1
1
1
1
-1
12
64
-1
1
1
1
1
-1
12
-1
64
-1
12
64
-1
-1
12
-1
-1
-1
1
1
-1
-1
12
-1
-1
1
1
768
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
-1
-1
12
-1
64
-1
12
-1
64
4
-1
-1
12
64
3
768
768
-1
-1
768
768
768
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
3072
768
-1
-1
768
3072
768
1
1
3072
-1
-1
3072
-1
-1
3072
768
3072
-1
-1
3072
768
3072
1
1
768
-1
-1
768
-1
-1
768
-1
-1
768
-1
-1
768
1
1
1
768
-1
-1
768
1
1
768
1
1
768
-1
-1
768
1
1
768
9
768
-1
-1
768
9
768
1
1
9
-1
-1
9
-1
-1
9