Neph0s commited on
Commit
a2ec404
·
verified ·
1 Parent(s): ba8e164

Upload llama3p1_70b_megatron_mapping.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. llama3p1_70b_megatron_mapping.json +172 -0
llama3p1_70b_megatron_mapping.json ADDED
@@ -0,0 +1,172 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "0": {
3
+ "0": [
4
+ "input_embed",
5
+ 0
6
+ ],
7
+ "1": [
8
+ 7,
9
+ 8
10
+ ],
11
+ "2": [
12
+ 15,
13
+ 16
14
+ ],
15
+ "3": [
16
+ 23,
17
+ 24
18
+ ],
19
+ "4": [
20
+ 31,
21
+ 32
22
+ ],
23
+ "5": [
24
+ 39,
25
+ 40
26
+ ],
27
+ "6": [
28
+ 47,
29
+ 48
30
+ ],
31
+ "7": [
32
+ 55,
33
+ 56
34
+ ],
35
+ "8": [
36
+ 63,
37
+ 64
38
+ ],
39
+ "9": [
40
+ 71,
41
+ 72
42
+ ]
43
+ },
44
+ "1": {
45
+ "0": [
46
+ 1,
47
+ 2
48
+ ],
49
+ "1": [
50
+ 9,
51
+ 10
52
+ ],
53
+ "2": [
54
+ 17,
55
+ 18
56
+ ],
57
+ "3": [
58
+ 25,
59
+ 26
60
+ ],
61
+ "4": [
62
+ 33,
63
+ 34
64
+ ],
65
+ "5": [
66
+ 41,
67
+ 42
68
+ ],
69
+ "6": [
70
+ 49,
71
+ 50
72
+ ],
73
+ "7": [
74
+ 57,
75
+ 58
76
+ ],
77
+ "8": [
78
+ 65,
79
+ 66
80
+ ],
81
+ "9": [
82
+ 73,
83
+ 74
84
+ ]
85
+ },
86
+ "2": {
87
+ "0": [
88
+ 3,
89
+ 4
90
+ ],
91
+ "1": [
92
+ 11,
93
+ 12
94
+ ],
95
+ "2": [
96
+ 19,
97
+ 20
98
+ ],
99
+ "3": [
100
+ 27,
101
+ 28
102
+ ],
103
+ "4": [
104
+ 35,
105
+ 36
106
+ ],
107
+ "5": [
108
+ 43,
109
+ 44
110
+ ],
111
+ "6": [
112
+ 51,
113
+ 52
114
+ ],
115
+ "7": [
116
+ 59,
117
+ 60
118
+ ],
119
+ "8": [
120
+ 67,
121
+ 68
122
+ ],
123
+ "9": [
124
+ 75,
125
+ 76
126
+ ]
127
+ },
128
+ "3": {
129
+ "0": [
130
+ 5,
131
+ 6
132
+ ],
133
+ "1": [
134
+ 13,
135
+ 14
136
+ ],
137
+ "2": [
138
+ 21,
139
+ 22
140
+ ],
141
+ "3": [
142
+ 29,
143
+ 30
144
+ ],
145
+ "4": [
146
+ 37,
147
+ 38
148
+ ],
149
+ "5": [
150
+ 45,
151
+ 46
152
+ ],
153
+ "6": [
154
+ 53,
155
+ 54
156
+ ],
157
+ "7": [
158
+ 61,
159
+ 62
160
+ ],
161
+ "8": [
162
+ 69,
163
+ 70
164
+ ],
165
+ "9": [
166
+ 77,
167
+ 78,
168
+ 79,
169
+ "output_embed"
170
+ ]
171
+ }
172
+ }