Hugging Face's logo

Octapod
/
act_aloha_kubeba_extend_hundred_new

Safetensors
Model card Files Community
Octapod commited on
Commit
0afc3de
·
verified ·
1 Parent(s): 8839cea

Upload folder using huggingface_hub

Browse files
Files changed (14) hide show
  1. checkpoints/last/pretrained_model/.hydra/config.yaml +147 -0
  2. checkpoints/last/pretrained_model/.hydra/hydra.yaml +163 -0
  3. checkpoints/last/pretrained_model/.hydra/overrides.yaml +5 -0
  4. checkpoints/last/pretrained_model/act_aloha_kubeba_extend_hundred_new.log +0 -0
  5. checkpoints/last/pretrained_model/checkpoints/050000/pretrained_model/README.md +12 -0
  6. checkpoints/last/pretrained_model/checkpoints/050000/pretrained_model/config.json +55 -0
  7. checkpoints/last/pretrained_model/checkpoints/050000/pretrained_model/config.yaml +247 -0
  8. checkpoints/last/pretrained_model/checkpoints/050000/pretrained_model/model.safetensors +3 -0
  9. checkpoints/last/pretrained_model/checkpoints/050000/training_state.pth +3 -0
  10. checkpoints/last/pretrained_model/checkpoints/100000/pretrained_model/README.md +12 -0
  11. checkpoints/last/pretrained_model/checkpoints/100000/pretrained_model/config.json +55 -0
  12. checkpoints/last/pretrained_model/checkpoints/100000/pretrained_model/config.yaml +247 -0
  13. checkpoints/last/pretrained_model/checkpoints/100000/pretrained_model/model.safetensors +3 -0
  14. checkpoints/last/pretrained_model/checkpoints/100000/training_state.pth +3 -0
checkpoints/last/pretrained_model/.hydra/config.yaml ADDED
@@ -0,0 +1,147 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ resume: false
2
+ device: cuda
3
+ use_amp: false
4
+ seed: 1000
5
+ dataset_repo_id: Octapod/aloha_kubeba_extend_hundred_new
6
+ video_backend: pyav
7
+ training:
8
+ offline_steps: 100000
9
+ num_workers: 4
10
+ batch_size: 8
11
+ eval_freq: -1
12
+ log_freq: 100
13
+ save_checkpoint: true
14
+ save_freq: 50000
15
+ online_steps: 0
16
+ online_rollout_n_episodes: 1
17
+ online_rollout_batch_size: 1
18
+ online_steps_between_rollouts: 1
19
+ online_sampling_ratio: 0.5
20
+ online_env_seed: null
21
+ online_buffer_capacity: null
22
+ online_buffer_seed_size: 0
23
+ do_online_rollout_async: false
24
+ image_transforms:
25
+ enable: false
26
+ max_num_transforms: 3
27
+ random_order: false
28
+ brightness:
29
+ weight: 1
30
+ min_max:
31
+ - 0.8
32
+ - 1.2
33
+ contrast:
34
+ weight: 1
35
+ min_max:
36
+ - 0.8
37
+ - 1.2
38
+ saturation:
39
+ weight: 1
40
+ min_max:
41
+ - 0.5
42
+ - 1.5
43
+ hue:
44
+ weight: 1
45
+ min_max:
46
+ - -0.05
47
+ - 0.05
48
+ sharpness:
49
+ weight: 1
50
+ min_max:
51
+ - 0.8
52
+ - 1.2
53
+ lr: 1.0e-05
54
+ lr_backbone: 0.0001
55
+ weight_decay: 0.0001
56
+ grad_clip_norm: 10
57
+ delta_timestamps:
58
+ action: '[i / ${fps} for i in range(${policy.chunk_size})]'
59
+ eval:
60
+ n_episodes: 50
61
+ batch_size: 50
62
+ use_async_envs: false
63
+ wandb:
64
+ enable: false
65
+ disable_artifact: false
66
+ project: lerobot
67
+ notes: ''
68
+ fps: 30
69
+ env:
70
+ name: real_world
71
+ task: null
72
+ state_dim: 18
73
+ action_dim: 18
74
+ fps: ${fps}
75
+ override_dataset_stats:
76
+ observation.images.cam_right_wrist:
77
+ mean:
78
+ - - - 0.485
79
+ - - - 0.456
80
+ - - - 0.406
81
+ std:
82
+ - - - 0.229
83
+ - - - 0.224
84
+ - - - 0.225
85
+ observation.images.cam_left_wrist:
86
+ mean:
87
+ - - - 0.485
88
+ - - - 0.456
89
+ - - - 0.406
90
+ std:
91
+ - - - 0.229
92
+ - - - 0.224
93
+ - - - 0.225
94
+ observation.images.cam_high:
95
+ mean:
96
+ - - - 0.485
97
+ - - - 0.456
98
+ - - - 0.406
99
+ std:
100
+ - - - 0.229
101
+ - - - 0.224
102
+ - - - 0.225
103
+ policy:
104
+ name: act
105
+ n_obs_steps: 1
106
+ chunk_size: 100
107
+ n_action_steps: 100
108
+ input_shapes:
109
+ observation.images.cam_right_wrist:
110
+ - 3
111
+ - 480
112
+ - 640
113
+ observation.images.cam_left_wrist:
114
+ - 3
115
+ - 480
116
+ - 640
117
+ observation.images.cam_high:
118
+ - 3
119
+ - 480
120
+ - 640
121
+ observation.state:
122
+ - ${env.state_dim}
123
+ output_shapes:
124
+ action:
125
+ - ${env.action_dim}
126
+ input_normalization_modes:
127
+ observation.images.cam_right_wrist: mean_std
128
+ observation.images.cam_left_wrist: mean_std
129
+ observation.images.cam_high: mean_std
130
+ observation.state: mean_std
131
+ output_normalization_modes:
132
+ action: mean_std
133
+ vision_backbone: resnet18
134
+ pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1
135
+ replace_final_stride_with_dilation: false
136
+ pre_norm: false
137
+ dim_model: 512
138
+ n_heads: 8
139
+ dim_feedforward: 3200
140
+ feedforward_activation: relu
141
+ n_encoder_layers: 4
142
+ n_decoder_layers: 1
143
+ use_vae: true
144
+ latent_dim: 32
145
+ n_vae_encoder_layers: 4
146
+ dropout: 0.1
147
+ kl_weight: 10.0
checkpoints/last/pretrained_model/.hydra/hydra.yaml ADDED
@@ -0,0 +1,163 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ hydra:
2
+ run:
3
+ dir: outputs/train/act_aloha_kubeba_extend_hundred_new
4
+ sweep:
5
+ dir: multirun/${now:%Y-%m-%d}/${now:%H-%M-%S}
6
+ subdir: ${hydra.job.num}
7
+ launcher:
8
+ _target_: hydra._internal.core_plugins.basic_launcher.BasicLauncher
9
+ sweeper:
10
+ _target_: hydra._internal.core_plugins.basic_sweeper.BasicSweeper
11
+ max_batch_size: null
12
+ params: null
13
+ help:
14
+ app_name: ${hydra.job.name}
15
+ header: '${hydra.help.app_name} is powered by Hydra.
16
+
17
+ '
18
+ footer: 'Powered by Hydra (https://hydra.cc)
19
+
20
+ Use --hydra-help to view Hydra specific help
21
+
22
+ '
23
+ template: '${hydra.help.header}
24
+
25
+ == Configuration groups ==
26
+
27
+ Compose your configuration from those groups (group=option)
28
+
29
+
30
+ $APP_CONFIG_GROUPS
31
+
32
+
33
+ == Config ==
34
+
35
+ Override anything in the config (foo.bar=value)
36
+
37
+
38
+ $CONFIG
39
+
40
+
41
+ ${hydra.help.footer}
42
+
43
+ '
44
+ hydra_help:
45
+ template: 'Hydra (${hydra.runtime.version})
46
+
47
+ See https://hydra.cc for more info.
48
+
49
+
50
+ == Flags ==
51
+
52
+ $FLAGS_HELP
53
+
54
+
55
+ == Configuration groups ==
56
+
57
+ Compose your configuration from those groups (For example, append hydra/job_logging=disabled
58
+ to command line)
59
+
60
+
61
+ $HYDRA_CONFIG_GROUPS
62
+
63
+
64
+ Use ''--cfg hydra'' to Show the Hydra config.
65
+
66
+ '
67
+ hydra_help: ???
68
+ hydra_logging:
69
+ version: 1
70
+ formatters:
71
+ simple:
72
+ format: '[%(asctime)s][HYDRA] %(message)s'
73
+ handlers:
74
+ console:
75
+ class: logging.StreamHandler
76
+ formatter: simple
77
+ stream: ext://sys.stdout
78
+ root:
79
+ level: INFO
80
+ handlers:
81
+ - console
82
+ loggers:
83
+ logging_example:
84
+ level: DEBUG
85
+ disable_existing_loggers: false
86
+ job_logging:
87
+ version: 1
88
+ formatters:
89
+ simple:
90
+ format: '[%(asctime)s][%(name)s][%(levelname)s] - %(message)s'
91
+ handlers:
92
+ console:
93
+ class: logging.StreamHandler
94
+ formatter: simple
95
+ stream: ext://sys.stdout
96
+ file:
97
+ class: logging.FileHandler
98
+ formatter: simple
99
+ filename: ${hydra.runtime.output_dir}/${hydra.job.name}.log
100
+ root:
101
+ level: INFO
102
+ handlers:
103
+ - console
104
+ - file
105
+ disable_existing_loggers: false
106
+ env: {}
107
+ mode: RUN
108
+ searchpath: []
109
+ callbacks: {}
110
+ output_subdir: .hydra
111
+ overrides:
112
+ hydra:
113
+ - hydra.run.dir=outputs/train/act_aloha_kubeba_extend_hundred_new
114
+ - hydra.job.name=act_aloha_kubeba_extend_hundred_new
115
+ - hydra.mode=RUN
116
+ task:
117
+ - dataset_repo_id=Octapod/aloha_kubeba_extend_hundred_new
118
+ - policy=act_aloha_real
119
+ - env=aloha_real
120
+ - device=cuda
121
+ - wandb.enable=false
122
+ job:
123
+ name: act_aloha_kubeba_extend_hundred_new
124
+ chdir: null
125
+ override_dirname: dataset_repo_id=Octapod/aloha_kubeba_extend_hundred_new,device=cuda,env=aloha_real,policy=act_aloha_real,wandb.enable=false
126
+ id: ???
127
+ num: ???
128
+ config_name: default
129
+ env_set: {}
130
+ env_copy: []
131
+ config:
132
+ override_dirname:
133
+ kv_sep: '='
134
+ item_sep: ','
135
+ exclude_keys: []
136
+ runtime:
137
+ version: 1.3.2
138
+ version_base: '1.2'
139
+ cwd: /home/aloha/lerobot
140
+ config_sources:
141
+ - path: hydra.conf
142
+ schema: pkg
143
+ provider: hydra
144
+ - path: /home/aloha/lerobot/lerobot/configs
145
+ schema: file
146
+ provider: main
147
+ - path: ''
148
+ schema: structured
149
+ provider: schema
150
+ output_dir: /home/aloha/lerobot/outputs/train/act_aloha_kubeba_extend_hundred_new
151
+ choices:
152
+ policy: act_aloha_real
153
+ env: aloha_real
154
+ hydra/env: default
155
+ hydra/callbacks: null
156
+ hydra/job_logging: default
157
+ hydra/hydra_logging: default
158
+ hydra/hydra_help: default
159
+ hydra/help: default
160
+ hydra/sweeper: basic
161
+ hydra/launcher: basic
162
+ hydra/output: default
163
+ verbose: false
checkpoints/last/pretrained_model/.hydra/overrides.yaml ADDED
@@ -0,0 +1,5 @@
 
 
 
 
 
 
1
+ - dataset_repo_id=Octapod/aloha_kubeba_extend_hundred_new
2
+ - policy=act_aloha_real
3
+ - env=aloha_real
4
+ - device=cuda
5
+ - wandb.enable=false
checkpoints/last/pretrained_model/act_aloha_kubeba_extend_hundred_new.log ADDED
File without changes
checkpoints/last/pretrained_model/checkpoints/050000/pretrained_model/README.md ADDED
@@ -0,0 +1,12 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ library_name: lerobot
3
+ tags:
4
+ - act
5
+ - model_hub_mixin
6
+ - pytorch_model_hub_mixin
7
+ - robotics
8
+ ---
9
+
10
+ This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
11
+ - Library: https://github.com/huggingface/lerobot
12
+ - Docs: [More Information Needed]
checkpoints/last/pretrained_model/checkpoints/050000/pretrained_model/config.json ADDED
@@ -0,0 +1,55 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "chunk_size": 100,
3
+ "dim_feedforward": 3200,
4
+ "dim_model": 512,
5
+ "dropout": 0.1,
6
+ "feedforward_activation": "relu",
7
+ "input_normalization_modes": {
8
+ "observation.images.cam_high": "mean_std",
9
+ "observation.images.cam_left_wrist": "mean_std",
10
+ "observation.images.cam_right_wrist": "mean_std",
11
+ "observation.state": "mean_std"
12
+ },
13
+ "input_shapes": {
14
+ "observation.images.cam_high": [
15
+ 3,
16
+ 480,
17
+ 640
18
+ ],
19
+ "observation.images.cam_left_wrist": [
20
+ 3,
21
+ 480,
22
+ 640
23
+ ],
24
+ "observation.images.cam_right_wrist": [
25
+ 3,
26
+ 480,
27
+ 640
28
+ ],
29
+ "observation.state": [
30
+ 18
31
+ ]
32
+ },
33
+ "kl_weight": 10.0,
34
+ "latent_dim": 32,
35
+ "n_action_steps": 100,
36
+ "n_decoder_layers": 1,
37
+ "n_encoder_layers": 4,
38
+ "n_heads": 8,
39
+ "n_obs_steps": 1,
40
+ "n_vae_encoder_layers": 4,
41
+ "output_normalization_modes": {
42
+ "action": "mean_std"
43
+ },
44
+ "output_shapes": {
45
+ "action": [
46
+ 18
47
+ ]
48
+ },
49
+ "pre_norm": false,
50
+ "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1",
51
+ "replace_final_stride_with_dilation": false,
52
+ "temporal_ensemble_coeff": null,
53
+ "use_vae": true,
54
+ "vision_backbone": "resnet18"
55
+ }
checkpoints/last/pretrained_model/checkpoints/050000/pretrained_model/config.yaml ADDED
@@ -0,0 +1,247 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ resume: false
2
+ device: cuda
3
+ use_amp: false
4
+ seed: 1000
5
+ dataset_repo_id: Octapod/aloha_kubeba_extend_hundred_new
6
+ video_backend: pyav
7
+ training:
8
+ offline_steps: 100000
9
+ num_workers: 4
10
+ batch_size: 8
11
+ eval_freq: -1
12
+ log_freq: 100
13
+ save_checkpoint: true
14
+ save_freq: 50000
15
+ online_steps: 0
16
+ online_rollout_n_episodes: 1
17
+ online_rollout_batch_size: 1
18
+ online_steps_between_rollouts: 1
19
+ online_sampling_ratio: 0.5
20
+ online_env_seed: null
21
+ online_buffer_capacity: null
22
+ online_buffer_seed_size: 0
23
+ do_online_rollout_async: false
24
+ image_transforms:
25
+ enable: false
26
+ max_num_transforms: 3
27
+ random_order: false
28
+ brightness:
29
+ weight: 1
30
+ min_max:
31
+ - 0.8
32
+ - 1.2
33
+ contrast:
34
+ weight: 1
35
+ min_max:
36
+ - 0.8
37
+ - 1.2
38
+ saturation:
39
+ weight: 1
40
+ min_max:
41
+ - 0.5
42
+ - 1.5
43
+ hue:
44
+ weight: 1
45
+ min_max:
46
+ - -0.05
47
+ - 0.05
48
+ sharpness:
49
+ weight: 1
50
+ min_max:
51
+ - 0.8
52
+ - 1.2
53
+ lr: 1.0e-05
54
+ lr_backbone: 0.0001
55
+ weight_decay: 0.0001
56
+ grad_clip_norm: 10
57
+ delta_timestamps:
58
+ action:
59
+ - 0.0
60
+ - 0.03333333333333333
61
+ - 0.06666666666666667
62
+ - 0.1
63
+ - 0.13333333333333333
64
+ - 0.16666666666666666
65
+ - 0.2
66
+ - 0.23333333333333334
67
+ - 0.26666666666666666
68
+ - 0.3
69
+ - 0.3333333333333333
70
+ - 0.36666666666666664
71
+ - 0.4
72
+ - 0.43333333333333335
73
+ - 0.4666666666666667
74
+ - 0.5
75
+ - 0.5333333333333333
76
+ - 0.5666666666666667
77
+ - 0.6
78
+ - 0.6333333333333333
79
+ - 0.6666666666666666
80
+ - 0.7
81
+ - 0.7333333333333333
82
+ - 0.7666666666666667
83
+ - 0.8
84
+ - 0.8333333333333334
85
+ - 0.8666666666666667
86
+ - 0.9
87
+ - 0.9333333333333333
88
+ - 0.9666666666666667
89
+ - 1.0
90
+ - 1.0333333333333334
91
+ - 1.0666666666666667
92
+ - 1.1
93
+ - 1.1333333333333333
94
+ - 1.1666666666666667
95
+ - 1.2
96
+ - 1.2333333333333334
97
+ - 1.2666666666666666
98
+ - 1.3
99
+ - 1.3333333333333333
100
+ - 1.3666666666666667
101
+ - 1.4
102
+ - 1.4333333333333333
103
+ - 1.4666666666666666
104
+ - 1.5
105
+ - 1.5333333333333334
106
+ - 1.5666666666666667
107
+ - 1.6
108
+ - 1.6333333333333333
109
+ - 1.6666666666666667
110
+ - 1.7
111
+ - 1.7333333333333334
112
+ - 1.7666666666666666
113
+ - 1.8
114
+ - 1.8333333333333333
115
+ - 1.8666666666666667
116
+ - 1.9
117
+ - 1.9333333333333333
118
+ - 1.9666666666666666
119
+ - 2.0
120
+ - 2.033333333333333
121
+ - 2.066666666666667
122
+ - 2.1
123
+ - 2.1333333333333333
124
+ - 2.1666666666666665
125
+ - 2.2
126
+ - 2.2333333333333334
127
+ - 2.2666666666666666
128
+ - 2.3
129
+ - 2.3333333333333335
130
+ - 2.3666666666666667
131
+ - 2.4
132
+ - 2.433333333333333
133
+ - 2.466666666666667
134
+ - 2.5
135
+ - 2.533333333333333
136
+ - 2.566666666666667
137
+ - 2.6
138
+ - 2.6333333333333333
139
+ - 2.6666666666666665
140
+ - 2.7
141
+ - 2.7333333333333334
142
+ - 2.7666666666666666
143
+ - 2.8
144
+ - 2.8333333333333335
145
+ - 2.8666666666666667
146
+ - 2.9
147
+ - 2.933333333333333
148
+ - 2.966666666666667
149
+ - 3.0
150
+ - 3.033333333333333
151
+ - 3.066666666666667
152
+ - 3.1
153
+ - 3.1333333333333333
154
+ - 3.1666666666666665
155
+ - 3.2
156
+ - 3.2333333333333334
157
+ - 3.2666666666666666
158
+ - 3.3
159
+ eval:
160
+ n_episodes: 50
161
+ batch_size: 50
162
+ use_async_envs: false
163
+ wandb:
164
+ enable: false
165
+ disable_artifact: false
166
+ project: lerobot
167
+ notes: ''
168
+ fps: 30
169
+ env:
170
+ name: real_world
171
+ task: null
172
+ state_dim: 18
173
+ action_dim: 18
174
+ fps: ${fps}
175
+ override_dataset_stats:
176
+ observation.images.cam_right_wrist:
177
+ mean:
178
+ - - - 0.485
179
+ - - - 0.456
180
+ - - - 0.406
181
+ std:
182
+ - - - 0.229
183
+ - - - 0.224
184
+ - - - 0.225
185
+ observation.images.cam_left_wrist:
186
+ mean:
187
+ - - - 0.485
188
+ - - - 0.456
189
+ - - - 0.406
190
+ std:
191
+ - - - 0.229
192
+ - - - 0.224
193
+ - - - 0.225
194
+ observation.images.cam_high:
195
+ mean:
196
+ - - - 0.485
197
+ - - - 0.456
198
+ - - - 0.406
199
+ std:
200
+ - - - 0.229
201
+ - - - 0.224
202
+ - - - 0.225
203
+ policy:
204
+ name: act
205
+ n_obs_steps: 1
206
+ chunk_size: 100
207
+ n_action_steps: 100
208
+ input_shapes:
209
+ observation.images.cam_right_wrist:
210
+ - 3
211
+ - 480
212
+ - 640
213
+ observation.images.cam_left_wrist:
214
+ - 3
215
+ - 480
216
+ - 640
217
+ observation.images.cam_high:
218
+ - 3
219
+ - 480
220
+ - 640
221
+ observation.state:
222
+ - ${env.state_dim}
223
+ output_shapes:
224
+ action:
225
+ - ${env.action_dim}
226
+ input_normalization_modes:
227
+ observation.images.cam_right_wrist: mean_std
228
+ observation.images.cam_left_wrist: mean_std
229
+ observation.images.cam_high: mean_std
230
+ observation.state: mean_std
231
+ output_normalization_modes:
232
+ action: mean_std
233
+ vision_backbone: resnet18
234
+ pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1
235
+ replace_final_stride_with_dilation: false
236
+ pre_norm: false
237
+ dim_model: 512
238
+ n_heads: 8
239
+ dim_feedforward: 3200
240
+ feedforward_activation: relu
241
+ n_encoder_layers: 4
242
+ n_decoder_layers: 1
243
+ use_vae: true
244
+ latent_dim: 32
245
+ n_vae_encoder_layers: 4
246
+ dropout: 0.1
247
+ kl_weight: 10.0
checkpoints/last/pretrained_model/checkpoints/050000/pretrained_model/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:5c9ff2e8f3586417d75f9ae13df4eecfba232b01f742086394d5fca4a26ae180
3
+ size 206800040
checkpoints/last/pretrained_model/checkpoints/050000/training_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:1879aaa84ce027ee1ba18b912af8c598698b8536ed7d3e57d7c96ed0dce4fdc1
3
+ size 413118607
checkpoints/last/pretrained_model/checkpoints/100000/pretrained_model/README.md ADDED
@@ -0,0 +1,12 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ library_name: lerobot
3
+ tags:
4
+ - act
5
+ - model_hub_mixin
6
+ - pytorch_model_hub_mixin
7
+ - robotics
8
+ ---
9
+
10
+ This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
11
+ - Library: https://github.com/huggingface/lerobot
12
+ - Docs: [More Information Needed]
checkpoints/last/pretrained_model/checkpoints/100000/pretrained_model/config.json ADDED
@@ -0,0 +1,55 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "chunk_size": 100,
3
+ "dim_feedforward": 3200,
4
+ "dim_model": 512,
5
+ "dropout": 0.1,
6
+ "feedforward_activation": "relu",
7
+ "input_normalization_modes": {
8
+ "observation.images.cam_high": "mean_std",
9
+ "observation.images.cam_left_wrist": "mean_std",
10
+ "observation.images.cam_right_wrist": "mean_std",
11
+ "observation.state": "mean_std"
12
+ },
13
+ "input_shapes": {
14
+ "observation.images.cam_high": [
15
+ 3,
16
+ 480,
17
+ 640
18
+ ],
19
+ "observation.images.cam_left_wrist": [
20
+ 3,
21
+ 480,
22
+ 640
23
+ ],
24
+ "observation.images.cam_right_wrist": [
25
+ 3,
26
+ 480,
27
+ 640
28
+ ],
29
+ "observation.state": [
30
+ 18
31
+ ]
32
+ },
33
+ "kl_weight": 10.0,
34
+ "latent_dim": 32,
35
+ "n_action_steps": 100,
36
+ "n_decoder_layers": 1,
37
+ "n_encoder_layers": 4,
38
+ "n_heads": 8,
39
+ "n_obs_steps": 1,
40
+ "n_vae_encoder_layers": 4,
41
+ "output_normalization_modes": {
42
+ "action": "mean_std"
43
+ },
44
+ "output_shapes": {
45
+ "action": [
46
+ 18
47
+ ]
48
+ },
49
+ "pre_norm": false,
50
+ "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1",
51
+ "replace_final_stride_with_dilation": false,
52
+ "temporal_ensemble_coeff": null,
53
+ "use_vae": true,
54
+ "vision_backbone": "resnet18"
55
+ }
checkpoints/last/pretrained_model/checkpoints/100000/pretrained_model/config.yaml ADDED
@@ -0,0 +1,247 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ resume: false
2
+ device: cuda
3
+ use_amp: false
4
+ seed: 1000
5
+ dataset_repo_id: Octapod/aloha_kubeba_extend_hundred_new
6
+ video_backend: pyav
7
+ training:
8
+ offline_steps: 100000
9
+ num_workers: 4
10
+ batch_size: 8
11
+ eval_freq: -1
12
+ log_freq: 100
13
+ save_checkpoint: true
14
+ save_freq: 50000
15
+ online_steps: 0
16
+ online_rollout_n_episodes: 1
17
+ online_rollout_batch_size: 1
18
+ online_steps_between_rollouts: 1
19
+ online_sampling_ratio: 0.5
20
+ online_env_seed: null
21
+ online_buffer_capacity: null
22
+ online_buffer_seed_size: 0
23
+ do_online_rollout_async: false
24
+ image_transforms:
25
+ enable: false
26
+ max_num_transforms: 3
27
+ random_order: false
28
+ brightness:
29
+ weight: 1
30
+ min_max:
31
+ - 0.8
32
+ - 1.2
33
+ contrast:
34
+ weight: 1
35
+ min_max:
36
+ - 0.8
37
+ - 1.2
38
+ saturation:
39
+ weight: 1
40
+ min_max:
41
+ - 0.5
42
+ - 1.5
43
+ hue:
44
+ weight: 1
45
+ min_max:
46
+ - -0.05
47
+ - 0.05
48
+ sharpness:
49
+ weight: 1
50
+ min_max:
51
+ - 0.8
52
+ - 1.2
53
+ lr: 1.0e-05
54
+ lr_backbone: 0.0001
55
+ weight_decay: 0.0001
56
+ grad_clip_norm: 10
57
+ delta_timestamps:
58
+ action:
59
+ - 0.0
60
+ - 0.03333333333333333
61
+ - 0.06666666666666667
62
+ - 0.1
63
+ - 0.13333333333333333
64
+ - 0.16666666666666666
65
+ - 0.2
66
+ - 0.23333333333333334
67
+ - 0.26666666666666666
68
+ - 0.3
69
+ - 0.3333333333333333
70
+ - 0.36666666666666664
71
+ - 0.4
72
+ - 0.43333333333333335
73
+ - 0.4666666666666667
74
+ - 0.5
75
+ - 0.5333333333333333
76
+ - 0.5666666666666667
77
+ - 0.6
78
+ - 0.6333333333333333
79
+ - 0.6666666666666666
80
+ - 0.7
81
+ - 0.7333333333333333
82
+ - 0.7666666666666667
83
+ - 0.8
84
+ - 0.8333333333333334
85
+ - 0.8666666666666667
86
+ - 0.9
87
+ - 0.9333333333333333
88
+ - 0.9666666666666667
89
+ - 1.0
90
+ - 1.0333333333333334
91
+ - 1.0666666666666667
92
+ - 1.1
93
+ - 1.1333333333333333
94
+ - 1.1666666666666667
95
+ - 1.2
96
+ - 1.2333333333333334
97
+ - 1.2666666666666666
98
+ - 1.3
99
+ - 1.3333333333333333
100
+ - 1.3666666666666667
101
+ - 1.4
102
+ - 1.4333333333333333
103
+ - 1.4666666666666666
104
+ - 1.5
105
+ - 1.5333333333333334
106
+ - 1.5666666666666667
107
+ - 1.6
108
+ - 1.6333333333333333
109
+ - 1.6666666666666667
110
+ - 1.7
111
+ - 1.7333333333333334
112
+ - 1.7666666666666666
113
+ - 1.8
114
+ - 1.8333333333333333
115
+ - 1.8666666666666667
116
+ - 1.9
117
+ - 1.9333333333333333
118
+ - 1.9666666666666666
119
+ - 2.0
120
+ - 2.033333333333333
121
+ - 2.066666666666667
122
+ - 2.1
123
+ - 2.1333333333333333
124
+ - 2.1666666666666665
125
+ - 2.2
126
+ - 2.2333333333333334
127
+ - 2.2666666666666666
128
+ - 2.3
129
+ - 2.3333333333333335
130
+ - 2.3666666666666667
131
+ - 2.4
132
+ - 2.433333333333333
133
+ - 2.466666666666667
134
+ - 2.5
135
+ - 2.533333333333333
136
+ - 2.566666666666667
137
+ - 2.6
138
+ - 2.6333333333333333
139
+ - 2.6666666666666665
140
+ - 2.7
141
+ - 2.7333333333333334
142
+ - 2.7666666666666666
143
+ - 2.8
144
+ - 2.8333333333333335
145
+ - 2.8666666666666667
146
+ - 2.9
147
+ - 2.933333333333333
148
+ - 2.966666666666667
149
+ - 3.0
150
+ - 3.033333333333333
151
+ - 3.066666666666667
152
+ - 3.1
153
+ - 3.1333333333333333
154
+ - 3.1666666666666665
155
+ - 3.2
156
+ - 3.2333333333333334
157
+ - 3.2666666666666666
158
+ - 3.3
159
+ eval:
160
+ n_episodes: 50
161
+ batch_size: 50
162
+ use_async_envs: false
163
+ wandb:
164
+ enable: false
165
+ disable_artifact: false
166
+ project: lerobot
167
+ notes: ''
168
+ fps: 30
169
+ env:
170
+ name: real_world
171
+ task: null
172
+ state_dim: 18
173
+ action_dim: 18
174
+ fps: ${fps}
175
+ override_dataset_stats:
176
+ observation.images.cam_right_wrist:
177
+ mean:
178
+ - - - 0.485
179
+ - - - 0.456
180
+ - - - 0.406
181
+ std:
182
+ - - - 0.229
183
+ - - - 0.224
184
+ - - - 0.225
185
+ observation.images.cam_left_wrist:
186
+ mean:
187
+ - - - 0.485
188
+ - - - 0.456
189
+ - - - 0.406
190
+ std:
191
+ - - - 0.229
192
+ - - - 0.224
193
+ - - - 0.225
194
+ observation.images.cam_high:
195
+ mean:
196
+ - - - 0.485
197
+ - - - 0.456
198
+ - - - 0.406
199
+ std:
200
+ - - - 0.229
201
+ - - - 0.224
202
+ - - - 0.225
203
+ policy:
204
+ name: act
205
+ n_obs_steps: 1
206
+ chunk_size: 100
207
+ n_action_steps: 100
208
+ input_shapes:
209
+ observation.images.cam_right_wrist:
210
+ - 3
211
+ - 480
212
+ - 640
213
+ observation.images.cam_left_wrist:
214
+ - 3
215
+ - 480
216
+ - 640
217
+ observation.images.cam_high:
218
+ - 3
219
+ - 480
220
+ - 640
221
+ observation.state:
222
+ - ${env.state_dim}
223
+ output_shapes:
224
+ action:
225
+ - ${env.action_dim}
226
+ input_normalization_modes:
227
+ observation.images.cam_right_wrist: mean_std
228
+ observation.images.cam_left_wrist: mean_std
229
+ observation.images.cam_high: mean_std
230
+ observation.state: mean_std
231
+ output_normalization_modes:
232
+ action: mean_std
233
+ vision_backbone: resnet18
234
+ pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1
235
+ replace_final_stride_with_dilation: false
236
+ pre_norm: false
237
+ dim_model: 512
238
+ n_heads: 8
239
+ dim_feedforward: 3200
240
+ feedforward_activation: relu
241
+ n_encoder_layers: 4
242
+ n_decoder_layers: 1
243
+ use_vae: true
244
+ latent_dim: 32
245
+ n_vae_encoder_layers: 4
246
+ dropout: 0.1
247
+ kl_weight: 10.0
checkpoints/last/pretrained_model/checkpoints/100000/pretrained_model/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:fb54846b5da756ac7736e5fcf5394aed5d468282e8c673c77a16d99674d35cb6
3
+ size 206800040
checkpoints/last/pretrained_model/checkpoints/100000/training_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d3c00b0c0e28ab42a27b0a2a3afeb4eb0d9609ced11feea4830e00c8e5e16e86
3
+ size 413118607