aloha_real_tes / wandb /debug.log
zaringleb's picture
Upload folder using huggingface_hub
484316e verified
2024-12-07 01:07:41,161 INFO MainThread:3507456 [wandb_setup.py:_flush():68] Current SDK version is 0.19.0
2024-12-07 01:07:41,161 INFO MainThread:3507456 [wandb_setup.py:_flush():68] Configure stats pid to 3507456
2024-12-07 01:07:41,161 INFO MainThread:3507456 [wandb_setup.py:_flush():68] Loading settings from /home/ubuntu/.config/wandb/settings
2024-12-07 01:07:41,161 INFO MainThread:3507456 [wandb_setup.py:_flush():68] Loading settings from /home/ubuntu/lerobot-hackathon/wandb/settings
2024-12-07 01:07:41,161 INFO MainThread:3507456 [wandb_setup.py:_flush():68] Loading settings from environment variables
2024-12-07 01:07:41,161 INFO MainThread:3507456 [wandb_setup.py:_flush():68] wandb: Using wandb-core as the SDK backend. Please refer to https://wandb.me/wandb-core for more information.
2024-12-07 01:07:41,161 INFO MainThread:3507456 [wandb_init.py:_log_setup():528] Logging user logs to outputs/train/2024-12-06/22-28-29_real_world_act_default/wandb/run-20241207_010741-bwwpk9vl/logs/debug.log
2024-12-07 01:07:41,161 INFO MainThread:3507456 [wandb_init.py:_log_setup():529] Logging internal logs to outputs/train/2024-12-06/22-28-29_real_world_act_default/wandb/run-20241207_010741-bwwpk9vl/logs/debug-internal.log
2024-12-07 01:07:41,161 INFO MainThread:3507456 [wandb_init.py:init():639] calling init triggers
2024-12-07 01:07:41,161 INFO MainThread:3507456 [wandb_init.py:init():645] wandb.init called with sweep_config: {}
config: {'resume': True, 'device': 'cuda', 'use_amp': False, 'seed': 1000, 'dataset_repo_id': 'ccop/aloha_stationary_replay_test_v2', 'video_backend': 'pyav', 'training': {'offline_steps': 5000, 'num_workers': 8, 'batch_size': 8, 'eval_freq': -1, 'log_freq': 200, 'save_checkpoint': True, 'save_freq': 10000, 'online_steps': 0, 'online_rollout_n_episodes': 1, 'online_rollout_batch_size': 1, 'online_steps_between_rollouts': 1, 'online_sampling_ratio': 0.5, 'online_env_seed': None, 'online_buffer_capacity': None, 'online_buffer_seed_size': 0, 'do_online_rollout_async': False, 'image_transforms': {'enable': False, 'max_num_transforms': 3, 'random_order': False, 'brightness': {'weight': 1, 'min_max': [0.8, 1.2]}, 'contrast': {'weight': 1, 'min_max': [0.8, 1.2]}, 'saturation': {'weight': 1, 'min_max': [0.5, 1.5]}, 'hue': {'weight': 1, 'min_max': [-0.05, 0.05]}, 'sharpness': {'weight': 1, 'min_max': [0.8, 1.2]}}, 'lr': 1e-05, 'lr_backbone': 1e-05, 'weight_decay': 0.0001, 'grad_clip_norm': 10, 'delta_timestamps': {'action': [0.0, 0.03333333333333333, 0.06666666666666667, 0.1, 0.13333333333333333, 0.16666666666666666, 0.2, 0.23333333333333334, 0.26666666666666666, 0.3, 0.3333333333333333, 0.36666666666666664, 0.4, 0.43333333333333335, 0.4666666666666667, 0.5, 0.5333333333333333, 0.5666666666666667, 0.6, 0.6333333333333333, 0.6666666666666666, 0.7, 0.7333333333333333, 0.7666666666666667, 0.8, 0.8333333333333334, 0.8666666666666667, 0.9, 0.9333333333333333, 0.9666666666666667, 1.0, 1.0333333333333334, 1.0666666666666667, 1.1, 1.1333333333333333, 1.1666666666666667, 1.2, 1.2333333333333334, 1.2666666666666666, 1.3, 1.3333333333333333, 1.3666666666666667, 1.4, 1.4333333333333333, 1.4666666666666666, 1.5, 1.5333333333333334, 1.5666666666666667, 1.6, 1.6333333333333333, 1.6666666666666667, 1.7, 1.7333333333333334, 1.7666666666666666, 1.8, 1.8333333333333333, 1.8666666666666667, 1.9, 1.9333333333333333, 1.9666666666666666, 2.0, 2.033333333333333, 2.066666666666667, 2.1, 2.1333333333333333, 2.1666666666666665, 2.2, 2.2333333333333334, 2.2666666666666666, 2.3, 2.3333333333333335, 2.3666666666666667, 2.4, 2.433333333333333, 2.466666666666667, 2.5, 2.533333333333333, 2.566666666666667, 2.6, 2.6333333333333333, 2.6666666666666665, 2.7, 2.7333333333333334, 2.7666666666666666, 2.8, 2.8333333333333335, 2.8666666666666667, 2.9, 2.933333333333333, 2.966666666666667, 3.0, 3.033333333333333, 3.066666666666667, 3.1, 3.1333333333333333, 3.1666666666666665, 3.2, 3.2333333333333334, 3.2666666666666666, 3.3]}}, 'eval': {'n_episodes': 50, 'batch_size': 50, 'use_async_envs': False}, 'wandb': {'enable': True, 'disable_artifact': False, 'project': 'lerobot_real_aloha', 'notes': 'ws-lerobot-hackathon'}, 'fps': 30, 'env': {'name': 'real_world', 'task': None, 'state_dim': 14, 'action_dim': 14, 'fps': 30}, 'override_dataset_stats': {'observation.images.cam_right_wrist': {'mean': [[[0.485]], [[0.456]], [[0.406]]], 'std': [[[0.229]], [[0.224]], [[0.225]]]}, 'observation.images.cam_left_wrist': {'mean': [[[0.485]], [[0.456]], [[0.406]]], 'std': [[[0.229]], [[0.224]], [[0.225]]]}, 'observation.images.cam_high': {'mean': [[[0.485]], [[0.456]], [[0.406]]], 'std': [[[0.229]], [[0.224]], [[0.225]]]}}, 'policy': {'name': 'act', 'n_obs_steps': 1, 'chunk_size': 100, 'n_action_steps': 100, 'input_shapes': {'observation.images.cam_right_wrist': [3, 480, 640], 'observation.images.cam_left_wrist': [3, 480, 640], 'observation.images.cam_high': [3, 480, 640], 'observation.state': [14]}, 'output_shapes': {'action': [14]}, 'input_normalization_modes': {'observation.images.cam_right_wrist': 'mean_std', 'observation.images.cam_left_wrist': 'mean_std', 'observation.images.cam_high': 'mean_std', 'observation.state': 'mean_std'}, 'output_normalization_modes': {'action': 'mean_std'}, 'vision_backbone': 'resnet18', 'pretrained_backbone_weights': 'ResNet18_Weights.IMAGENET1K_V1', 'replace_final_stride_with_dilation': False, 'pre_norm': False, 'dim_model': 512, 'n_heads': 8, 'dim_feedforward': 3200, 'feedforward_activation': 'relu', 'n_encoder_layers': 4, 'n_decoder_layers': 1, 'use_vae': True, 'latent_dim': 32, 'n_vae_encoder_layers': 4, 'temporal_ensemble_momentum': None, 'dropout': 0.1, 'kl_weight': 10.0}}
2024-12-07 01:07:41,161 INFO MainThread:3507456 [wandb_init.py:init():688] starting backend
2024-12-07 01:07:41,161 INFO MainThread:3507456 [wandb_init.py:init():692] sending inform_init request
2024-12-07 01:07:41,165 INFO MainThread:3507456 [backend.py:_multiprocessing_setup():104] multiprocessing start_methods=fork,spawn,forkserver, using: spawn
2024-12-07 01:07:41,166 INFO MainThread:3507456 [wandb_init.py:init():705] backend started and connected
2024-12-07 01:07:41,168 INFO MainThread:3507456 [wandb_init.py:init():798] updated telemetry
2024-12-07 01:07:41,174 INFO MainThread:3507456 [wandb_init.py:init():830] communicating run to backend with 90.0 second timeout
2024-12-07 01:07:41,592 INFO MainThread:3507456 [wandb_init.py:init():875] run resumed
2024-12-07 01:07:41,597 INFO MainThread:3507456 [wandb_init.py:init():882] starting run threads in backend
2024-12-07 01:07:41,711 INFO MainThread:3507456 [wandb_run.py:_console_start():2443] atexit reg
2024-12-07 01:07:41,711 INFO MainThread:3507456 [wandb_run.py:_redirect():2293] redirect: wrap_raw
2024-12-07 01:07:41,711 INFO MainThread:3507456 [wandb_run.py:_redirect():2358] Wrapping output streams.
2024-12-07 01:07:41,711 INFO MainThread:3507456 [wandb_run.py:_redirect():2383] Redirects installed.
2024-12-07 01:07:41,713 INFO MainThread:3507456 [wandb_init.py:init():925] run started, returning control to user process
2024-12-07 01:07:46,320 WARNING MsgRouterThr:3507456 [router.py:message_loop():75] message_loop has been closed