diff --git "a/output.log" "b/output.log" new file mode 100644--- /dev/null +++ "b/output.log" @@ -0,0 +1,7414 @@ +[robosuite WARNING] No private macro file found! (macros.py:53) +[robosuite WARNING] It is recommended to use a private macro file (macros.py:54) +[robosuite WARNING] To setup, run: python /home/reuss/miniconda3/envs/mode_env/lib/python3.8/site-packages/robosuite/scripts/setup_macros.py (macros.py:55) +[2024-11-10 19:31:14,080][robosuite_logs][WARNING] - No private macro file found! +[2024-11-10 19:31:14,080][robosuite_logs][WARNING] - It is recommended to use a private macro file +[2024-11-10 19:31:14,081][robosuite_logs][WARNING] - To setup, run: python /home/reuss/miniconda3/envs/mode_env/lib/python3.8/site-packages/robosuite/scripts/setup_macros.py +[2024-11-10 19:31:14,594][OpenGL.acceleratesupport][INFO] - No OpenGL_accelerate module loaded: No module named 'OpenGL_accelerate' +[2024-11-10 19:31:15,834][py.warnings][WARNING] - /home/reuss/miniconda3/envs/mode_env/lib/python3.8/site-packages/moviepy/video/fx/painting.py:7: DeprecationWarning: Please use `sobel` from the `scipy.ndimage` namespace, the `scipy.ndimage.filters` namespace is deprecated. + from scipy.ndimage.filters import sobel +[2024-11-10 19:31:16,059][py.warnings][WARNING] - /home/reuss/miniconda3/envs/mode_env/lib/python3.8/site-packages/transformers/tokenization_utils_base.py:1601: FutureWarning: `clean_up_tokenization_spaces` was not set. It will be set to `True` by default. This behavior will be depracted in transformers v4.45, and will be then set to `False` by default. For more details check this issue: https://github.com/huggingface/transformers/issues/31884 + warnings.warn( +[2024-11-10 19:31:16,366][py.warnings][WARNING] - /home/reuss/miniconda3/envs/mode_env/lib/python3.8/site-packages/torch/_utils.py:776: UserWarning: TypedStorage is deprecated. It will be removed in the future and UntypedStorage will be the only storage class. This should only matter to you if you are using storages directly. To access UntypedStorage directly, use tensor.untyped_storage() instead of tensor.storage() + return self.fget.__get__(instance, owner)() +[2024-11-10 19:32:49,910][py.warnings][WARNING] - /home/reuss/code/MoDE_Calvin/mode/callbacks/ema.py:65: UserWarning: EMA has better performance when Apex is installed: https://github.com/NVIDIA/apex#installation. + rank_zero_warn( +[2024-11-10 19:32:49,914][py.warnings][WARNING] - /home/reuss/miniconda3/envs/mode_env/lib/python3.8/site-packages/pytorch_lightning/trainer/connectors/accelerator_connector.py:478: LightningDeprecationWarning: Setting `Trainer(gpus=2)` is deprecated in v1.7 and will be removed in v2.0. Please use `Trainer(accelerator='gpu', devices=2)` instead. + rank_zero_deprecation( +GPU available: True (cuda), used: True +TPU available: False, using: 0 TPU cores +IPU available: False, using: 0 IPUs +HPU available: False, using: 0 HPUs +[rank: 0] Global seed set to 242 +Initializing distributed: GLOBAL_RANK: 0, MEMBER: 1/2 +[2024-11-10 19:34:44,668][torch.distributed.distributed_c10d][INFO] - Added key: store_based_barrier_key:1 to store for rank: 0 +[2024-11-10 19:34:44,670][torch.distributed.distributed_c10d][INFO] - Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 2 nodes. +============= Initialized Observation Utils with Obs Spec ============= +using obs modality: rgb with keys: ['eye_in_hand_rgb', 'agentview_rgb'] +using obs modality: low_dim with keys: ['joint_states', 'gripper_states'] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1477.15it/s] +---------------------------------------------------------------------------------------------------- +distributed_backend=nccl +All distributed processes registered. Starting with 2 processes +---------------------------------------------------------------------------------------------------- +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1675.26it/s] +SequenceDataset: loading dataset into memory... +100%|███████��█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1625.88it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1325.23it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1602.37it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1574.77it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1633.46it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1632.16it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1633.68it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1610.65it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1641.99it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1613.93it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1639.22it/s] +SequenceDataset: loading dataset into memory... +100%|█████████���███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1524.43it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1487.93it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1517.18it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1575.48it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1555.44it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1560.07it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1611.58it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1638.86it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1530.64it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1603.82it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1584.24it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1616.78it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1611.63it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1598.84it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1549.65it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1621.85it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1580.94it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1522.16it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1086.70it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1623.22it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1671.34it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1606.10it/s] +SequenceDataset: loading dataset into memory... +100%|████████████��████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1574.41it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1507.66it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1564.88it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1498.83it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1502.12it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1548.66it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1634.01it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1587.87it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1602.15it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1197.50it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1607.06it/s] +SequenceDataset: loading dataset into memory... +100%|██████████████���██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1636.97it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1629.27it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1636.38it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1630.64it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1603.79it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1623.58it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1668.05it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1255.55it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1607.03it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1604.66it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1623.71it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1253.29it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1564.84it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1603.29it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1630.88it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1087.58it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1129.92it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1373.83it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1207.47it/s] +SequenceDataset: loading dataset into memory... +100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 583.42it/s] +SequenceDataset: loading dataset into memory... +100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 739.03it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1417.84it/s] +SequenceDataset: loading dataset into memory... +100%|████████████████���████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1607.44it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1206.42it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1346.30it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1636.67it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1644.21it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1681.45it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1631.97it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1564.19it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1626.75it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1533.14it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1651.80it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1673.30it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1608.59it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1317.84it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1635.13it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1661.83it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1284.97it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1674.59it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1194.57it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1638.00it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1662.99it/s] +SequenceDataset: loading dataset into memory... +100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1650.60it/s] +LOCAL_RANK: 0 - CUDA_VISIBLE_DEVICES: [6,7] + | Name | Type | Params +------------------------------------------------------ +0 | model | GCDenoiser | 685 M +1 | static_resnet | FiLMResNet50Policy | 27.4 M +2 | gripper_resnet | FiLMResNet50Policy | 27.4 M +3 | language_goal | LangClip | 151 M +------------------------------------------------------ +740 M Trainable params +151 M Non-trainable params +892 M Total params +3,568.107 Total estimated model params size (MB) +Sanity Checking: 0it [00:00, ?it/s][2024-11-10 19:36:31,170][mode.models.mode_agent][INFO] - Start validation epoch 0 +Sanity Checking DataLoader 0: 0%| | 0/2 [00:00