/home/cfruan/.conda/envs/mlc-source-311/bin/python -m mlc_chat gen_config /models/RedPajama-INCITE-Chat-3B-v1 --quantization q4f32_1 --conv-template redpajama_chat --output /tmp/tmplmqnt8rc
[2023-12-29 01:09:22] INFO auto_config.py:115: Found model configuration: /models/RedPajama-INCITE-Chat-3B-v1/config.json
[2023-12-29 01:09:22] INFO auto_config.py:151: Found model type: gpt_neox. Use `--model-type` to override.
[2023-12-29 01:09:22] INFO gpt_neox_model.py:46: context_window_size not found in config.json. Falling back to max_position_embeddings (2048)
[2023-12-29 01:09:22] INFO gen_config.py:115: [generation_config.json] Setting bos_token_id: 0
[2023-12-29 01:09:22] INFO gen_config.py:115: [generation_config.json] Setting eos_token_id: 0
[2023-12-29 01:09:22] INFO gen_config.py:129: Not found tokenizer config: /models/RedPajama-INCITE-Chat-3B-v1/tokenizer.model
[2023-12-29 01:09:22] INFO gen_config.py:127: Found tokenizer config: /models/RedPajama-INCITE-Chat-3B-v1/tokenizer.json. Copying to /tmp/tmplmqnt8rc/tokenizer.json
[2023-12-29 01:09:22] INFO gen_config.py:129: Not found tokenizer config: /models/RedPajama-INCITE-Chat-3B-v1/vocab.json
[2023-12-29 01:09:22] INFO gen_config.py:129: Not found tokenizer config: /models/RedPajama-INCITE-Chat-3B-v1/merges.txt
[2023-12-29 01:09:22] INFO gen_config.py:129: Not found tokenizer config: /models/RedPajama-INCITE-Chat-3B-v1/added_tokens.json
[2023-12-29 01:09:22] INFO gen_config.py:127: Found tokenizer config: /models/RedPajama-INCITE-Chat-3B-v1/tokenizer_config.json. Copying to /tmp/tmplmqnt8rc/tokenizer_config.json
[2023-12-29 01:09:22] INFO gen_config.py:69: [System default] Setting pad_token_id: 0
[2023-12-29 01:09:22] INFO gen_config.py:69: [System default] Setting temperature: 0.7
[2023-12-29 01:09:22] INFO gen_config.py:69: [System default] Setting repetition_penalty: 1.0
[2023-12-29 01:09:22] INFO gen_config.py:69: [System default] Setting top_p: 0.95
[2023-12-29 01:09:22] INFO gen_config.py:69: [System default] Setting mean_gen_len: 128
[2023-12-29 01:09:22] INFO gen_config.py:69: [System default] Setting max_gen_len: 512
[2023-12-29 01:09:22] INFO gen_config.py:69: [System default] Setting shift_fill_factor: 0.3
[2023-12-29 01:09:22] INFO gen_config.py:157: Dumping configuration file to: /tmp/tmplmqnt8rc/mlc-chat-config.json
/home/cfruan/.conda/envs/mlc-source-311/bin/python -m mlc_chat convert_weight /models/RedPajama-INCITE-Chat-3B-v1 --quantization q4f32_1 --source-format auto --output /tmp/tmplmqnt8rc
[2023-12-29 01:09:22] INFO auto_config.py:115: Found model configuration: /models/RedPajama-INCITE-Chat-3B-v1/config.json
[2023-12-29 01:09:23] INFO auto_device.py:76: Found device: cuda:0
[2023-12-29 01:09:23] INFO auto_device.py:76: Found device: cuda:1
[2023-12-29 01:09:23] INFO auto_device.py:85: Not found device: rocm:0
[2023-12-29 01:09:23] INFO auto_device.py:85: Not found device: metal:0
[2023-12-29 01:09:24] INFO auto_device.py:76: Found device: vulkan:0
[2023-12-29 01:09:24] INFO auto_device.py:76: Found device: vulkan:1
[2023-12-29 01:09:24] INFO auto_device.py:76: Found device: vulkan:2
[2023-12-29 01:09:24] INFO auto_device.py:85: Not found device: opencl:0
[2023-12-29 01:09:24] INFO auto_device.py:33: Using device: cuda:0
[2023-12-29 01:09:24] INFO auto_weight.py:70: Finding weights in: /models/RedPajama-INCITE-Chat-3B-v1
[2023-12-29 01:09:24] INFO auto_weight.py:129: Found source weight format: huggingface-torch. Source configuration: /models/RedPajama-INCITE-Chat-3B-v1/pytorch_model.bin
[2023-12-29 01:09:24] INFO auto_weight.py:149: Not found Huggingface Safetensor
[2023-12-29 01:09:24] INFO auto_weight.py:106: Using source weight configuration: /models/RedPajama-INCITE-Chat-3B-v1/pytorch_model.bin. Use `--source` to override.
[2023-12-29 01:09:24] INFO auto_weight.py:110: Using source weight format: huggingface-torch. Use `--source-format` to override.
[2023-12-29 01:09:24] INFO auto_config.py:151: Found model type: gpt_neox. Use `--model-type` to override.
[2023-12-29 01:09:24] INFO gpt_neox_model.py:46: context_window_size not found in config.json. Falling back to max_position_embeddings (2048)
[2023-12-29 01:09:27] INFO huggingface_loader.py:169: Loading HF parameters from: /models/RedPajama-INCITE-Chat-3B-v1/pytorch_model.bin
Weight conversion with arguments:
  --config          /models/RedPajama-INCITE-Chat-3B-v1/config.json
  --quantization    GroupQuantize(name='q4f32_1', kind='group-quant', group_size=32, quantize_dtype='int4', storage_dtype='uint32', model_dtype='float32', num_elem_per_storage=8, num_storage_per_group=4, max_int_value=7)
  --model-type      gpt_neox
  --device          cuda:0
  --source          /models/RedPajama-INCITE-Chat-3B-v1/pytorch_model.bin
  --source-format   huggingface-torch
  --output          /tmp/tmplmqnt8rc

  0%|                                                                                                                                                                                                                                       | 0/388 [00:00<?, ?it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:43] INFO group_quantization.py:200: Compiling quantize function for key: (50432, 2560, 'float32', 'cuda')

  0%|                                                                                                                                                                                                                                       | 0/388 [00:00<?, ?it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.embed_in.q_weight", shape: (50432, 320), dtype: uint32

  0%|                                                                                                                                                                                                                                       | 0/388 [00:01<?, ?it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.embed_in.q_scale", shape: (50432, 80), dtype: float32

  0%|                                                                                                                                                                                                                                       | 0/388 [00:01<?, ?it/s]
  0%|▌                                                                                                                                                                                                                              | 1/388 [00:01<11:05,  1.72s/it]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:45] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.0.input_layernorm.weight", shape: (2560,), dtype: float32

  0%|▌                                                                                                                                                                                                                              | 1/388 [00:01<11:05,  1.72s/it]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:45] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.0.input_layernorm.bias", shape: (2560,), dtype: float32

  0%|▌                                                                                                                                                                                                                              | 1/388 [00:01<11:05,  1.72s/it]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:45] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.0.post_attention_layernorm.weight", shape: (2560,), dtype: float32

  0%|▌                                                                                                                                                                                                                              | 1/388 [00:01<11:05,  1.72s/it]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:45] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.0.post_attention_layernorm.bias", shape: (2560,), dtype: float32

  0%|▌                                                                                                                                                                                                                              | 1/388 [00:01<11:05,  1.72s/it]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:45] INFO group_quantization.py:200: Compiling quantize function for key: (7680, 2560, 'float32', 'cuda')

  0%|▌                                                                                                                                                                                                                              | 1/388 [00:01<11:05,  1.72s/it]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.0.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

  0%|▌                                                                                                                                                                                                                              | 1/388 [00:02<11:05,  1.72s/it]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.0.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

  0%|▌                                                                                                                                                                                                                              | 1/388 [00:02<11:05,  1.72s/it]
  2%|███▍                                                                                                                                                                                                                           | 6/388 [00:02<01:45,  3.62it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:45] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.0.attention.query_key_value.bias", shape: (7680,), dtype: float32

  2%|███▍                                                                                                                                                                                                                           | 6/388 [00:02<01:45,  3.62it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:45] INFO group_quantization.py:200: Compiling quantize function for key: (2560, 2560, 'float32', 'cuda')

  2%|███▍                                                                                                                                                                                                                           | 6/388 [00:02<01:45,  3.62it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.0.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

  2%|███▍                                                                                                                                                                                                                           | 6/388 [00:02<01:45,  3.62it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.0.attention.dense.q_scale", shape: (2560, 80), dtype: float32

  2%|███▍                                                                                                                                                                                                                           | 6/388 [00:02<01:45,  3.62it/s]
  2%|████▌                                                                                                                                                                                                                          | 8/388 [00:02<01:31,  4.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:45] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.0.attention.dense.bias", shape: (2560,), dtype: float32

  2%|████▌                                                                                                                                                                                                                          | 8/388 [00:02<01:31,  4.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:45] INFO group_quantization.py:200: Compiling quantize function for key: (10240, 2560, 'float32', 'cuda')

  2%|████▌                                                                                                                                                                                                                          | 8/388 [00:02<01:31,  4.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.0.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

  2%|████▌                                                                                                                                                                                                                          | 8/388 [00:02<01:31,  4.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.0.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

  2%|████▌                                                                                                                                                                                                                          | 8/388 [00:02<01:31,  4.17it/s]
  3%|█████▋                                                                                                                                                                                                                        | 10/388 [00:02<01:25,  4.44it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.0.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

  3%|█████▋                                                                                                                                                                                                                        | 10/388 [00:02<01:25,  4.44it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO group_quantization.py:200: Compiling quantize function for key: (2560, 10240, 'float32', 'cuda')

  3%|█████▋                                                                                                                                                                                                                        | 10/388 [00:02<01:25,  4.44it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.0.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

  3%|█████▋                                                                                                                                                                                                                        | 10/388 [00:03<01:25,  4.44it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.0.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

  3%|█████▋                                                                                                                                                                                                                        | 10/388 [00:03<01:25,  4.44it/s]
  3%|██████▊                                                                                                                                                                                                                       | 12/388 [00:03<01:20,  4.66it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.0.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

  3%|██████▊                                                                                                                                                                                                                       | 12/388 [00:03<01:20,  4.66it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.1.input_layernorm.weight", shape: (2560,), dtype: float32

  3%|██████▊                                                                                                                                                                                                                       | 12/388 [00:03<01:20,  4.66it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.1.input_layernorm.bias", shape: (2560,), dtype: float32

  3%|██████▊                                                                                                                                                                                                                       | 12/388 [00:03<01:20,  4.66it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.1.post_attention_layernorm.weight", shape: (2560,), dtype: float32

  3%|██████▊                                                                                                                                                                                                                       | 12/388 [00:03<01:20,  4.66it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.1.post_attention_layernorm.bias", shape: (2560,), dtype: float32

  3%|██████▊                                                                                                                                                                                                                       | 12/388 [00:03<01:20,  4.66it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.1.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

  3%|██████▊                                                                                                                                                                                                                       | 12/388 [00:03<01:20,  4.66it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.1.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

  3%|██████▊                                                                                                                                                                                                                       | 12/388 [00:03<01:20,  4.66it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.1.attention.query_key_value.bias", shape: (7680,), dtype: float32

  3%|██████▊                                                                                                                                                                                                                       | 12/388 [00:03<01:20,  4.66it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.1.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

  3%|██████▊                                                                                                                                                                                                                       | 12/388 [00:03<01:20,  4.66it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.1.attention.dense.q_scale", shape: (2560, 80), dtype: float32

  3%|██████▊                                                                                                                                                                                                                       | 12/388 [00:03<01:20,  4.66it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.1.attention.dense.bias", shape: (2560,), dtype: float32

  3%|██████▊                                                                                                                                                                                                                       | 12/388 [00:03<01:20,  4.66it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.1.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

  3%|██████▊                                                                                                                                                                                                                       | 12/388 [00:03<01:20,  4.66it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.1.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

  3%|██████▊                                                                                                                                                                                                                       | 12/388 [00:03<01:20,  4.66it/s]
  6%|████████████▌                                                                                                                                                                                                                 | 22/388 [00:03<00:27, 13.09it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.1.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

  6%|████████████▌                                                                                                                                                                                                                 | 22/388 [00:03<00:27, 13.09it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.1.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

  6%|████████████▌                                                                                                                                                                                                                 | 22/388 [00:03<00:27, 13.09it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.1.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

  6%|████████████▌                                                                                                                                                                                                                 | 22/388 [00:03<00:27, 13.09it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.1.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

  6%|████████████▌                                                                                                                                                                                                                 | 22/388 [00:03<00:27, 13.09it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.2.input_layernorm.weight", shape: (2560,), dtype: float32

  6%|████████████▌                                                                                                                                                                                                                 | 22/388 [00:03<00:27, 13.09it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.2.input_layernorm.bias", shape: (2560,), dtype: float32

  6%|████████████▌                                                                                                                                                                                                                 | 22/388 [00:03<00:27, 13.09it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.2.post_attention_layernorm.weight", shape: (2560,), dtype: float32

  6%|████████████▌                                                                                                                                                                                                                 | 22/388 [00:03<00:27, 13.09it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.2.post_attention_layernorm.bias", shape: (2560,), dtype: float32

  6%|████████████▌                                                                                                                                                                                                                 | 22/388 [00:03<00:27, 13.09it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.2.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

  6%|████████████▌                                                                                                                                                                                                                 | 22/388 [00:03<00:27, 13.09it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.2.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

  6%|████████████▌                                                                                                                                                                                                                 | 22/388 [00:03<00:27, 13.09it/s]
  8%|█████████████████▏                                                                                                                                                                                                            | 30/388 [00:03<00:17, 19.99it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.2.attention.query_key_value.bias", shape: (7680,), dtype: float32

  8%|█████████████████▏                                                                                                                                                                                                            | 30/388 [00:03<00:17, 19.99it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.2.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

  8%|█████████████████▏                                                                                                                                                                                                            | 30/388 [00:03<00:17, 19.99it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.2.attention.dense.q_scale", shape: (2560, 80), dtype: float32

  8%|█████████████████▏                                                                                                                                                                                                            | 30/388 [00:03<00:17, 19.99it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.2.attention.dense.bias", shape: (2560,), dtype: float32

  8%|█████████████████▏                                                                                                                                                                                                            | 30/388 [00:03<00:17, 19.99it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.2.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

  8%|█████████████████▏                                                                                                                                                                                                            | 30/388 [00:03<00:17, 19.99it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.2.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

  8%|█████████████████▏                                                                                                                                                                                                            | 30/388 [00:03<00:17, 19.99it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.2.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

  8%|█████████████████▏                                                                                                                                                                                                            | 30/388 [00:03<00:17, 19.99it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.2.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

  8%|█████████████████▏                                                                                                                                                                                                            | 30/388 [00:03<00:17, 19.99it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.2.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

  8%|█████████████████▏                                                                                                                                                                                                            | 30/388 [00:03<00:17, 19.99it/s]
  9%|████████████████████▌                                                                                                                                                                                                         | 36/388 [00:03<00:14, 23.49it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.2.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

  9%|████████████████████▌                                                                                                                                                                                                         | 36/388 [00:03<00:14, 23.49it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.3.input_layernorm.weight", shape: (2560,), dtype: float32

  9%|████████████████████▌                                                                                                                                                                                                         | 36/388 [00:03<00:14, 23.49it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.3.input_layernorm.bias", shape: (2560,), dtype: float32

  9%|████████████████████▌                                                                                                                                                                                                         | 36/388 [00:03<00:14, 23.49it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.3.post_attention_layernorm.weight", shape: (2560,), dtype: float32

  9%|████████████████████▌                                                                                                                                                                                                         | 36/388 [00:03<00:14, 23.49it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.3.post_attention_layernorm.bias", shape: (2560,), dtype: float32

  9%|████████████████████▌                                                                                                                                                                                                         | 36/388 [00:03<00:14, 23.49it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.3.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

  9%|████████████████████▌                                                                                                                                                                                                         | 36/388 [00:03<00:14, 23.49it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.3.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

  9%|████████████████████▌                                                                                                                                                                                                         | 36/388 [00:03<00:14, 23.49it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.3.attention.query_key_value.bias", shape: (7680,), dtype: float32

  9%|████████████████████▌                                                                                                                                                                                                         | 36/388 [00:03<00:14, 23.49it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.3.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

  9%|████████████████████▌                                                                                                                                                                                                         | 36/388 [00:03<00:14, 23.49it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.3.attention.dense.q_scale", shape: (2560, 80), dtype: float32

  9%|████████████████████▌                                                                                                                                                                                                         | 36/388 [00:03<00:14, 23.49it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.3.attention.dense.bias", shape: (2560,), dtype: float32

  9%|████████████████████▌                                                                                                                                                                                                         | 36/388 [00:03<00:14, 23.49it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.3.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

  9%|████████████████████▌                                                                                                                                                                                                         | 36/388 [00:03<00:14, 23.49it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.3.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

  9%|████████████████████▌                                                                                                                                                                                                         | 36/388 [00:03<00:14, 23.49it/s]
 12%|██████████████████████████▎                                                                                                                                                                                                   | 46/388 [00:03<00:10, 32.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.3.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 12%|██████████████████████████▎                                                                                                                                                                                                   | 46/388 [00:03<00:10, 32.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.3.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 12%|██████████████████████████▎                                                                                                                                                                                                   | 46/388 [00:03<00:10, 32.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.3.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 12%|██████████████████████████▎                                                                                                                                                                                                   | 46/388 [00:03<00:10, 32.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.3.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 12%|██████████████████████████▎                                                                                                                                                                                                   | 46/388 [00:03<00:10, 32.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.4.input_layernorm.weight", shape: (2560,), dtype: float32

 12%|██████████████████████████▎                                                                                                                                                                                                   | 46/388 [00:03<00:10, 32.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.4.input_layernorm.bias", shape: (2560,), dtype: float32

 12%|██████████████████████████▎                                                                                                                                                                                                   | 46/388 [00:03<00:10, 32.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.4.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 12%|██████████████████████████▎                                                                                                                                                                                                   | 46/388 [00:03<00:10, 32.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.4.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 12%|██████████████████████████▎                                                                                                                                                                                                   | 46/388 [00:03<00:10, 32.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.4.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 12%|██████████████████████████▎                                                                                                                                                                                                   | 46/388 [00:03<00:10, 32.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.4.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 12%|██████████████████████████▎                                                                                                                                                                                                   | 46/388 [00:03<00:10, 32.52it/s]
 14%|██████████████████████████████▉                                                                                                                                                                                               | 54/388 [00:03<00:08, 38.25it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.4.attention.query_key_value.bias", shape: (7680,), dtype: float32

 14%|██████████████████████████████▉                                                                                                                                                                                               | 54/388 [00:03<00:08, 38.25it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.4.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 14%|██████████████████████████████▉                                                                                                                                                                                               | 54/388 [00:03<00:08, 38.25it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.4.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 14%|██████████████████████████████▉                                                                                                                                                                                               | 54/388 [00:03<00:08, 38.25it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.4.attention.dense.bias", shape: (2560,), dtype: float32

 14%|██████████████████████████████▉                                                                                                                                                                                               | 54/388 [00:03<00:08, 38.25it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.4.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 14%|██████████████████████████████▉                                                                                                                                                                                               | 54/388 [00:04<00:08, 38.25it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.4.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 14%|██████████████████████████████▉                                                                                                                                                                                               | 54/388 [00:04<00:08, 38.25it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.4.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 14%|██████████████████████████████▉                                                                                                                                                                                               | 54/388 [00:04<00:08, 38.25it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.4.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 14%|██████████████████████████████▉                                                                                                                                                                                               | 54/388 [00:04<00:08, 38.25it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.4.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 14%|██████████████████████████████▉                                                                                                                                                                                               | 54/388 [00:04<00:08, 38.25it/s]
 15%|██████████████████████████████████▎                                                                                                                                                                                           | 60/388 [00:04<00:08, 38.01it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.4.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 15%|██████████████████████████████████▎                                                                                                                                                                                           | 60/388 [00:04<00:08, 38.01it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.5.input_layernorm.weight", shape: (2560,), dtype: float32

 15%|██████████████████████████████████▎                                                                                                                                                                                           | 60/388 [00:04<00:08, 38.01it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.5.input_layernorm.bias", shape: (2560,), dtype: float32

 15%|██████████████████████████████████▎                                                                                                                                                                                           | 60/388 [00:04<00:08, 38.01it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.5.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 15%|██████████████████████████████████▎                                                                                                                                                                                           | 60/388 [00:04<00:08, 38.01it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.5.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 15%|██████████████████████████████████▎                                                                                                                                                                                           | 60/388 [00:04<00:08, 38.01it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.5.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 15%|██████████████████████████████████▎                                                                                                                                                                                           | 60/388 [00:04<00:08, 38.01it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.5.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 15%|██████████████████████████████████▎                                                                                                                                                                                           | 60/388 [00:04<00:08, 38.01it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.5.attention.query_key_value.bias", shape: (7680,), dtype: float32

 15%|██████████████████████████████████▎                                                                                                                                                                                           | 60/388 [00:04<00:08, 38.01it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.5.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 15%|██████████████████████████████████▎                                                                                                                                                                                           | 60/388 [00:04<00:08, 38.01it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.5.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 15%|██████████████████████████████████▎                                                                                                                                                                                           | 60/388 [00:04<00:08, 38.01it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.5.attention.dense.bias", shape: (2560,), dtype: float32

 15%|██████████████████████████████████▎                                                                                                                                                                                           | 60/388 [00:04<00:08, 38.01it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.5.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 15%|██████████████████████████████████▎                                                                                                                                                                                           | 60/388 [00:04<00:08, 38.01it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.5.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 15%|██████████████████████████████████▎                                                                                                                                                                                           | 60/388 [00:04<00:08, 38.01it/s]
 18%|████████████████████████████████████████                                                                                                                                                                                      | 70/388 [00:04<00:07, 45.38it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.5.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 18%|████████████████████████████████████████                                                                                                                                                                                      | 70/388 [00:04<00:07, 45.38it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.5.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 18%|████████████████████████████████████████                                                                                                                                                                                      | 70/388 [00:04<00:07, 45.38it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.5.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 18%|████████████████████████████████████████                                                                                                                                                                                      | 70/388 [00:04<00:07, 45.38it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.5.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 18%|████████████████████████████████████████                                                                                                                                                                                      | 70/388 [00:04<00:07, 45.38it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.6.input_layernorm.weight", shape: (2560,), dtype: float32

 18%|████████████████████████████████████████                                                                                                                                                                                      | 70/388 [00:04<00:07, 45.38it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.6.input_layernorm.bias", shape: (2560,), dtype: float32

 18%|████████████████████████████████████████                                                                                                                                                                                      | 70/388 [00:04<00:07, 45.38it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.6.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 18%|████████████████████████████████████████                                                                                                                                                                                      | 70/388 [00:04<00:07, 45.38it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.6.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 18%|████████████████████████████████████████                                                                                                                                                                                      | 70/388 [00:04<00:07, 45.38it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.6.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 18%|████████████████████████████████████████                                                                                                                                                                                      | 70/388 [00:04<00:07, 45.38it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.6.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 18%|████████████████████████████████████████                                                                                                                                                                                      | 70/388 [00:04<00:07, 45.38it/s]
 20%|████████████████████████████████████████████▋                                                                                                                                                                                 | 78/388 [00:04<00:06, 48.80it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.6.attention.query_key_value.bias", shape: (7680,), dtype: float32

 20%|████████████████████████████████████████████▋                                                                                                                                                                                 | 78/388 [00:04<00:06, 48.80it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.6.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 20%|████████████████████████████████████████████▋                                                                                                                                                                                 | 78/388 [00:04<00:06, 48.80it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.6.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 20%|████████████████████████████████████████████▋                                                                                                                                                                                 | 78/388 [00:04<00:06, 48.80it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.6.attention.dense.bias", shape: (2560,), dtype: float32

 20%|████████████████████████████████████████████▋                                                                                                                                                                                 | 78/388 [00:04<00:06, 48.80it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.6.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 20%|████████████████████████████████████████████▋                                                                                                                                                                                 | 78/388 [00:04<00:06, 48.80it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.6.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 20%|████████████████████████████████████████████▋                                                                                                                                                                                 | 78/388 [00:04<00:06, 48.80it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.6.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 20%|████████████████████████████████████████████▋                                                                                                                                                                                 | 78/388 [00:04<00:06, 48.80it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.6.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 20%|████████████████████████████████████████████▋                                                                                                                                                                                 | 78/388 [00:04<00:06, 48.80it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.6.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 20%|████████████████████████████████████████████▋                                                                                                                                                                                 | 78/388 [00:04<00:06, 48.80it/s]
 22%|████████████████████████████████████████████████                                                                                                                                                                              | 84/388 [00:04<00:06, 45.47it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.6.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 22%|████████████████████████████████████████████████                                                                                                                                                                              | 84/388 [00:04<00:06, 45.47it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.7.input_layernorm.weight", shape: (2560,), dtype: float32

 22%|████████████████████████████████████████████████                                                                                                                                                                              | 84/388 [00:04<00:06, 45.47it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.7.input_layernorm.bias", shape: (2560,), dtype: float32

 22%|████████████████████████████████████████████████                                                                                                                                                                              | 84/388 [00:04<00:06, 45.47it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.7.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 22%|████████████████████████████████████████████████                                                                                                                                                                              | 84/388 [00:04<00:06, 45.47it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.7.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 22%|████████████████████████████████████████████████                                                                                                                                                                              | 84/388 [00:04<00:06, 45.47it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.7.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 22%|████████████████████████████████████████████████                                                                                                                                                                              | 84/388 [00:04<00:06, 45.47it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.7.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 22%|████████████████████████████████████████████████                                                                                                                                                                              | 84/388 [00:04<00:06, 45.47it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.7.attention.query_key_value.bias", shape: (7680,), dtype: float32

 22%|████████████████████████████████████████████████                                                                                                                                                                              | 84/388 [00:04<00:06, 45.47it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.7.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 22%|████████████████████████████████████████████████                                                                                                                                                                              | 84/388 [00:04<00:06, 45.47it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.7.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 22%|████████████████████████████████████████████████                                                                                                                                                                              | 84/388 [00:04<00:06, 45.47it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.7.attention.dense.bias", shape: (2560,), dtype: float32

 22%|████████████████████████████████████████████████                                                                                                                                                                              | 84/388 [00:04<00:06, 45.47it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.7.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 22%|████████████████████████████████████████████████                                                                                                                                                                              | 84/388 [00:04<00:06, 45.47it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.7.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 22%|████████████████████████████████████████████████                                                                                                                                                                              | 84/388 [00:04<00:06, 45.47it/s]
 24%|█████████████████████████████████████████████████████▊                                                                                                                                                                        | 94/388 [00:04<00:05, 51.56it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.7.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 24%|█████████████████████████████████████████████████████▊                                                                                                                                                                        | 94/388 [00:04<00:05, 51.56it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.7.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 24%|█████████████████████████████████████████████████████▊                                                                                                                                                                        | 94/388 [00:04<00:05, 51.56it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.7.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 24%|█████████████████████████████████████████████████████▊                                                                                                                                                                        | 94/388 [00:04<00:05, 51.56it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.7.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 24%|█████████████████████████████████████████████████████▊                                                                                                                                                                        | 94/388 [00:04<00:05, 51.56it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.8.input_layernorm.weight", shape: (2560,), dtype: float32

 24%|█████████████████████████████████████████████████████▊                                                                                                                                                                        | 94/388 [00:04<00:05, 51.56it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.8.input_layernorm.bias", shape: (2560,), dtype: float32

 24%|█████████████████████████████████████████████████████▊                                                                                                                                                                        | 94/388 [00:04<00:05, 51.56it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.8.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 24%|█████████████████████████████████████████████████████▊                                                                                                                                                                        | 94/388 [00:04<00:05, 51.56it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.8.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 24%|█████████████████████████████████████████████████████▊                                                                                                                                                                        | 94/388 [00:04<00:05, 51.56it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.8.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 24%|█████████████████████████████████████████████████████▊                                                                                                                                                                        | 94/388 [00:04<00:05, 51.56it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.8.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 24%|█████████████████████████████████████████████████████▊                                                                                                                                                                        | 94/388 [00:04<00:05, 51.56it/s]
 26%|██████████████████████████████████████████████████████████                                                                                                                                                                   | 102/388 [00:04<00:05, 53.85it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.8.attention.query_key_value.bias", shape: (7680,), dtype: float32

 26%|██████████████████████████████████████████████████████████                                                                                                                                                                   | 102/388 [00:04<00:05, 53.85it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.8.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 26%|██████████████████████████████████████████████████████████                                                                                                                                                                   | 102/388 [00:04<00:05, 53.85it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.8.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 26%|██████████████████████████████████████████████████████████                                                                                                                                                                   | 102/388 [00:04<00:05, 53.85it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.8.attention.dense.bias", shape: (2560,), dtype: float32

 26%|██████████████████████████████████████████████████████████                                                                                                                                                                   | 102/388 [00:04<00:05, 53.85it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.8.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 26%|██████████████████████████████████████████████████████████                                                                                                                                                                   | 102/388 [00:04<00:05, 53.85it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.8.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 26%|██████████████████████████████████████████████████████████                                                                                                                                                                   | 102/388 [00:04<00:05, 53.85it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.8.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 26%|██████████████████████████████████████████████████████████                                                                                                                                                                   | 102/388 [00:04<00:05, 53.85it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.8.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 26%|██████████████████████████████████████████████████████████                                                                                                                                                                   | 102/388 [00:04<00:05, 53.85it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.8.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 26%|██████████████████████████████████████████████████████████                                                                                                                                                                   | 102/388 [00:04<00:05, 53.85it/s]
 28%|█████████████████████████████████████████████████████████████▌                                                                                                                                                               | 108/388 [00:04<00:05, 48.84it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.8.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 28%|█████████████████████████████████████████████████████████████▌                                                                                                                                                               | 108/388 [00:04<00:05, 48.84it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.9.input_layernorm.weight", shape: (2560,), dtype: float32

 28%|█████████████████████████████████████████████████████████████▌                                                                                                                                                               | 108/388 [00:04<00:05, 48.84it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.9.input_layernorm.bias", shape: (2560,), dtype: float32

 28%|█████████████████████████████████████████████████████████████▌                                                                                                                                                               | 108/388 [00:04<00:05, 48.84it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.9.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 28%|█████████████████████████████████████████████████████████████▌                                                                                                                                                               | 108/388 [00:04<00:05, 48.84it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.9.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 28%|█████████████████████████████████████████████████████████████▌                                                                                                                                                               | 108/388 [00:04<00:05, 48.84it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.9.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 28%|█████████████████████████████████████████████████████████████▌                                                                                                                                                               | 108/388 [00:05<00:05, 48.84it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.9.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 28%|█████████████████████████████████████████████████████████████▌                                                                                                                                                               | 108/388 [00:05<00:05, 48.84it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.9.attention.query_key_value.bias", shape: (7680,), dtype: float32

 28%|█████████████████████████████████████████████████████████████▌                                                                                                                                                               | 108/388 [00:05<00:05, 48.84it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.9.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 28%|█████████████████████████████████████████████████████████████▌                                                                                                                                                               | 108/388 [00:05<00:05, 48.84it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.9.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 28%|█████████████████████████████████████████████████████████████▌                                                                                                                                                               | 108/388 [00:05<00:05, 48.84it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.9.attention.dense.bias", shape: (2560,), dtype: float32

 28%|█████████████████████████████████████████████████████████████▌                                                                                                                                                               | 108/388 [00:05<00:05, 48.84it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.9.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 28%|█████████████████████████████████████████████████████████████▌                                                                                                                                                               | 108/388 [00:05<00:05, 48.84it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.9.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 28%|█████████████████████████████████████████████████████████████▌                                                                                                                                                               | 108/388 [00:05<00:05, 48.84it/s]
 30%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                         | 118/388 [00:05<00:04, 54.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.9.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 30%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                         | 118/388 [00:05<00:04, 54.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.9.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 30%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                         | 118/388 [00:05<00:04, 54.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.9.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 30%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                         | 118/388 [00:05<00:04, 54.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.9.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 30%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                         | 118/388 [00:05<00:04, 54.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.10.input_layernorm.weight", shape: (2560,), dtype: float32

 30%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                         | 118/388 [00:05<00:04, 54.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.10.input_layernorm.bias", shape: (2560,), dtype: float32

 30%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                         | 118/388 [00:05<00:04, 54.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.10.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 30%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                         | 118/388 [00:05<00:04, 54.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.10.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 30%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                         | 118/388 [00:05<00:04, 54.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.10.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 30%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                         | 118/388 [00:05<00:04, 54.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.10.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 30%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                         | 118/388 [00:05<00:04, 54.26it/s]
 32%|███████████████████████████████████████████████████████████████████████▊                                                                                                                                                     | 126/388 [00:05<00:04, 55.89it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.10.attention.query_key_value.bias", shape: (7680,), dtype: float32

 32%|███████████████████████████████████████████████████████████████████████▊                                                                                                                                                     | 126/388 [00:05<00:04, 55.89it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.10.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 32%|███████████████████████████████████████████████████████████████████████▊                                                                                                                                                     | 126/388 [00:05<00:04, 55.89it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.10.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 32%|███████████████████████████████████████████████████████████████████████▊                                                                                                                                                     | 126/388 [00:05<00:04, 55.89it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.10.attention.dense.bias", shape: (2560,), dtype: float32

 32%|███████████████████████████████████████████████████████████████████████▊                                                                                                                                                     | 126/388 [00:05<00:04, 55.89it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.10.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 32%|███████████████████████████████████████████████████████████████████████▊                                                                                                                                                     | 126/388 [00:05<00:04, 55.89it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.10.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 32%|███████████████████████████████████████████████████████████████████████▊                                                                                                                                                     | 126/388 [00:05<00:04, 55.89it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.10.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 32%|███████████████████████████████████████████████████████████████████████▊                                                                                                                                                     | 126/388 [00:05<00:04, 55.89it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.10.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 32%|███████████████████████████████████████████████████████████████████████▊                                                                                                                                                     | 126/388 [00:05<00:04, 55.89it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.10.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 32%|███████████████████████████████████████████████████████████████████████▊                                                                                                                                                     | 126/388 [00:05<00:04, 55.89it/s]
 34%|███████████████████████████████████████████████████████████████████████████▏                                                                                                                                                 | 132/388 [00:05<00:05, 50.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.10.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 34%|███████████████████████████████████████████████████████████████████████████▏                                                                                                                                                 | 132/388 [00:05<00:05, 50.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.11.input_layernorm.weight", shape: (2560,), dtype: float32

 34%|███████████████████████████████████████████████████████████████████████████▏                                                                                                                                                 | 132/388 [00:05<00:05, 50.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.11.input_layernorm.bias", shape: (2560,), dtype: float32

 34%|███████████████████████████████████████████████████████████████████████████▏                                                                                                                                                 | 132/388 [00:05<00:05, 50.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.11.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 34%|███████████████████████████████████████████████████████████████████████████▏                                                                                                                                                 | 132/388 [00:05<00:05, 50.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.11.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 34%|███████████████████████████████████████████████████████████████████████████▏                                                                                                                                                 | 132/388 [00:05<00:05, 50.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.11.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 34%|███████████████████████████████████████████████████████████████████████████▏                                                                                                                                                 | 132/388 [00:05<00:05, 50.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.11.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 34%|███████████████████████████████████████████████████████████████████████████▏                                                                                                                                                 | 132/388 [00:05<00:05, 50.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.11.attention.query_key_value.bias", shape: (7680,), dtype: float32

 34%|███████████████████████████████████████████████████████████████████████████▏                                                                                                                                                 | 132/388 [00:05<00:05, 50.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.11.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 34%|███████████████████████████████████████████████████████████████████████████▏                                                                                                                                                 | 132/388 [00:05<00:05, 50.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.11.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 34%|███████████████████████████████████████████████████████████████████████████▏                                                                                                                                                 | 132/388 [00:05<00:05, 50.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.11.attention.dense.bias", shape: (2560,), dtype: float32

 34%|███████████████████████████████████████████████████████████████████████████▏                                                                                                                                                 | 132/388 [00:05<00:05, 50.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.11.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 34%|███████████████████████████████████████████████████████████████████████████▏                                                                                                                                                 | 132/388 [00:05<00:05, 50.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.11.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 34%|███████████████████████████████████████████████████████████████████████████▏                                                                                                                                                 | 132/388 [00:05<00:05, 50.17it/s]
 37%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                            | 142/388 [00:05<00:04, 55.27it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.11.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 37%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                            | 142/388 [00:05<00:04, 55.27it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.11.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 37%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                            | 142/388 [00:05<00:04, 55.27it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.11.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 37%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                            | 142/388 [00:05<00:04, 55.27it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.11.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 37%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                            | 142/388 [00:05<00:04, 55.27it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.12.input_layernorm.weight", shape: (2560,), dtype: float32

 37%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                            | 142/388 [00:05<00:04, 55.27it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.12.input_layernorm.bias", shape: (2560,), dtype: float32

 37%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                            | 142/388 [00:05<00:04, 55.27it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.12.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 37%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                            | 142/388 [00:05<00:04, 55.27it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.12.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 37%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                            | 142/388 [00:05<00:04, 55.27it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.12.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 37%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                            | 142/388 [00:05<00:04, 55.27it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.12.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 37%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                            | 142/388 [00:05<00:04, 55.27it/s]
 39%|█████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                       | 150/388 [00:05<00:04, 56.67it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.12.attention.query_key_value.bias", shape: (7680,), dtype: float32

 39%|█████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                       | 150/388 [00:05<00:04, 56.67it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.12.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 39%|█████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                       | 150/388 [00:05<00:04, 56.67it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.12.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 39%|█████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                       | 150/388 [00:05<00:04, 56.67it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.12.attention.dense.bias", shape: (2560,), dtype: float32

 39%|█████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                       | 150/388 [00:05<00:04, 56.67it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.12.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 39%|█████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                       | 150/388 [00:05<00:04, 56.67it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.12.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 39%|█████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                       | 150/388 [00:05<00:04, 56.67it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.12.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 39%|█████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                       | 150/388 [00:05<00:04, 56.67it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.12.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 39%|█████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                       | 150/388 [00:05<00:04, 56.67it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.12.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 39%|█████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                       | 150/388 [00:05<00:04, 56.67it/s]
 40%|████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                    | 156/388 [00:05<00:04, 50.59it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.12.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 40%|████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                    | 156/388 [00:05<00:04, 50.59it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.13.input_layernorm.weight", shape: (2560,), dtype: float32

 40%|████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                    | 156/388 [00:05<00:04, 50.59it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.13.input_layernorm.bias", shape: (2560,), dtype: float32

 40%|████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                    | 156/388 [00:05<00:04, 50.59it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.13.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 40%|████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                    | 156/388 [00:05<00:04, 50.59it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.13.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 40%|████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                    | 156/388 [00:05<00:04, 50.59it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.13.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 40%|████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                    | 156/388 [00:05<00:04, 50.59it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.13.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 40%|████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                    | 156/388 [00:05<00:04, 50.59it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.13.attention.query_key_value.bias", shape: (7680,), dtype: float32

 40%|████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                    | 156/388 [00:05<00:04, 50.59it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.13.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 40%|████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                    | 156/388 [00:05<00:04, 50.59it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.13.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 40%|████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                    | 156/388 [00:05<00:04, 50.59it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.13.attention.dense.bias", shape: (2560,), dtype: float32

 40%|████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                    | 156/388 [00:05<00:04, 50.59it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.13.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 40%|████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                    | 156/388 [00:06<00:04, 50.59it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.13.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 40%|████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                    | 156/388 [00:06<00:04, 50.59it/s]
 43%|██████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                              | 166/388 [00:06<00:04, 55.45it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.13.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 43%|██████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                              | 166/388 [00:06<00:04, 55.45it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.13.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 43%|██████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                              | 166/388 [00:06<00:04, 55.45it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.13.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 43%|██████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                              | 166/388 [00:06<00:04, 55.45it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.13.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 43%|██████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                              | 166/388 [00:06<00:04, 55.45it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.14.input_layernorm.weight", shape: (2560,), dtype: float32

 43%|██████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                              | 166/388 [00:06<00:04, 55.45it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.14.input_layernorm.bias", shape: (2560,), dtype: float32

 43%|██████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                              | 166/388 [00:06<00:04, 55.45it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.14.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 43%|██████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                              | 166/388 [00:06<00:04, 55.45it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.14.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 43%|██████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                              | 166/388 [00:06<00:04, 55.45it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.14.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 43%|██████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                              | 166/388 [00:06<00:04, 55.45it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.14.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 43%|██████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                              | 166/388 [00:06<00:04, 55.45it/s]
 45%|███████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                          | 174/388 [00:06<00:03, 56.74it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.14.attention.query_key_value.bias", shape: (7680,), dtype: float32

 45%|███████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                          | 174/388 [00:06<00:03, 56.74it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.14.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 45%|███████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                          | 174/388 [00:06<00:03, 56.74it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.14.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 45%|███████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                          | 174/388 [00:06<00:03, 56.74it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.14.attention.dense.bias", shape: (2560,), dtype: float32

 45%|███████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                          | 174/388 [00:06<00:03, 56.74it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.14.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 45%|███████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                          | 174/388 [00:06<00:03, 56.74it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.14.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 45%|███████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                          | 174/388 [00:06<00:03, 56.74it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.14.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 45%|███████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                          | 174/388 [00:06<00:03, 56.74it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.14.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 45%|███████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                          | 174/388 [00:06<00:03, 56.74it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.14.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 45%|███████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                          | 174/388 [00:06<00:03, 56.74it/s]
 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                      | 180/388 [00:06<00:04, 50.64it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.14.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                      | 180/388 [00:06<00:04, 50.64it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.15.input_layernorm.weight", shape: (2560,), dtype: float32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                      | 180/388 [00:06<00:04, 50.64it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.15.input_layernorm.bias", shape: (2560,), dtype: float32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                      | 180/388 [00:06<00:04, 50.64it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.15.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                      | 180/388 [00:06<00:04, 50.64it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.15.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                      | 180/388 [00:06<00:04, 50.64it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.15.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                      | 180/388 [00:06<00:04, 50.64it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.15.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                      | 180/388 [00:06<00:04, 50.64it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.15.attention.query_key_value.bias", shape: (7680,), dtype: float32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                      | 180/388 [00:06<00:04, 50.64it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.15.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                      | 180/388 [00:06<00:04, 50.64it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.15.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                      | 180/388 [00:06<00:04, 50.64it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.15.attention.dense.bias", shape: (2560,), dtype: float32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                      | 180/388 [00:06<00:04, 50.64it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.15.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                      | 180/388 [00:06<00:04, 50.64it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.15.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                      | 180/388 [00:06<00:04, 50.64it/s]
 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                | 190/388 [00:06<00:03, 55.41it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.15.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                | 190/388 [00:06<00:03, 55.41it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.15.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                | 190/388 [00:06<00:03, 55.41it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.15.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                | 190/388 [00:06<00:03, 55.41it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.15.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                | 190/388 [00:06<00:03, 55.41it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.16.input_layernorm.weight", shape: (2560,), dtype: float32

 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                | 190/388 [00:06<00:03, 55.41it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.16.input_layernorm.bias", shape: (2560,), dtype: float32

 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                | 190/388 [00:06<00:03, 55.41it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.16.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                | 190/388 [00:06<00:03, 55.41it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.16.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                | 190/388 [00:06<00:03, 55.41it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.16.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                | 190/388 [00:06<00:03, 55.41it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.16.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                | 190/388 [00:06<00:03, 55.41it/s]
 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                            | 198/388 [00:06<00:03, 56.58it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.16.attention.query_key_value.bias", shape: (7680,), dtype: float32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                            | 198/388 [00:06<00:03, 56.58it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.16.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                            | 198/388 [00:06<00:03, 56.58it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.16.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                            | 198/388 [00:06<00:03, 56.58it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.16.attention.dense.bias", shape: (2560,), dtype: float32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                            | 198/388 [00:06<00:03, 56.58it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.16.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                            | 198/388 [00:06<00:03, 56.58it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.16.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                            | 198/388 [00:06<00:03, 56.58it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.16.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                            | 198/388 [00:06<00:03, 56.58it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.16.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                            | 198/388 [00:06<00:03, 56.58it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.16.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                            | 198/388 [00:06<00:03, 56.58it/s]
 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                        | 204/388 [00:06<00:03, 50.42it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.16.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                        | 204/388 [00:06<00:03, 50.42it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.17.input_layernorm.weight", shape: (2560,), dtype: float32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                        | 204/388 [00:06<00:03, 50.42it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.17.input_layernorm.bias", shape: (2560,), dtype: float32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                        | 204/388 [00:06<00:03, 50.42it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.17.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                        | 204/388 [00:06<00:03, 50.42it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.17.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                        | 204/388 [00:06<00:03, 50.42it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.17.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                        | 204/388 [00:06<00:03, 50.42it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.17.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                        | 204/388 [00:06<00:03, 50.42it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.17.attention.query_key_value.bias", shape: (7680,), dtype: float32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                        | 204/388 [00:06<00:03, 50.42it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.17.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                        | 204/388 [00:06<00:03, 50.42it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.17.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                        | 204/388 [00:06<00:03, 50.42it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.17.attention.dense.bias", shape: (2560,), dtype: float32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                        | 204/388 [00:06<00:03, 50.42it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.17.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                        | 204/388 [00:06<00:03, 50.42it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.17.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                        | 204/388 [00:06<00:03, 50.42it/s]
 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                   | 214/388 [00:06<00:03, 55.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.17.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                   | 214/388 [00:06<00:03, 55.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.17.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                   | 214/388 [00:06<00:03, 55.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.17.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                   | 214/388 [00:06<00:03, 55.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.17.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                   | 214/388 [00:06<00:03, 55.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.18.input_layernorm.weight", shape: (2560,), dtype: float32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                   | 214/388 [00:06<00:03, 55.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.18.input_layernorm.bias", shape: (2560,), dtype: float32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                   | 214/388 [00:06<00:03, 55.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.18.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                   | 214/388 [00:06<00:03, 55.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.18.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                   | 214/388 [00:06<00:03, 55.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.18.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                   | 214/388 [00:07<00:03, 55.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.18.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                   | 214/388 [00:07<00:03, 55.17it/s]
 57%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                              | 222/388 [00:07<00:03, 53.36it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.18.attention.query_key_value.bias", shape: (7680,), dtype: float32

 57%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                              | 222/388 [00:07<00:03, 53.36it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.18.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 57%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                              | 222/388 [00:07<00:03, 53.36it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.18.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 57%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                              | 222/388 [00:07<00:03, 53.36it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.18.attention.dense.bias", shape: (2560,), dtype: float32

 57%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                              | 222/388 [00:07<00:03, 53.36it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.18.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 57%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                              | 222/388 [00:07<00:03, 53.36it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.18.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 57%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                              | 222/388 [00:07<00:03, 53.36it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.18.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 57%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                              | 222/388 [00:07<00:03, 53.36it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.18.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 57%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                              | 222/388 [00:07<00:03, 53.36it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.18.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 57%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                              | 222/388 [00:07<00:03, 53.36it/s]
 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 228/388 [00:07<00:03, 44.24it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.18.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 228/388 [00:07<00:03, 44.24it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.19.input_layernorm.weight", shape: (2560,), dtype: float32

 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 228/388 [00:07<00:03, 44.24it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.19.input_layernorm.bias", shape: (2560,), dtype: float32

 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 228/388 [00:07<00:03, 44.24it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.19.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 228/388 [00:07<00:03, 44.24it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.19.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 228/388 [00:07<00:03, 44.24it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.19.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 228/388 [00:07<00:03, 44.24it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.19.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 228/388 [00:07<00:03, 44.24it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.19.attention.query_key_value.bias", shape: (7680,), dtype: float32

 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 228/388 [00:07<00:03, 44.24it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.19.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 228/388 [00:07<00:03, 44.24it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.19.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 228/388 [00:07<00:03, 44.24it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.19.attention.dense.bias", shape: (2560,), dtype: float32

 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 228/388 [00:07<00:03, 44.24it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.19.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 228/388 [00:07<00:03, 44.24it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.19.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 228/388 [00:07<00:03, 44.24it/s]
 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 238/388 [00:07<00:03, 47.98it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.19.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 238/388 [00:07<00:03, 47.98it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.19.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 238/388 [00:07<00:03, 47.98it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.19.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 238/388 [00:07<00:03, 47.98it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.19.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 238/388 [00:07<00:03, 47.98it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.20.input_layernorm.weight", shape: (2560,), dtype: float32

 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 238/388 [00:07<00:03, 47.98it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.20.input_layernorm.bias", shape: (2560,), dtype: float32

 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 238/388 [00:07<00:03, 47.98it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.20.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 238/388 [00:07<00:03, 47.98it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.20.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 238/388 [00:07<00:03, 47.98it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.20.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 238/388 [00:07<00:03, 47.98it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.20.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 238/388 [00:07<00:03, 47.98it/s]
 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 246/388 [00:07<00:02, 48.93it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.20.attention.query_key_value.bias", shape: (7680,), dtype: float32

 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 246/388 [00:07<00:02, 48.93it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.20.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 246/388 [00:07<00:02, 48.93it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.20.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 246/388 [00:07<00:02, 48.93it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.20.attention.dense.bias", shape: (2560,), dtype: float32

 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 246/388 [00:07<00:02, 48.93it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.20.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 246/388 [00:07<00:02, 48.93it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.20.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 246/388 [00:07<00:02, 48.93it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.20.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 246/388 [00:07<00:02, 48.93it/s]
 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 251/388 [00:07<00:02, 49.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.20.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 251/388 [00:07<00:02, 49.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.20.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 251/388 [00:07<00:02, 49.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.20.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 251/388 [00:07<00:02, 49.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.21.input_layernorm.weight", shape: (2560,), dtype: float32

 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 251/388 [00:07<00:02, 49.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.21.input_layernorm.bias", shape: (2560,), dtype: float32

 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 251/388 [00:07<00:02, 49.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.21.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 251/388 [00:07<00:02, 49.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.21.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 251/388 [00:07<00:02, 49.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.21.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 251/388 [00:07<00:02, 49.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.21.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 251/388 [00:07<00:02, 49.08it/s]
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                          | 258/388 [00:07<00:02, 48.11it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.21.attention.query_key_value.bias", shape: (7680,), dtype: float32

 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                          | 258/388 [00:07<00:02, 48.11it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.21.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                          | 258/388 [00:07<00:02, 48.11it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.21.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                          | 258/388 [00:07<00:02, 48.11it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.21.attention.dense.bias", shape: (2560,), dtype: float32

 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                          | 258/388 [00:07<00:02, 48.11it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.21.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                          | 258/388 [00:07<00:02, 48.11it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.21.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                          | 258/388 [00:07<00:02, 48.11it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.21.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                          | 258/388 [00:07<00:02, 48.11it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.21.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                          | 258/388 [00:08<00:02, 48.11it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.21.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                          | 258/388 [00:08<00:02, 48.11it/s]
 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 264/388 [00:08<00:02, 43.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.21.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 264/388 [00:08<00:02, 43.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.22.input_layernorm.weight", shape: (2560,), dtype: float32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 264/388 [00:08<00:02, 43.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.22.input_layernorm.bias", shape: (2560,), dtype: float32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 264/388 [00:08<00:02, 43.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.22.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 264/388 [00:08<00:02, 43.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.22.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 264/388 [00:08<00:02, 43.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.22.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 264/388 [00:08<00:02, 43.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.22.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 264/388 [00:08<00:02, 43.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.22.attention.query_key_value.bias", shape: (7680,), dtype: float32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 264/388 [00:08<00:02, 43.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.22.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 264/388 [00:08<00:02, 43.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.22.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 264/388 [00:08<00:02, 43.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.22.attention.dense.bias", shape: (2560,), dtype: float32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 264/388 [00:08<00:02, 43.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.22.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 264/388 [00:08<00:02, 43.26it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.22.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 264/388 [00:08<00:02, 43.26it/s]
 71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                 | 274/388 [00:08<00:02, 48.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.22.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                 | 274/388 [00:08<00:02, 48.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.22.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                 | 274/388 [00:08<00:02, 48.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.22.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                 | 274/388 [00:08<00:02, 48.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.22.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                 | 274/388 [00:08<00:02, 48.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.23.input_layernorm.weight", shape: (2560,), dtype: float32

 71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                 | 274/388 [00:08<00:02, 48.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.23.input_layernorm.bias", shape: (2560,), dtype: float32

 71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                 | 274/388 [00:08<00:02, 48.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.23.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                 | 274/388 [00:08<00:02, 48.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.23.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                 | 274/388 [00:08<00:02, 48.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.23.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                 | 274/388 [00:08<00:02, 48.08it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.23.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                 | 274/388 [00:08<00:02, 48.08it/s]
 73%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                            | 282/388 [00:08<00:02, 49.44it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.23.attention.query_key_value.bias", shape: (7680,), dtype: float32

 73%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                            | 282/388 [00:08<00:02, 49.44it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.23.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 73%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                            | 282/388 [00:08<00:02, 49.44it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.23.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 73%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                            | 282/388 [00:08<00:02, 49.44it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.23.attention.dense.bias", shape: (2560,), dtype: float32

 73%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                            | 282/388 [00:08<00:02, 49.44it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.23.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 73%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                            | 282/388 [00:08<00:02, 49.44it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.23.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 73%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                            | 282/388 [00:08<00:02, 49.44it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.23.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 73%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                            | 282/388 [00:08<00:02, 49.44it/s]
 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                         | 287/388 [00:08<00:02, 48.91it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.23.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                         | 287/388 [00:08<00:02, 48.91it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.23.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                         | 287/388 [00:08<00:02, 48.91it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.23.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                         | 287/388 [00:08<00:02, 48.91it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.24.input_layernorm.weight", shape: (2560,), dtype: float32

 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                         | 287/388 [00:08<00:02, 48.91it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.24.input_layernorm.bias", shape: (2560,), dtype: float32

 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                         | 287/388 [00:08<00:02, 48.91it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.24.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                         | 287/388 [00:08<00:02, 48.91it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.24.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                         | 287/388 [00:08<00:02, 48.91it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.24.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                         | 287/388 [00:08<00:02, 48.91it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.24.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                         | 287/388 [00:08<00:02, 48.91it/s]
 76%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                     | 294/388 [00:08<00:01, 47.23it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.24.attention.query_key_value.bias", shape: (7680,), dtype: float32

 76%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                     | 294/388 [00:08<00:01, 47.23it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.24.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 76%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                     | 294/388 [00:08<00:01, 47.23it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.24.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 76%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                     | 294/388 [00:08<00:01, 47.23it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.24.attention.dense.bias", shape: (2560,), dtype: float32

 76%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                     | 294/388 [00:08<00:01, 47.23it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.24.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 76%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                     | 294/388 [00:08<00:01, 47.23it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.24.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 76%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                     | 294/388 [00:08<00:01, 47.23it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.24.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 76%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                     | 294/388 [00:08<00:01, 47.23it/s]
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                  | 299/388 [00:08<00:01, 45.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.24.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                  | 299/388 [00:08<00:01, 45.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.24.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                  | 299/388 [00:08<00:01, 45.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.24.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                  | 299/388 [00:08<00:01, 45.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.25.input_layernorm.weight", shape: (2560,), dtype: float32

 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                  | 299/388 [00:08<00:01, 45.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.25.input_layernorm.bias", shape: (2560,), dtype: float32

 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                  | 299/388 [00:08<00:01, 45.17it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.25.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                  | 299/388 [00:08<00:01, 45.17it/s]
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                               | 304/388 [00:08<00:01, 45.91it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.25.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                               | 304/388 [00:08<00:01, 45.91it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.25.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                               | 304/388 [00:08<00:01, 45.91it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.25.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                               | 304/388 [00:08<00:01, 45.91it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.25.attention.query_key_value.bias", shape: (7680,), dtype: float32

 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                               | 304/388 [00:08<00:01, 45.91it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.25.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                               | 304/388 [00:08<00:01, 45.91it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.25.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                               | 304/388 [00:08<00:01, 45.91it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.25.attention.dense.bias", shape: (2560,), dtype: float32

 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                               | 304/388 [00:08<00:01, 45.91it/s]
 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                             | 309/388 [00:08<00:01, 45.35it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.25.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                             | 309/388 [00:09<00:01, 45.35it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.25.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                             | 309/388 [00:09<00:01, 45.35it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.25.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                             | 309/388 [00:09<00:01, 45.35it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.25.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                             | 309/388 [00:09<00:01, 45.35it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.25.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                             | 309/388 [00:09<00:01, 45.35it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.25.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                             | 309/388 [00:09<00:01, 45.35it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.26.input_layernorm.weight", shape: (2560,), dtype: float32

 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                             | 309/388 [00:09<00:01, 45.35it/s]
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                          | 314/388 [00:09<00:02, 36.90it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.26.input_layernorm.bias", shape: (2560,), dtype: float32

 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                          | 314/388 [00:09<00:02, 36.90it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.26.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                          | 314/388 [00:09<00:02, 36.90it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.26.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                          | 314/388 [00:09<00:02, 36.90it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.26.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                          | 314/388 [00:09<00:02, 36.90it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.26.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                          | 314/388 [00:09<00:02, 36.90it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.26.attention.query_key_value.bias", shape: (7680,), dtype: float32

 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                          | 314/388 [00:09<00:02, 36.90it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.26.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                          | 314/388 [00:09<00:02, 36.90it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.26.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                          | 314/388 [00:09<00:02, 36.90it/s]
 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                      | 320/388 [00:09<00:01, 40.55it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.26.attention.dense.bias", shape: (2560,), dtype: float32

 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                      | 320/388 [00:09<00:01, 40.55it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.26.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                      | 320/388 [00:09<00:01, 40.55it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.26.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                      | 320/388 [00:09<00:01, 40.55it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.26.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                      | 320/388 [00:09<00:01, 40.55it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.26.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                      | 320/388 [00:09<00:01, 40.55it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.26.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                      | 320/388 [00:09<00:01, 40.55it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.26.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                      | 320/388 [00:09<00:01, 40.55it/s]
 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                    | 325/388 [00:09<00:01, 34.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.27.input_layernorm.weight", shape: (2560,), dtype: float32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                    | 325/388 [00:09<00:01, 34.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.27.input_layernorm.bias", shape: (2560,), dtype: float32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                    | 325/388 [00:09<00:01, 34.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.27.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                    | 325/388 [00:09<00:01, 34.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.27.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                    | 325/388 [00:09<00:01, 34.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.27.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                    | 325/388 [00:09<00:01, 34.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.27.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                    | 325/388 [00:09<00:01, 34.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.27.attention.query_key_value.bias", shape: (7680,), dtype: float32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                    | 325/388 [00:09<00:01, 34.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.27.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                    | 325/388 [00:09<00:01, 34.52it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.27.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                    | 325/388 [00:09<00:01, 34.52it/s]
 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                | 332/388 [00:09<00:01, 40.79it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.27.attention.dense.bias", shape: (2560,), dtype: float32

 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                | 332/388 [00:09<00:01, 40.79it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.27.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                | 332/388 [00:09<00:01, 40.79it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.27.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                | 332/388 [00:09<00:01, 40.79it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.27.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                | 332/388 [00:09<00:01, 40.79it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.27.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                | 332/388 [00:09<00:01, 40.79it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.27.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                | 332/388 [00:09<00:01, 40.79it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.27.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                | 332/388 [00:09<00:01, 40.79it/s]
 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                             | 337/388 [00:09<00:01, 34.76it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.28.input_layernorm.weight", shape: (2560,), dtype: float32

 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                             | 337/388 [00:09<00:01, 34.76it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.28.input_layernorm.bias", shape: (2560,), dtype: float32

 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                             | 337/388 [00:09<00:01, 34.76it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.28.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                             | 337/388 [00:09<00:01, 34.76it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.28.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                             | 337/388 [00:09<00:01, 34.76it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.28.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                             | 337/388 [00:09<00:01, 34.76it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.28.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                             | 337/388 [00:09<00:01, 34.76it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.28.attention.query_key_value.bias", shape: (7680,), dtype: float32

 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                             | 337/388 [00:09<00:01, 34.76it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.28.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                             | 337/388 [00:09<00:01, 34.76it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.28.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                             | 337/388 [00:09<00:01, 34.76it/s]
 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 344/388 [00:09<00:01, 40.93it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.28.attention.dense.bias", shape: (2560,), dtype: float32

 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 344/388 [00:09<00:01, 40.93it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.28.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 344/388 [00:10<00:01, 40.93it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.28.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 344/388 [00:10<00:01, 40.93it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.28.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 344/388 [00:10<00:01, 40.93it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.28.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 344/388 [00:10<00:01, 40.93it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.28.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 344/388 [00:10<00:01, 40.93it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.28.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 344/388 [00:10<00:01, 40.93it/s]
 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                      | 349/388 [00:10<00:01, 29.35it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.29.input_layernorm.weight", shape: (2560,), dtype: float32

 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                      | 349/388 [00:10<00:01, 29.35it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.29.input_layernorm.bias", shape: (2560,), dtype: float32

 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                      | 349/388 [00:10<00:01, 29.35it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.29.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                      | 349/388 [00:10<00:01, 29.35it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.29.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                      | 349/388 [00:10<00:01, 29.35it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.29.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                      | 349/388 [00:10<00:01, 29.35it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.29.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                      | 349/388 [00:10<00:01, 29.35it/s]
 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 354/388 [00:10<00:01, 31.98it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.29.attention.query_key_value.bias", shape: (7680,), dtype: float32

 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 354/388 [00:10<00:01, 31.98it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.29.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 354/388 [00:10<00:01, 31.98it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.29.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 354/388 [00:10<00:01, 31.98it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.29.attention.dense.bias", shape: (2560,), dtype: float32

 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 354/388 [00:10<00:01, 31.98it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.29.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 354/388 [00:10<00:01, 31.98it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.29.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 354/388 [00:10<00:01, 31.98it/s]
 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 358/388 [00:10<00:00, 30.99it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.29.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 358/388 [00:10<00:00, 30.99it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.29.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 358/388 [00:10<00:00, 30.99it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.29.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 358/388 [00:10<00:00, 30.99it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.29.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 358/388 [00:10<00:00, 30.99it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.30.input_layernorm.weight", shape: (2560,), dtype: float32

 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 358/388 [00:10<00:00, 30.99it/s]
 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 362/388 [00:10<00:00, 31.37it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.30.input_layernorm.bias", shape: (2560,), dtype: float32

 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 362/388 [00:10<00:00, 31.37it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.30.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 362/388 [00:10<00:00, 31.37it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.30.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 362/388 [00:10<00:00, 31.37it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.30.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 362/388 [00:10<00:00, 31.37it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.30.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 362/388 [00:10<00:00, 31.37it/s]
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 366/388 [00:10<00:00, 30.77it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.30.attention.query_key_value.bias", shape: (7680,), dtype: float32

 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 366/388 [00:10<00:00, 30.77it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.30.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 366/388 [00:10<00:00, 30.77it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.30.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 366/388 [00:10<00:00, 30.77it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.30.attention.dense.bias", shape: (2560,), dtype: float32

 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 366/388 [00:10<00:00, 30.77it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.30.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 366/388 [00:11<00:00, 30.77it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.30.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 366/388 [00:11<00:00, 30.77it/s]
 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 370/388 [00:11<00:00, 23.34it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.30.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 370/388 [00:11<00:00, 23.34it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.30.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 370/388 [00:11<00:00, 23.34it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.30.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 370/388 [00:11<00:00, 23.34it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.30.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 370/388 [00:11<00:00, 23.34it/s]
 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 373/388 [00:11<00:00, 16.41it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.31.input_layernorm.weight", shape: (2560,), dtype: float32

 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 373/388 [00:11<00:00, 16.41it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.31.input_layernorm.bias", shape: (2560,), dtype: float32

 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 373/388 [00:11<00:00, 16.41it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.31.post_attention_layernorm.weight", shape: (2560,), dtype: float32

 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 373/388 [00:11<00:00, 16.41it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.31.post_attention_layernorm.bias", shape: (2560,), dtype: float32

 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 373/388 [00:11<00:00, 16.41it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.31.attention.query_key_value.q_weight", shape: (7680, 320), dtype: uint32

 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 373/388 [00:11<00:00, 16.41it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.31.attention.query_key_value.q_scale", shape: (7680, 80), dtype: float32

 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 373/388 [00:11<00:00, 16.41it/s]
 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 378/388 [00:11<00:00, 20.83it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.31.attention.query_key_value.bias", shape: (7680,), dtype: float32

 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 378/388 [00:11<00:00, 20.83it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.31.attention.dense.q_weight", shape: (2560, 320), dtype: uint32

 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 378/388 [00:11<00:00, 20.83it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.31.attention.dense.q_scale", shape: (2560, 80), dtype: float32

 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 378/388 [00:11<00:00, 20.83it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.31.attention.dense.bias", shape: (2560,), dtype: float32

 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 378/388 [00:11<00:00, 20.83it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.31.mlp.dense_h_to_4h.q_weight", shape: (10240, 320), dtype: uint32

 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 378/388 [00:11<00:00, 20.83it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.31.mlp.dense_h_to_4h.q_scale", shape: (10240, 80), dtype: float32

 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 378/388 [00:11<00:00, 20.83it/s]
 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 382/388 [00:11<00:00, 22.48it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.31.mlp.dense_h_to_4h.bias", shape: (10240,), dtype: float32

 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 382/388 [00:11<00:00, 22.48it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.31.mlp.dense_4h_to_h.q_weight", shape: (2560, 1280), dtype: uint32

 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 382/388 [00:11<00:00, 22.48it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.31.mlp.dense_4h_to_h.q_scale", shape: (2560, 320), dtype: float32

 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 382/388 [00:11<00:00, 22.48it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.31.mlp.dense_4h_to_h.bias", shape: (2560,), dtype: float32

 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 382/388 [00:11<00:00, 22.48it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.final_layer_norm.weight", shape: (2560,), dtype: float32

 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 382/388 [00:11<00:00, 22.48it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.final_layer_norm.bias", shape: (2560,), dtype: float32

 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 382/388 [00:11<00:00, 22.48it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "embed_out.q_weight", shape: (50432, 320), dtype: uint32

 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 382/388 [00:15<00:00, 22.48it/s]
                                                                                                                                                                                                                                                                    
[2023-12-29 01:09:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "embed_out.q_scale", shape: (50432, 80), dtype: float32

 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 382/388 [00:15<00:00, 22.48it/s]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 388/388 [00:15<00:00,  4.03it/s]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 388/388 [00:15<00:00, 25.63it/s]
[2023-12-29 01:09:58] INFO huggingface_loader.py:179: Unloading HF weight file: /models/RedPajama-INCITE-Chat-3B-v1/pytorch_model.bin
[2023-12-29 01:09:58] INFO stats.py:71: Time usage: HF loading: 16.031 sec; Pre-quantization mapping: 10.964 sec; Quantization: 2.305 sec
[2023-12-29 01:09:58] INFO stats.py:85: RAM usage: Peak RAM: 5.295 GB. Total bytes loaded from disk: 5.295 GB
[2023-12-29 01:09:58] INFO convert_weight.py:110: Parameter size after quantization: 1.619 GB
[2023-12-29 01:09:58] INFO convert_weight.py:115: Total parameters: 2,775,864,320
[2023-12-29 01:09:58] INFO convert_weight.py:116: Bits per parameter: 5.010
Start storing to cache /tmp/tmplmqnt8rc
CHARLIE dtype: uint32


[0001/0518] saving gpt_neox.embed_in.q_weightCHARLIE dtype: float32

                                             
[0002/0518] saving gpt_neox.embed_in.q_scaleCHARLIE dtype: float32

                                             
[0003/0518] saving gpt_neox.layers.0.input_layernorm.weightCHARLIE dtype: float32

                                                           
[0004/0518] saving gpt_neox.layers.0.input_layernorm.biasCHARLIE dtype: float32

                                                           
[0005/0518] saving gpt_neox.layers.0.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                    
[0006/0518] saving gpt_neox.layers.0.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                    
[0007/0518] saving gpt_neox.layers.0.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                       
[0008/0518] saving gpt_neox.layers.0.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                       
[0009/0518] saving gpt_neox.layers.0.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                       
[0010/0518] saving gpt_neox.layers.0.attention.dense.q_weightCHARLIE dtype: float32

                                                                       
[0011/0518] saving gpt_neox.layers.0.attention.dense.q_scaleCHARLIE dtype: float32

                                                                       
[0012/0518] saving gpt_neox.layers.0.attention.dense.biasCHARLIE dtype: uint32

                                                                       
[0013/0518] saving gpt_neox.layers.0.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                       
[0014/0518] saving gpt_neox.layers.0.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                       
[0015/0518] saving gpt_neox.layers.0.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                       
[0016/0518] saving gpt_neox.layers.0.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                       
[0017/0518] saving gpt_neox.layers.0.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                       
[0018/0518] saving gpt_neox.layers.0.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                       
[0019/0518] saving gpt_neox.layers.1.input_layernorm.weightCHARLIE dtype: float32

                                                                       
[0020/0518] saving gpt_neox.layers.1.input_layernorm.biasCHARLIE dtype: float32

                                                                       
[0021/0518] saving gpt_neox.layers.1.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                       
[0022/0518] saving gpt_neox.layers.1.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                       
[0023/0518] saving gpt_neox.layers.1.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                       
[0024/0518] saving gpt_neox.layers.1.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                       
[0025/0518] saving gpt_neox.layers.1.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                       
[0026/0518] saving gpt_neox.layers.1.attention.dense.q_weightCHARLIE dtype: float32

                                                                       
[0027/0518] saving gpt_neox.layers.1.attention.dense.q_scaleCHARLIE dtype: float32

                                                                       
[0028/0518] saving gpt_neox.layers.1.attention.dense.biasCHARLIE dtype: uint32

                                                                       
[0029/0518] saving gpt_neox.layers.1.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                       
[0030/0518] saving gpt_neox.layers.1.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                       
[0031/0518] saving gpt_neox.layers.1.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                       
[0032/0518] saving gpt_neox.layers.1.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                       
[0033/0518] saving gpt_neox.layers.1.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                       
[0034/0518] saving gpt_neox.layers.1.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                       
[0035/0518] saving gpt_neox.layers.2.input_layernorm.weightCHARLIE dtype: float32

                                                                       
[0036/0518] saving gpt_neox.layers.2.input_layernorm.biasCHARLIE dtype: float32

                                                                       
[0037/0518] saving gpt_neox.layers.2.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                       
[0038/0518] saving gpt_neox.layers.2.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                       
[0039/0518] saving gpt_neox.layers.2.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                       
[0040/0518] saving gpt_neox.layers.2.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                       
[0041/0518] saving gpt_neox.layers.2.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                       
[0042/0518] saving gpt_neox.layers.2.attention.dense.q_weightCHARLIE dtype: float32

                                                                       
[0043/0518] saving gpt_neox.layers.2.attention.dense.q_scaleCHARLIE dtype: float32

                                                                       
[0044/0518] saving gpt_neox.layers.2.attention.dense.biasCHARLIE dtype: uint32

                                                                       
[0045/0518] saving gpt_neox.layers.2.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                       
[0046/0518] saving gpt_neox.layers.2.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                       
[0047/0518] saving gpt_neox.layers.2.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                       
[0048/0518] saving gpt_neox.layers.2.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                       
[0049/0518] saving gpt_neox.layers.2.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                       
[0050/0518] saving gpt_neox.layers.2.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                       
[0051/0518] saving gpt_neox.layers.3.input_layernorm.weightCHARLIE dtype: float32

                                                                       
[0052/0518] saving gpt_neox.layers.3.input_layernorm.biasCHARLIE dtype: float32

                                                                       
[0053/0518] saving gpt_neox.layers.3.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                       
[0054/0518] saving gpt_neox.layers.3.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                       
[0055/0518] saving gpt_neox.layers.3.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                       
[0056/0518] saving gpt_neox.layers.3.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                       
[0057/0518] saving gpt_neox.layers.3.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                       
[0058/0518] saving gpt_neox.layers.3.attention.dense.q_weightCHARLIE dtype: float32

                                                                       
[0059/0518] saving gpt_neox.layers.3.attention.dense.q_scaleCHARLIE dtype: float32

                                                                       
[0060/0518] saving gpt_neox.layers.3.attention.dense.biasCHARLIE dtype: uint32

                                                                       
[0061/0518] saving gpt_neox.layers.3.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                       
[0062/0518] saving gpt_neox.layers.3.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                       
[0063/0518] saving gpt_neox.layers.3.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                       
[0064/0518] saving gpt_neox.layers.3.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                       
[0065/0518] saving gpt_neox.layers.3.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                       
[0066/0518] saving gpt_neox.layers.3.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                       
[0067/0518] saving gpt_neox.layers.4.input_layernorm.weightCHARLIE dtype: float32

                                                                       
[0068/0518] saving gpt_neox.layers.4.input_layernorm.biasCHARLIE dtype: float32

                                                                       
[0069/0518] saving gpt_neox.layers.4.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                       
[0070/0518] saving gpt_neox.layers.4.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                       
[0071/0518] saving gpt_neox.layers.4.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                       
[0072/0518] saving gpt_neox.layers.4.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                       
[0073/0518] saving gpt_neox.layers.4.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                       
[0074/0518] saving gpt_neox.layers.4.attention.dense.q_weightCHARLIE dtype: float32

                                                                       
[0075/0518] saving gpt_neox.layers.4.attention.dense.q_scaleCHARLIE dtype: float32

                                                                       
[0076/0518] saving gpt_neox.layers.4.attention.dense.biasCHARLIE dtype: uint32

                                                                       
[0077/0518] saving gpt_neox.layers.4.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                       
[0078/0518] saving gpt_neox.layers.4.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                       
[0079/0518] saving gpt_neox.layers.4.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                       
[0080/0518] saving gpt_neox.layers.4.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                       
[0081/0518] saving gpt_neox.layers.4.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                       
[0082/0518] saving gpt_neox.layers.4.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                       
[0083/0518] saving gpt_neox.layers.5.input_layernorm.weightCHARLIE dtype: float32

                                                                       
[0084/0518] saving gpt_neox.layers.5.input_layernorm.biasCHARLIE dtype: float32

                                                                       
[0085/0518] saving gpt_neox.layers.5.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                       
[0086/0518] saving gpt_neox.layers.5.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                       
[0087/0518] saving gpt_neox.layers.5.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                       
[0088/0518] saving gpt_neox.layers.5.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                       
[0089/0518] saving gpt_neox.layers.5.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                       
[0090/0518] saving gpt_neox.layers.5.attention.dense.q_weightCHARLIE dtype: float32

                                                                       
[0091/0518] saving gpt_neox.layers.5.attention.dense.q_scaleCHARLIE dtype: float32

                                                                       
[0092/0518] saving gpt_neox.layers.5.attention.dense.biasCHARLIE dtype: uint32

                                                                       
[0093/0518] saving gpt_neox.layers.5.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                       
[0094/0518] saving gpt_neox.layers.5.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                       
[0095/0518] saving gpt_neox.layers.5.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                       
[0096/0518] saving gpt_neox.layers.5.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                       
[0097/0518] saving gpt_neox.layers.5.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                       
[0098/0518] saving gpt_neox.layers.5.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                       
[0099/0518] saving gpt_neox.layers.6.input_layernorm.weightCHARLIE dtype: float32

                                                                       
[0100/0518] saving gpt_neox.layers.6.input_layernorm.biasCHARLIE dtype: float32

                                                                       
[0101/0518] saving gpt_neox.layers.6.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                       
[0102/0518] saving gpt_neox.layers.6.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                       
[0103/0518] saving gpt_neox.layers.6.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                       
[0104/0518] saving gpt_neox.layers.6.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                       
[0105/0518] saving gpt_neox.layers.6.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                       
[0106/0518] saving gpt_neox.layers.6.attention.dense.q_weightCHARLIE dtype: float32

                                                                       
[0107/0518] saving gpt_neox.layers.6.attention.dense.q_scaleCHARLIE dtype: float32

                                                                       
[0108/0518] saving gpt_neox.layers.6.attention.dense.biasCHARLIE dtype: uint32

                                                                       
[0109/0518] saving gpt_neox.layers.6.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                       
[0110/0518] saving gpt_neox.layers.6.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                       
[0111/0518] saving gpt_neox.layers.6.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                       
[0112/0518] saving gpt_neox.layers.6.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                       
[0113/0518] saving gpt_neox.layers.6.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                       
[0114/0518] saving gpt_neox.layers.6.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                       
[0115/0518] saving gpt_neox.layers.7.input_layernorm.weightCHARLIE dtype: float32

                                                                       
[0116/0518] saving gpt_neox.layers.7.input_layernorm.biasCHARLIE dtype: float32

                                                                       
[0117/0518] saving gpt_neox.layers.7.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                       
[0118/0518] saving gpt_neox.layers.7.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                       
[0119/0518] saving gpt_neox.layers.7.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                       
[0120/0518] saving gpt_neox.layers.7.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                       
[0121/0518] saving gpt_neox.layers.7.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                       
[0122/0518] saving gpt_neox.layers.7.attention.dense.q_weightCHARLIE dtype: float32

                                                                       
[0123/0518] saving gpt_neox.layers.7.attention.dense.q_scaleCHARLIE dtype: float32

                                                                       
[0124/0518] saving gpt_neox.layers.7.attention.dense.biasCHARLIE dtype: uint32

                                                                       
[0125/0518] saving gpt_neox.layers.7.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                       
[0126/0518] saving gpt_neox.layers.7.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                       
[0127/0518] saving gpt_neox.layers.7.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                       
[0128/0518] saving gpt_neox.layers.7.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                       
[0129/0518] saving gpt_neox.layers.7.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                       
[0130/0518] saving gpt_neox.layers.7.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                       
[0131/0518] saving gpt_neox.layers.8.input_layernorm.weightCHARLIE dtype: float32

                                                                       
[0132/0518] saving gpt_neox.layers.8.input_layernorm.biasCHARLIE dtype: float32

                                                                       
[0133/0518] saving gpt_neox.layers.8.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                       
[0134/0518] saving gpt_neox.layers.8.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                       
[0135/0518] saving gpt_neox.layers.8.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                       
[0136/0518] saving gpt_neox.layers.8.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                       
[0137/0518] saving gpt_neox.layers.8.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                       
[0138/0518] saving gpt_neox.layers.8.attention.dense.q_weightCHARLIE dtype: float32

                                                                       
[0139/0518] saving gpt_neox.layers.8.attention.dense.q_scaleCHARLIE dtype: float32

                                                                       
[0140/0518] saving gpt_neox.layers.8.attention.dense.biasCHARLIE dtype: uint32

                                                                       
[0141/0518] saving gpt_neox.layers.8.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                       
[0142/0518] saving gpt_neox.layers.8.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                       
[0143/0518] saving gpt_neox.layers.8.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                       
[0144/0518] saving gpt_neox.layers.8.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                       
[0145/0518] saving gpt_neox.layers.8.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                       
[0146/0518] saving gpt_neox.layers.8.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                       
[0147/0518] saving gpt_neox.layers.9.input_layernorm.weightCHARLIE dtype: float32

                                                                       
[0148/0518] saving gpt_neox.layers.9.input_layernorm.biasCHARLIE dtype: float32

                                                                       
[0149/0518] saving gpt_neox.layers.9.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                       
[0150/0518] saving gpt_neox.layers.9.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                       
[0151/0518] saving gpt_neox.layers.9.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                       
[0152/0518] saving gpt_neox.layers.9.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                       
[0153/0518] saving gpt_neox.layers.9.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                       
[0154/0518] saving gpt_neox.layers.9.attention.dense.q_weightCHARLIE dtype: float32

                                                                       
[0155/0518] saving gpt_neox.layers.9.attention.dense.q_scaleCHARLIE dtype: float32

                                                                       
[0156/0518] saving gpt_neox.layers.9.attention.dense.biasCHARLIE dtype: uint32

                                                                       
[0157/0518] saving gpt_neox.layers.9.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                       
[0158/0518] saving gpt_neox.layers.9.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                       
[0159/0518] saving gpt_neox.layers.9.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                       
[0160/0518] saving gpt_neox.layers.9.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                       
[0161/0518] saving gpt_neox.layers.9.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                       
[0162/0518] saving gpt_neox.layers.9.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                       
[0163/0518] saving gpt_neox.layers.10.input_layernorm.weightCHARLIE dtype: float32

                                                                       
[0164/0518] saving gpt_neox.layers.10.input_layernorm.biasCHARLIE dtype: float32

                                                                       
[0165/0518] saving gpt_neox.layers.10.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                       
[0166/0518] saving gpt_neox.layers.10.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                       
[0167/0518] saving gpt_neox.layers.10.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0168/0518] saving gpt_neox.layers.10.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0169/0518] saving gpt_neox.layers.10.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0170/0518] saving gpt_neox.layers.10.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0171/0518] saving gpt_neox.layers.10.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0172/0518] saving gpt_neox.layers.10.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0173/0518] saving gpt_neox.layers.10.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0174/0518] saving gpt_neox.layers.10.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0175/0518] saving gpt_neox.layers.10.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0176/0518] saving gpt_neox.layers.10.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0177/0518] saving gpt_neox.layers.10.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0178/0518] saving gpt_neox.layers.10.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0179/0518] saving gpt_neox.layers.11.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0180/0518] saving gpt_neox.layers.11.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0181/0518] saving gpt_neox.layers.11.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0182/0518] saving gpt_neox.layers.11.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0183/0518] saving gpt_neox.layers.11.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0184/0518] saving gpt_neox.layers.11.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0185/0518] saving gpt_neox.layers.11.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0186/0518] saving gpt_neox.layers.11.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0187/0518] saving gpt_neox.layers.11.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0188/0518] saving gpt_neox.layers.11.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0189/0518] saving gpt_neox.layers.11.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0190/0518] saving gpt_neox.layers.11.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0191/0518] saving gpt_neox.layers.11.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0192/0518] saving gpt_neox.layers.11.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0193/0518] saving gpt_neox.layers.11.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0194/0518] saving gpt_neox.layers.11.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0195/0518] saving gpt_neox.layers.12.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0196/0518] saving gpt_neox.layers.12.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0197/0518] saving gpt_neox.layers.12.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0198/0518] saving gpt_neox.layers.12.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0199/0518] saving gpt_neox.layers.12.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0200/0518] saving gpt_neox.layers.12.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0201/0518] saving gpt_neox.layers.12.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0202/0518] saving gpt_neox.layers.12.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0203/0518] saving gpt_neox.layers.12.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0204/0518] saving gpt_neox.layers.12.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0205/0518] saving gpt_neox.layers.12.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0206/0518] saving gpt_neox.layers.12.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0207/0518] saving gpt_neox.layers.12.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0208/0518] saving gpt_neox.layers.12.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0209/0518] saving gpt_neox.layers.12.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0210/0518] saving gpt_neox.layers.12.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0211/0518] saving gpt_neox.layers.13.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0212/0518] saving gpt_neox.layers.13.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0213/0518] saving gpt_neox.layers.13.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0214/0518] saving gpt_neox.layers.13.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0215/0518] saving gpt_neox.layers.13.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0216/0518] saving gpt_neox.layers.13.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0217/0518] saving gpt_neox.layers.13.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0218/0518] saving gpt_neox.layers.13.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0219/0518] saving gpt_neox.layers.13.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0220/0518] saving gpt_neox.layers.13.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0221/0518] saving gpt_neox.layers.13.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0222/0518] saving gpt_neox.layers.13.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0223/0518] saving gpt_neox.layers.13.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0224/0518] saving gpt_neox.layers.13.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0225/0518] saving gpt_neox.layers.13.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0226/0518] saving gpt_neox.layers.13.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0227/0518] saving gpt_neox.layers.14.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0228/0518] saving gpt_neox.layers.14.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0229/0518] saving gpt_neox.layers.14.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0230/0518] saving gpt_neox.layers.14.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0231/0518] saving gpt_neox.layers.14.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0232/0518] saving gpt_neox.layers.14.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0233/0518] saving gpt_neox.layers.14.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0234/0518] saving gpt_neox.layers.14.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0235/0518] saving gpt_neox.layers.14.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0236/0518] saving gpt_neox.layers.14.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0237/0518] saving gpt_neox.layers.14.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0238/0518] saving gpt_neox.layers.14.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0239/0518] saving gpt_neox.layers.14.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0240/0518] saving gpt_neox.layers.14.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0241/0518] saving gpt_neox.layers.14.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0242/0518] saving gpt_neox.layers.14.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0243/0518] saving gpt_neox.layers.15.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0244/0518] saving gpt_neox.layers.15.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0245/0518] saving gpt_neox.layers.15.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0246/0518] saving gpt_neox.layers.15.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0247/0518] saving gpt_neox.layers.15.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0248/0518] saving gpt_neox.layers.15.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0249/0518] saving gpt_neox.layers.15.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0250/0518] saving gpt_neox.layers.15.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0251/0518] saving gpt_neox.layers.15.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0252/0518] saving gpt_neox.layers.15.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0253/0518] saving gpt_neox.layers.15.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0254/0518] saving gpt_neox.layers.15.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0255/0518] saving gpt_neox.layers.15.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0256/0518] saving gpt_neox.layers.15.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0257/0518] saving gpt_neox.layers.15.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0258/0518] saving gpt_neox.layers.15.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0259/0518] saving gpt_neox.layers.16.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0260/0518] saving gpt_neox.layers.16.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0261/0518] saving gpt_neox.layers.16.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0262/0518] saving gpt_neox.layers.16.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0263/0518] saving gpt_neox.layers.16.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0264/0518] saving gpt_neox.layers.16.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0265/0518] saving gpt_neox.layers.16.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0266/0518] saving gpt_neox.layers.16.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0267/0518] saving gpt_neox.layers.16.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0268/0518] saving gpt_neox.layers.16.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0269/0518] saving gpt_neox.layers.16.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0270/0518] saving gpt_neox.layers.16.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0271/0518] saving gpt_neox.layers.16.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0272/0518] saving gpt_neox.layers.16.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0273/0518] saving gpt_neox.layers.16.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0274/0518] saving gpt_neox.layers.16.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0275/0518] saving gpt_neox.layers.17.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0276/0518] saving gpt_neox.layers.17.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0277/0518] saving gpt_neox.layers.17.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0278/0518] saving gpt_neox.layers.17.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0279/0518] saving gpt_neox.layers.17.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0280/0518] saving gpt_neox.layers.17.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0281/0518] saving gpt_neox.layers.17.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0282/0518] saving gpt_neox.layers.17.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0283/0518] saving gpt_neox.layers.17.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0284/0518] saving gpt_neox.layers.17.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0285/0518] saving gpt_neox.layers.17.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0286/0518] saving gpt_neox.layers.17.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0287/0518] saving gpt_neox.layers.17.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0288/0518] saving gpt_neox.layers.17.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0289/0518] saving gpt_neox.layers.17.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0290/0518] saving gpt_neox.layers.17.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0291/0518] saving gpt_neox.layers.18.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0292/0518] saving gpt_neox.layers.18.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0293/0518] saving gpt_neox.layers.18.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0294/0518] saving gpt_neox.layers.18.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0295/0518] saving gpt_neox.layers.18.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0296/0518] saving gpt_neox.layers.18.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0297/0518] saving gpt_neox.layers.18.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0298/0518] saving gpt_neox.layers.18.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0299/0518] saving gpt_neox.layers.18.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0300/0518] saving gpt_neox.layers.18.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0301/0518] saving gpt_neox.layers.18.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0302/0518] saving gpt_neox.layers.18.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0303/0518] saving gpt_neox.layers.18.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0304/0518] saving gpt_neox.layers.18.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0305/0518] saving gpt_neox.layers.18.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0306/0518] saving gpt_neox.layers.18.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0307/0518] saving gpt_neox.layers.19.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0308/0518] saving gpt_neox.layers.19.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0309/0518] saving gpt_neox.layers.19.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0310/0518] saving gpt_neox.layers.19.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0311/0518] saving gpt_neox.layers.19.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0312/0518] saving gpt_neox.layers.19.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0313/0518] saving gpt_neox.layers.19.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0314/0518] saving gpt_neox.layers.19.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0315/0518] saving gpt_neox.layers.19.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0316/0518] saving gpt_neox.layers.19.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0317/0518] saving gpt_neox.layers.19.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0318/0518] saving gpt_neox.layers.19.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0319/0518] saving gpt_neox.layers.19.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0320/0518] saving gpt_neox.layers.19.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0321/0518] saving gpt_neox.layers.19.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0322/0518] saving gpt_neox.layers.19.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0323/0518] saving gpt_neox.layers.20.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0324/0518] saving gpt_neox.layers.20.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0325/0518] saving gpt_neox.layers.20.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0326/0518] saving gpt_neox.layers.20.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0327/0518] saving gpt_neox.layers.20.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0328/0518] saving gpt_neox.layers.20.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0329/0518] saving gpt_neox.layers.20.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0330/0518] saving gpt_neox.layers.20.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0331/0518] saving gpt_neox.layers.20.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0332/0518] saving gpt_neox.layers.20.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0333/0518] saving gpt_neox.layers.20.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0334/0518] saving gpt_neox.layers.20.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0335/0518] saving gpt_neox.layers.20.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0336/0518] saving gpt_neox.layers.20.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0337/0518] saving gpt_neox.layers.20.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0338/0518] saving gpt_neox.layers.20.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0339/0518] saving gpt_neox.layers.21.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0340/0518] saving gpt_neox.layers.21.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0341/0518] saving gpt_neox.layers.21.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0342/0518] saving gpt_neox.layers.21.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0343/0518] saving gpt_neox.layers.21.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0344/0518] saving gpt_neox.layers.21.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0345/0518] saving gpt_neox.layers.21.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0346/0518] saving gpt_neox.layers.21.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0347/0518] saving gpt_neox.layers.21.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0348/0518] saving gpt_neox.layers.21.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0349/0518] saving gpt_neox.layers.21.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0350/0518] saving gpt_neox.layers.21.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0351/0518] saving gpt_neox.layers.21.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0352/0518] saving gpt_neox.layers.21.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0353/0518] saving gpt_neox.layers.21.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0354/0518] saving gpt_neox.layers.21.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0355/0518] saving gpt_neox.layers.22.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0356/0518] saving gpt_neox.layers.22.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0357/0518] saving gpt_neox.layers.22.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0358/0518] saving gpt_neox.layers.22.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0359/0518] saving gpt_neox.layers.22.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0360/0518] saving gpt_neox.layers.22.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0361/0518] saving gpt_neox.layers.22.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0362/0518] saving gpt_neox.layers.22.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0363/0518] saving gpt_neox.layers.22.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0364/0518] saving gpt_neox.layers.22.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0365/0518] saving gpt_neox.layers.22.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0366/0518] saving gpt_neox.layers.22.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0367/0518] saving gpt_neox.layers.22.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0368/0518] saving gpt_neox.layers.22.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0369/0518] saving gpt_neox.layers.22.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0370/0518] saving gpt_neox.layers.22.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0371/0518] saving gpt_neox.layers.23.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0372/0518] saving gpt_neox.layers.23.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0373/0518] saving gpt_neox.layers.23.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0374/0518] saving gpt_neox.layers.23.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0375/0518] saving gpt_neox.layers.23.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0376/0518] saving gpt_neox.layers.23.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0377/0518] saving gpt_neox.layers.23.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0378/0518] saving gpt_neox.layers.23.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0379/0518] saving gpt_neox.layers.23.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0380/0518] saving gpt_neox.layers.23.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0381/0518] saving gpt_neox.layers.23.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0382/0518] saving gpt_neox.layers.23.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0383/0518] saving gpt_neox.layers.23.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0384/0518] saving gpt_neox.layers.23.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0385/0518] saving gpt_neox.layers.23.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0386/0518] saving gpt_neox.layers.23.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0387/0518] saving gpt_neox.layers.24.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0388/0518] saving gpt_neox.layers.24.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0389/0518] saving gpt_neox.layers.24.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0390/0518] saving gpt_neox.layers.24.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0391/0518] saving gpt_neox.layers.24.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0392/0518] saving gpt_neox.layers.24.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0393/0518] saving gpt_neox.layers.24.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0394/0518] saving gpt_neox.layers.24.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0395/0518] saving gpt_neox.layers.24.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0396/0518] saving gpt_neox.layers.24.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0397/0518] saving gpt_neox.layers.24.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0398/0518] saving gpt_neox.layers.24.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0399/0518] saving gpt_neox.layers.24.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0400/0518] saving gpt_neox.layers.24.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0401/0518] saving gpt_neox.layers.24.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0402/0518] saving gpt_neox.layers.24.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0403/0518] saving gpt_neox.layers.25.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0404/0518] saving gpt_neox.layers.25.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0405/0518] saving gpt_neox.layers.25.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0406/0518] saving gpt_neox.layers.25.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0407/0518] saving gpt_neox.layers.25.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0408/0518] saving gpt_neox.layers.25.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0409/0518] saving gpt_neox.layers.25.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0410/0518] saving gpt_neox.layers.25.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0411/0518] saving gpt_neox.layers.25.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0412/0518] saving gpt_neox.layers.25.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0413/0518] saving gpt_neox.layers.25.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0414/0518] saving gpt_neox.layers.25.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0415/0518] saving gpt_neox.layers.25.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0416/0518] saving gpt_neox.layers.25.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0417/0518] saving gpt_neox.layers.25.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0418/0518] saving gpt_neox.layers.25.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0419/0518] saving gpt_neox.layers.26.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0420/0518] saving gpt_neox.layers.26.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0421/0518] saving gpt_neox.layers.26.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0422/0518] saving gpt_neox.layers.26.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0423/0518] saving gpt_neox.layers.26.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0424/0518] saving gpt_neox.layers.26.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0425/0518] saving gpt_neox.layers.26.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0426/0518] saving gpt_neox.layers.26.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0427/0518] saving gpt_neox.layers.26.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0428/0518] saving gpt_neox.layers.26.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0429/0518] saving gpt_neox.layers.26.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0430/0518] saving gpt_neox.layers.26.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0431/0518] saving gpt_neox.layers.26.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0432/0518] saving gpt_neox.layers.26.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0433/0518] saving gpt_neox.layers.26.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0434/0518] saving gpt_neox.layers.26.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0435/0518] saving gpt_neox.layers.27.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0436/0518] saving gpt_neox.layers.27.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0437/0518] saving gpt_neox.layers.27.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0438/0518] saving gpt_neox.layers.27.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0439/0518] saving gpt_neox.layers.27.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0440/0518] saving gpt_neox.layers.27.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0441/0518] saving gpt_neox.layers.27.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0442/0518] saving gpt_neox.layers.27.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0443/0518] saving gpt_neox.layers.27.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0444/0518] saving gpt_neox.layers.27.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0445/0518] saving gpt_neox.layers.27.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0446/0518] saving gpt_neox.layers.27.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0447/0518] saving gpt_neox.layers.27.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0448/0518] saving gpt_neox.layers.27.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0449/0518] saving gpt_neox.layers.27.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0450/0518] saving gpt_neox.layers.27.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0451/0518] saving gpt_neox.layers.28.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0452/0518] saving gpt_neox.layers.28.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0453/0518] saving gpt_neox.layers.28.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0454/0518] saving gpt_neox.layers.28.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0455/0518] saving gpt_neox.layers.28.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0456/0518] saving gpt_neox.layers.28.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0457/0518] saving gpt_neox.layers.28.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0458/0518] saving gpt_neox.layers.28.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0459/0518] saving gpt_neox.layers.28.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0460/0518] saving gpt_neox.layers.28.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0461/0518] saving gpt_neox.layers.28.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0462/0518] saving gpt_neox.layers.28.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0463/0518] saving gpt_neox.layers.28.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0464/0518] saving gpt_neox.layers.28.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0465/0518] saving gpt_neox.layers.28.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0466/0518] saving gpt_neox.layers.28.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0467/0518] saving gpt_neox.layers.29.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0468/0518] saving gpt_neox.layers.29.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0469/0518] saving gpt_neox.layers.29.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0470/0518] saving gpt_neox.layers.29.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0471/0518] saving gpt_neox.layers.29.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0472/0518] saving gpt_neox.layers.29.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0473/0518] saving gpt_neox.layers.29.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0474/0518] saving gpt_neox.layers.29.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0475/0518] saving gpt_neox.layers.29.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0476/0518] saving gpt_neox.layers.29.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0477/0518] saving gpt_neox.layers.29.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0478/0518] saving gpt_neox.layers.29.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0479/0518] saving gpt_neox.layers.29.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0480/0518] saving gpt_neox.layers.29.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0481/0518] saving gpt_neox.layers.29.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0482/0518] saving gpt_neox.layers.29.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0483/0518] saving gpt_neox.layers.30.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0484/0518] saving gpt_neox.layers.30.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0485/0518] saving gpt_neox.layers.30.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0486/0518] saving gpt_neox.layers.30.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0487/0518] saving gpt_neox.layers.30.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0488/0518] saving gpt_neox.layers.30.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0489/0518] saving gpt_neox.layers.30.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0490/0518] saving gpt_neox.layers.30.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0491/0518] saving gpt_neox.layers.30.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0492/0518] saving gpt_neox.layers.30.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0493/0518] saving gpt_neox.layers.30.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0494/0518] saving gpt_neox.layers.30.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0495/0518] saving gpt_neox.layers.30.mlp.dense_h_to_4h.biasCHARLIE dtype: uint32

                                                                        
[0496/0518] saving gpt_neox.layers.30.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0497/0518] saving gpt_neox.layers.30.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0498/0518] saving gpt_neox.layers.30.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0499/0518] saving gpt_neox.layers.31.input_layernorm.weightCHARLIE dtype: float32

                                                                        
[0500/0518] saving gpt_neox.layers.31.input_layernorm.biasCHARLIE dtype: float32

                                                                        
[0501/0518] saving gpt_neox.layers.31.post_attention_layernorm.weightCHARLIE dtype: float32

                                                                        
[0502/0518] saving gpt_neox.layers.31.post_attention_layernorm.biasCHARLIE dtype: uint32

                                                                        
[0503/0518] saving gpt_neox.layers.31.attention.query_key_value.q_weightCHARLIE dtype: float32

                                                                        
[0504/0518] saving gpt_neox.layers.31.attention.query_key_value.q_scaleCHARLIE dtype: float32

                                                                        
[0505/0518] saving gpt_neox.layers.31.attention.query_key_value.biasCHARLIE dtype: uint32

                                                                        
[0506/0518] saving gpt_neox.layers.31.attention.dense.q_weightCHARLIE dtype: float32

                                                                        
[0507/0518] saving gpt_neox.layers.31.attention.dense.q_scaleCHARLIE dtype: float32

                                                                        
[0508/0518] saving gpt_neox.layers.31.attention.dense.biasCHARLIE dtype: uint32

                                                                        
[0509/0518] saving gpt_neox.layers.31.mlp.dense_h_to_4h.q_weightCHARLIE dtype: float32

                                                                        
[0510/0518] saving gpt_neox.layers.31.mlp.dense_h_to_4h.q_scaleCHARLIE dtype: float32

                                                                        
[0511/0518] saving gpt_neox.layers.31.mlp.dense_h_to_4h.bias[2023-12-29 01:10:03] INFO convert_weight.py:133: Saved to directory: /tmp/tmplmqnt8rc
CHARLIE dtype: uint32

                                                                        
[0512/0518] saving gpt_neox.layers.31.mlp.dense_4h_to_h.q_weightCHARLIE dtype: float32

                                                                        
[0513/0518] saving gpt_neox.layers.31.mlp.dense_4h_to_h.q_scaleCHARLIE dtype: float32

                                                                        
[0514/0518] saving gpt_neox.layers.31.mlp.dense_4h_to_h.biasCHARLIE dtype: float32

                                                                        
[0515/0518] saving gpt_neox.final_layer_norm.weightCHARLIE dtype: float32

                                                                        
[0516/0518] saving gpt_neox.final_layer_norm.biasCHARLIE dtype: uint32

                                                                        
[0517/0518] saving embed_out.q_weightCHARLIE dtype: float32

                                                                        
[0518/0518] saving embed_out.q_scale
All finished, 51 total shards committed, record saved to /tmp/tmplmqnt8rc/ndarray-cache.json
Also saved a bf16 record to /tmp/tmplmqnt8rc/ndarray-cache-b16.json