/home/junrushao/micromamba/envs/python311/bin/python -m mlc_chat gen_config /opt/scratch/assets/gpt_bigcode-santacoder --quantization q4f32_1 --conv-template LM --output /home/junrushao/tmp/tmph17zk__o --context-window-size 2048
[2024-01-08 19:19:02] INFO auto_config.py:115: Found model configuration: /opt/scratch/assets/gpt_bigcode-santacoder/config.json
[2024-01-08 19:19:02] INFO auto_config.py:151: Found model type: gpt_bigcode. Use `--model-type` to override.
[2024-01-08 19:19:02] INFO gpt_bigcode_model.py:41: context_window_size not found in config.json. Falling back to n_positions (2048)
[2024-01-08 19:19:02] INFO gpt_bigcode_model.py:54: prefill_chunk_size defaults to context_window_size (2048)
[2024-01-08 19:19:02] INFO compiler_flags.py:118: Overriding context_window_size from 2048 to 2048
[2024-01-08 19:19:02] INFO gen_config.py:119: Not found generation_config.json: /opt/scratch/assets/gpt_bigcode-santacoder/generation_config.json
[2024-01-08 19:19:02] INFO gen_config.py:117: [config.json] Setting bos_token_id: 49152
[2024-01-08 19:19:02] INFO gen_config.py:117: [config.json] Setting eos_token_id: 49152
[2024-01-08 19:19:02] INFO gen_config.py:131: Not found tokenizer config: /opt/scratch/assets/gpt_bigcode-santacoder/tokenizer.model
[2024-01-08 19:19:02] INFO gen_config.py:129: Found tokenizer config: /opt/scratch/assets/gpt_bigcode-santacoder/tokenizer.json. Copying to /home/junrushao/tmp/tmph17zk__o/tokenizer.json
[2024-01-08 19:19:02] INFO gen_config.py:131: Not found tokenizer config: /opt/scratch/assets/gpt_bigcode-santacoder/vocab.json
[2024-01-08 19:19:02] INFO gen_config.py:131: Not found tokenizer config: /opt/scratch/assets/gpt_bigcode-santacoder/merges.txt
[2024-01-08 19:19:02] INFO gen_config.py:131: Not found tokenizer config: /opt/scratch/assets/gpt_bigcode-santacoder/added_tokens.json
[2024-01-08 19:19:02] INFO gen_config.py:129: Found tokenizer config: /opt/scratch/assets/gpt_bigcode-santacoder/tokenizer_config.json. Copying to /home/junrushao/tmp/tmph17zk__o/tokenizer_config.json
[2024-01-08 19:19:02] INFO gen_config.py:70: [System default] Setting pad_token_id: 0
[2024-01-08 19:19:02] INFO gen_config.py:70: [System default] Setting temperature: 0.7
[2024-01-08 19:19:02] INFO gen_config.py:70: [System default] Setting repetition_penalty: 1.0
[2024-01-08 19:19:02] INFO gen_config.py:70: [System default] Setting top_p: 0.95
[2024-01-08 19:19:02] INFO gen_config.py:70: [System default] Setting mean_gen_len: 128
[2024-01-08 19:19:02] INFO gen_config.py:70: [System default] Setting max_gen_len: 512
[2024-01-08 19:19:02] INFO gen_config.py:70: [System default] Setting shift_fill_factor: 0.3
[2024-01-08 19:19:02] INFO gen_config.py:159: Dumping configuration file to: /home/junrushao/tmp/tmph17zk__o/mlc-chat-config.json
/home/junrushao/micromamba/envs/python311/bin/python -m mlc_chat convert_weight /opt/scratch/assets/gpt_bigcode-santacoder --quantization q4f32_1 --source-format auto --output /home/junrushao/tmp/tmph17zk__o
[2024-01-08 19:19:03] INFO auto_config.py:115: Found model configuration: /opt/scratch/assets/gpt_bigcode-santacoder/config.json
[2024-01-08 19:19:04] INFO auto_device.py:76: Found device: cuda:0
[2024-01-08 19:19:04] INFO auto_device.py:76: Found device: cuda:1
[2024-01-08 19:19:04] INFO auto_device.py:76: Found device: cuda:2
[2024-01-08 19:19:04] INFO auto_device.py:76: Found device: cuda:3
[2024-01-08 19:19:04] INFO auto_device.py:85: Not found device: rocm:0
[2024-01-08 19:19:04] INFO auto_device.py:85: Not found device: metal:0
[2024-01-08 19:19:05] INFO auto_device.py:85: Not found device: vulkan:0
[2024-01-08 19:19:05] INFO auto_device.py:85: Not found device: opencl:0
[2024-01-08 19:19:05] INFO auto_device.py:33: Using device: cuda:0
[2024-01-08 19:19:05] INFO auto_weight.py:70: Finding weights in: /opt/scratch/assets/gpt_bigcode-santacoder
[2024-01-08 19:19:05] INFO auto_weight.py:129: Found source weight format: huggingface-torch. Source configuration: /opt/scratch/assets/gpt_bigcode-santacoder/pytorch_model.bin
[2024-01-08 19:19:05] INFO auto_weight.py:143: Found source weight format: huggingface-safetensor. Source configuration: /opt/scratch/assets/gpt_bigcode-santacoder/model.safetensors.index.json
[2024-01-08 19:19:05] INFO auto_weight.py:106: Using source weight configuration: /opt/scratch/assets/gpt_bigcode-santacoder/pytorch_model.bin. Use `--source` to override.
[2024-01-08 19:19:05] INFO auto_weight.py:110: Using source weight format: huggingface-torch. Use `--source-format` to override.
[2024-01-08 19:19:05] INFO auto_config.py:151: Found model type: gpt_bigcode. Use `--model-type` to override.
[2024-01-08 19:19:05] INFO gpt_bigcode_model.py:41: context_window_size not found in config.json. Falling back to n_positions (2048)
[2024-01-08 19:19:05] INFO gpt_bigcode_model.py:54: prefill_chunk_size defaults to context_window_size (2048)
[2024-01-08 19:19:08] INFO huggingface_loader.py:169: Loading HF parameters from: /opt/scratch/assets/gpt_bigcode-santacoder/pytorch_model.bin
Weight conversion with arguments:
  --config          /opt/scratch/assets/gpt_bigcode-santacoder/config.json
  --quantization    GroupQuantize(name='q4f32_1', kind='group-quant', group_size=32, quantize_dtype='int4', storage_dtype='uint32', model_dtype='float32', num_elem_per_storage=8, num_storage_per_group=4, max_int_value=7)
  --model-type      gpt_bigcode
  --device          cuda:0
  --source          /opt/scratch/assets/gpt_bigcode-santacoder/pytorch_model.bin
  --source-format   huggingface-torch
  --output          /home/junrushao/tmp/tmph17zk__o

  0%|                                                                                                                                                                                                                | 0/293 [00:00<?, ?it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:14] INFO group_quantization.py:212: Compiling quantize function for key: (49280, 2048, 'float32', 'cuda')

  0%|                                                                                                                                                                                                                | 0/293 [00:02<?, ?it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:15] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.wte.q_weight", shape: (49280, 256), dtype: uint32

  0%|                                                                                                                                                                                                                | 0/293 [00:04<?, ?it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:15] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.wte.q_scale", shape: (49280, 64), dtype: float32

  0%|                                                                                                                                                                                                                | 0/293 [00:04<?, ?it/s]
  0%|▋                                                                                                                                                                                                       | 1/293 [00:04<20:28,  4.21s/it]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:15] INFO group_quantization.py:212: Compiling quantize function for key: (2048, 2048, 'float32', 'cuda')

  0%|▋                                                                                                                                                                                                       | 1/293 [00:04<20:28,  4.21s/it]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:16] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.wpe.q_weight", shape: (2048, 256), dtype: uint32

  0%|▋                                                                                                                                                                                                       | 1/293 [00:04<20:28,  4.21s/it]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:16] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.wpe.q_scale", shape: (2048, 64), dtype: float32

  0%|▋                                                                                                                                                                                                       | 1/293 [00:04<20:28,  4.21s/it]
  1%|█▎                                                                                                                                                                                                      | 2/293 [00:04<09:45,  2.01s/it]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:16] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.ln_1.weight", shape: (2048,), dtype: float32

  1%|█▎                                                                                                                                                                                                      | 2/293 [00:04<09:45,  2.01s/it]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:16] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.ln_1.bias", shape: (2048,), dtype: float32

  1%|█▎                                                                                                                                                                                                      | 2/293 [00:04<09:45,  2.01s/it]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:16] INFO group_quantization.py:212: Compiling quantize function for key: (2304, 2048, 'float32', 'cuda')

  1%|█▎                                                                                                                                                                                                      | 2/293 [00:04<09:45,  2.01s/it]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:16] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.0.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

  1%|█▎                                                                                                                                                                                                      | 2/293 [00:05<09:45,  2.01s/it]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:16] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.0.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

  1%|█▎                                                                                                                                                                                                      | 2/293 [00:05<09:45,  2.01s/it]
  2%|███▍                                                                                                                                                                                                    | 5/293 [00:05<03:16,  1.47it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:16] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.attn.c_attn.bias", shape: (2304,), dtype: float32

  2%|███▍                                                                                                                                                                                                    | 5/293 [00:05<03:16,  1.47it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:16] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.0.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

  2%|███▍                                                                                                                                                                                                    | 5/293 [00:05<03:16,  1.47it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:16] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.0.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

  2%|███▍                                                                                                                                                                                                    | 5/293 [00:05<03:16,  1.47it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:16] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.attn.c_proj.bias", shape: (2048,), dtype: float32

  2%|███▍                                                                                                                                                                                                    | 5/293 [00:05<03:16,  1.47it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:16] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.ln_2.weight", shape: (2048,), dtype: float32

  2%|███▍                                                                                                                                                                                                    | 5/293 [00:05<03:16,  1.47it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:16] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.ln_2.bias", shape: (2048,), dtype: float32

  2%|███▍                                                                                                                                                                                                    | 5/293 [00:05<03:16,  1.47it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:16] INFO group_quantization.py:212: Compiling quantize function for key: (8192, 2048, 'float32', 'cuda')

  2%|███▍                                                                                                                                                                                                    | 5/293 [00:05<03:16,  1.47it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:16] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.0.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

  2%|███▍                                                                                                                                                                                                    | 5/293 [00:05<03:16,  1.47it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:16] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.0.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

  2%|███▍                                                                                                                                                                                                    | 5/293 [00:05<03:16,  1.47it/s]
  4%|███████▍                                                                                                                                                                                               | 11/293 [00:05<01:19,  3.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:16] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mlp.c_fc.bias", shape: (8192,), dtype: float32

  4%|███████▍                                                                                                                                                                                               | 11/293 [00:05<01:19,  3.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO group_quantization.py:212: Compiling quantize function for key: (2048, 8192, 'float32', 'cuda')

  4%|███████▍                                                                                                                                                                                               | 11/293 [00:05<01:19,  3.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.0.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

  4%|███████▍                                                                                                                                                                                               | 11/293 [00:06<01:19,  3.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.0.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

  4%|███████▍                                                                                                                                                                                               | 11/293 [00:06<01:19,  3.56it/s]
  4%|████████▊                                                                                                                                                                                              | 13/293 [00:06<01:16,  3.65it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mlp.c_proj.bias", shape: (2048,), dtype: float32

  4%|████████▊                                                                                                                                                                                              | 13/293 [00:06<01:16,  3.65it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.ln_1.weight", shape: (2048,), dtype: float32

  4%|████████▊                                                                                                                                                                                              | 13/293 [00:06<01:16,  3.65it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.ln_1.bias", shape: (2048,), dtype: float32

  4%|████████▊                                                                                                                                                                                              | 13/293 [00:06<01:16,  3.65it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.1.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

  4%|████████▊                                                                                                                                                                                              | 13/293 [00:06<01:16,  3.65it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.1.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

  4%|████████▊                                                                                                                                                                                              | 13/293 [00:06<01:16,  3.65it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.attn.c_attn.bias", shape: (2304,), dtype: float32

  4%|████████▊                                                                                                                                                                                              | 13/293 [00:06<01:16,  3.65it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.1.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

  4%|████████▊                                                                                                                                                                                              | 13/293 [00:06<01:16,  3.65it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.1.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

  4%|████████▊                                                                                                                                                                                              | 13/293 [00:06<01:16,  3.65it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.attn.c_proj.bias", shape: (2048,), dtype: float32

  4%|████████▊                                                                                                                                                                                              | 13/293 [00:06<01:16,  3.65it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.ln_2.weight", shape: (2048,), dtype: float32

  4%|████████▊                                                                                                                                                                                              | 13/293 [00:06<01:16,  3.65it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.ln_2.bias", shape: (2048,), dtype: float32

  4%|████████▊                                                                                                                                                                                              | 13/293 [00:06<01:16,  3.65it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.1.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

  4%|████████▊                                                                                                                                                                                              | 13/293 [00:06<01:16,  3.65it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.1.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

  4%|████████▊                                                                                                                                                                                              | 13/293 [00:06<01:16,  3.65it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mlp.c_fc.bias", shape: (8192,), dtype: float32

  4%|████████▊                                                                                                                                                                                              | 13/293 [00:06<01:16,  3.65it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.1.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

  4%|████████▊                                                                                                                                                                                              | 13/293 [00:06<01:16,  3.65it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.1.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

  4%|████████▊                                                                                                                                                                                              | 13/293 [00:06<01:16,  3.65it/s]
  9%|████████████████▉                                                                                                                                                                                      | 25/293 [00:06<00:28,  9.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mlp.c_proj.bias", shape: (2048,), dtype: float32

  9%|████████████████▉                                                                                                                                                                                      | 25/293 [00:06<00:28,  9.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.ln_1.weight", shape: (2048,), dtype: float32

  9%|████████████████▉                                                                                                                                                                                      | 25/293 [00:06<00:28,  9.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.ln_1.bias", shape: (2048,), dtype: float32

  9%|████████████████▉                                                                                                                                                                                      | 25/293 [00:06<00:28,  9.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.2.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

  9%|████████████████▉                                                                                                                                                                                      | 25/293 [00:06<00:28,  9.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.2.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

  9%|████████████████▉                                                                                                                                                                                      | 25/293 [00:06<00:28,  9.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.attn.c_attn.bias", shape: (2304,), dtype: float32

  9%|████████████████▉                                                                                                                                                                                      | 25/293 [00:06<00:28,  9.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.2.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

  9%|████████████████▉                                                                                                                                                                                      | 25/293 [00:06<00:28,  9.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.2.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

  9%|████████████████▉                                                                                                                                                                                      | 25/293 [00:06<00:28,  9.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.attn.c_proj.bias", shape: (2048,), dtype: float32

  9%|████████████████▉                                                                                                                                                                                      | 25/293 [00:06<00:28,  9.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.ln_2.weight", shape: (2048,), dtype: float32

  9%|████████████████▉                                                                                                                                                                                      | 25/293 [00:06<00:28,  9.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.ln_2.bias", shape: (2048,), dtype: float32

  9%|████████████████▉                                                                                                                                                                                      | 25/293 [00:06<00:28,  9.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.2.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

  9%|████████████████▉                                                                                                                                                                                      | 25/293 [00:06<00:28,  9.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.2.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

  9%|████████████████▉                                                                                                                                                                                      | 25/293 [00:06<00:28,  9.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mlp.c_fc.bias", shape: (8192,), dtype: float32

  9%|████████████████▉                                                                                                                                                                                      | 25/293 [00:06<00:28,  9.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.2.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

  9%|████████████████▉                                                                                                                                                                                      | 25/293 [00:06<00:28,  9.56it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.2.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

  9%|████████████████▉                                                                                                                                                                                      | 25/293 [00:06<00:28,  9.56it/s]
 13%|█████████████████████████▏                                                                                                                                                                             | 37/293 [00:06<00:15, 16.99it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mlp.c_proj.bias", shape: (2048,), dtype: float32

 13%|█████████████████████████▏                                                                                                                                                                             | 37/293 [00:06<00:15, 16.99it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.ln_1.weight", shape: (2048,), dtype: float32

 13%|█████████████████████████▏                                                                                                                                                                             | 37/293 [00:06<00:15, 16.99it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.ln_1.bias", shape: (2048,), dtype: float32

 13%|█████████████████████████▏                                                                                                                                                                             | 37/293 [00:06<00:15, 16.99it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.3.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 13%|█████████████████████████▏                                                                                                                                                                             | 37/293 [00:06<00:15, 16.99it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.3.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 13%|█████████████████████████▏                                                                                                                                                                             | 37/293 [00:06<00:15, 16.99it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.attn.c_attn.bias", shape: (2304,), dtype: float32

 13%|█████████████████████████▏                                                                                                                                                                             | 37/293 [00:06<00:15, 16.99it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.3.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 13%|█████████████████████████▏                                                                                                                                                                             | 37/293 [00:06<00:15, 16.99it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.3.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 13%|█████████████████████████▏                                                                                                                                                                             | 37/293 [00:06<00:15, 16.99it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.attn.c_proj.bias", shape: (2048,), dtype: float32

 13%|█████████████████████████▏                                                                                                                                                                             | 37/293 [00:06<00:15, 16.99it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.ln_2.weight", shape: (2048,), dtype: float32

 13%|█████████████████████████▏                                                                                                                                                                             | 37/293 [00:06<00:15, 16.99it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.ln_2.bias", shape: (2048,), dtype: float32

 13%|█████████████████████████▏                                                                                                                                                                             | 37/293 [00:06<00:15, 16.99it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.3.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 13%|█████████████████████████▏                                                                                                                                                                             | 37/293 [00:07<00:15, 16.99it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.3.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 13%|█████████████████████████▏                                                                                                                                                                             | 37/293 [00:07<00:15, 16.99it/s]
 16%|███████████████████████████████▉                                                                                                                                                                       | 47/293 [00:07<00:16, 14.51it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mlp.c_fc.bias", shape: (8192,), dtype: float32

 16%|███████████████████████████████▉                                                                                                                                                                       | 47/293 [00:07<00:16, 14.51it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.3.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 16%|███████████████████████████████▉                                                                                                                                                                       | 47/293 [00:07<00:16, 14.51it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.3.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 16%|███████████████████████████████▉                                                                                                                                                                       | 47/293 [00:07<00:16, 14.51it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mlp.c_proj.bias", shape: (2048,), dtype: float32

 16%|███████████████████████████████▉                                                                                                                                                                       | 47/293 [00:07<00:16, 14.51it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.ln_1.weight", shape: (2048,), dtype: float32

 16%|███████████████████████████████▉                                                                                                                                                                       | 47/293 [00:07<00:16, 14.51it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.ln_1.bias", shape: (2048,), dtype: float32

 16%|███████████████████████████████▉                                                                                                                                                                       | 47/293 [00:07<00:16, 14.51it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.4.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 16%|███████████████████████████████▉                                                                                                                                                                       | 47/293 [00:07<00:16, 14.51it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.4.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 16%|███████████████████████████████▉                                                                                                                                                                       | 47/293 [00:07<00:16, 14.51it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.attn.c_attn.bias", shape: (2304,), dtype: float32

 16%|███████████████████████████████▉                                                                                                                                                                       | 47/293 [00:07<00:16, 14.51it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.4.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 16%|███████████████████████████████▉                                                                                                                                                                       | 47/293 [00:07<00:16, 14.51it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.4.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 16%|███████████████████████████████▉                                                                                                                                                                       | 47/293 [00:07<00:16, 14.51it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.attn.c_proj.bias", shape: (2048,), dtype: float32

 16%|███████████████████████████████▉                                                                                                                                                                       | 47/293 [00:07<00:16, 14.51it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.ln_2.weight", shape: (2048,), dtype: float32

 16%|███████████████████████████████▉                                                                                                                                                                       | 47/293 [00:07<00:16, 14.51it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.ln_2.bias", shape: (2048,), dtype: float32

 16%|███████████████████████████████▉                                                                                                                                                                       | 47/293 [00:07<00:16, 14.51it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.4.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 16%|███████████████████████████████▉                                                                                                                                                                       | 47/293 [00:07<00:16, 14.51it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.4.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 16%|███████████████████████████████▉                                                                                                                                                                       | 47/293 [00:07<00:16, 14.51it/s]
 20%|████████████████████████████████████████                                                                                                                                                               | 59/293 [00:07<00:10, 21.31it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:18] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mlp.c_fc.bias", shape: (8192,), dtype: float32

 20%|████████████████████████████████████████                                                                                                                                                               | 59/293 [00:07<00:10, 21.31it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.4.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 20%|████████████████████████████████████████                                                                                                                                                               | 59/293 [00:07<00:10, 21.31it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.4.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 20%|████████████████████████████████████████                                                                                                                                                               | 59/293 [00:07<00:10, 21.31it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mlp.c_proj.bias", shape: (2048,), dtype: float32

 20%|████████████████████████████████████████                                                                                                                                                               | 59/293 [00:07<00:10, 21.31it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.ln_1.weight", shape: (2048,), dtype: float32

 20%|████████████████████████████████████████                                                                                                                                                               | 59/293 [00:07<00:10, 21.31it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.ln_1.bias", shape: (2048,), dtype: float32

 20%|████████████████████████████████████████                                                                                                                                                               | 59/293 [00:07<00:10, 21.31it/s]
 22%|███████████████████████████████████████████▍                                                                                                                                                           | 64/293 [00:07<00:11, 19.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.5.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 22%|███████████████████████████████████████████▍                                                                                                                                                           | 64/293 [00:07<00:11, 19.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.5.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 22%|███████████████████████████████████████████▍                                                                                                                                                           | 64/293 [00:07<00:11, 19.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.attn.c_attn.bias", shape: (2304,), dtype: float32

 22%|███████████████████████████████████████████▍                                                                                                                                                           | 64/293 [00:07<00:11, 19.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.5.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 22%|███████████████████████████████████████████▍                                                                                                                                                           | 64/293 [00:07<00:11, 19.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.5.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 22%|███████████████████████████████████████████▍                                                                                                                                                           | 64/293 [00:07<00:11, 19.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.attn.c_proj.bias", shape: (2048,), dtype: float32

 22%|███████████████████████████████████████████▍                                                                                                                                                           | 64/293 [00:07<00:11, 19.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.ln_2.weight", shape: (2048,), dtype: float32

 22%|███████████████████████████████████████████▍                                                                                                                                                           | 64/293 [00:07<00:11, 19.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.ln_2.bias", shape: (2048,), dtype: float32

 22%|███████████████████████████████████████████▍                                                                                                                                                           | 64/293 [00:07<00:11, 19.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.5.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 22%|███████████████████████████████████████████▍                                                                                                                                                           | 64/293 [00:08<00:11, 19.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.5.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 22%|███████████████████████████████████████████▍                                                                                                                                                           | 64/293 [00:08<00:11, 19.89it/s]
 24%|████████████████████████████████████████████████▏                                                                                                                                                      | 71/293 [00:08<00:10, 20.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mlp.c_fc.bias", shape: (8192,), dtype: float32

 24%|████████████████████████████████████████████████▏                                                                                                                                                      | 71/293 [00:08<00:10, 20.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.5.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 24%|████████████████████████████████████████████████▏                                                                                                                                                      | 71/293 [00:08<00:10, 20.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.5.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 24%|████████████████████████████████████████████████▏                                                                                                                                                      | 71/293 [00:08<00:10, 20.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mlp.c_proj.bias", shape: (2048,), dtype: float32

 24%|████████████████████████████████████████████████▏                                                                                                                                                      | 71/293 [00:08<00:10, 20.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.ln_1.weight", shape: (2048,), dtype: float32

 24%|████████████████████████████████████████████████▏                                                                                                                                                      | 71/293 [00:08<00:10, 20.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.ln_1.bias", shape: (2048,), dtype: float32

 24%|████████████████████████████████████████████████▏                                                                                                                                                      | 71/293 [00:08<00:10, 20.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.6.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 24%|████████████████████████████████████████████████▏                                                                                                                                                      | 71/293 [00:08<00:10, 20.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.6.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 24%|████████████████████████████████████████████████▏                                                                                                                                                      | 71/293 [00:08<00:10, 20.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.attn.c_attn.bias", shape: (2304,), dtype: float32

 24%|████████████████████████████████████████████████▏                                                                                                                                                      | 71/293 [00:08<00:10, 20.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.6.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 24%|████████████████████████████████████████████████▏                                                                                                                                                      | 71/293 [00:08<00:10, 20.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.6.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 24%|████████████████████████████████████████████████▏                                                                                                                                                      | 71/293 [00:08<00:10, 20.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.attn.c_proj.bias", shape: (2048,), dtype: float32

 24%|████████████████████████████████████████████████▏                                                                                                                                                      | 71/293 [00:08<00:10, 20.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.ln_2.weight", shape: (2048,), dtype: float32

 24%|████████████████████████████████████████████████▏                                                                                                                                                      | 71/293 [00:08<00:10, 20.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.ln_2.bias", shape: (2048,), dtype: float32

 24%|████████████████████████████████████████████████▏                                                                                                                                                      | 71/293 [00:08<00:10, 20.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.6.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 24%|████████████████████████████████████████████████▏                                                                                                                                                      | 71/293 [00:08<00:10, 20.89it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.6.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 24%|████████████████████████████████████████████████▏                                                                                                                                                      | 71/293 [00:08<00:10, 20.89it/s]
 28%|████████████████████████████████████████████████████████▎                                                                                                                                              | 83/293 [00:08<00:08, 25.81it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mlp.c_fc.bias", shape: (8192,), dtype: float32

 28%|████████████████████████████████████████████████████████▎                                                                                                                                              | 83/293 [00:08<00:08, 25.81it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.6.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 28%|████████████████████████████████████████████████████████▎                                                                                                                                              | 83/293 [00:08<00:08, 25.81it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.6.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 28%|████████████████████████████████████████████████████████▎                                                                                                                                              | 83/293 [00:08<00:08, 25.81it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mlp.c_proj.bias", shape: (2048,), dtype: float32

 28%|████████████████████████████████████████████████████████▎                                                                                                                                              | 83/293 [00:08<00:08, 25.81it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.ln_1.weight", shape: (2048,), dtype: float32

 28%|████████████████████████████████████████████████████████▎                                                                                                                                              | 83/293 [00:08<00:08, 25.81it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.ln_1.bias", shape: (2048,), dtype: float32

 28%|████████████████████████████████████████████████████████▎                                                                                                                                              | 83/293 [00:08<00:08, 25.81it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.7.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 28%|████████████████████████████████████████████████████████▎                                                                                                                                              | 83/293 [00:08<00:08, 25.81it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.7.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 28%|████████████████████████████████████████████████████████▎                                                                                                                                              | 83/293 [00:08<00:08, 25.81it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.attn.c_attn.bias", shape: (2304,), dtype: float32

 28%|████████████████████████████████████████████████████████▎                                                                                                                                              | 83/293 [00:08<00:08, 25.81it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.7.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 28%|████████████████████████████████████████████████████████▎                                                                                                                                              | 83/293 [00:08<00:08, 25.81it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.7.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 28%|████████████████████████████████████████████████████████▎                                                                                                                                              | 83/293 [00:08<00:08, 25.81it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.attn.c_proj.bias", shape: (2048,), dtype: float32

 28%|████████████████████████████████████████████████████████▎                                                                                                                                              | 83/293 [00:08<00:08, 25.81it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.ln_2.weight", shape: (2048,), dtype: float32

 28%|████████████████████████████████████████████████████████▎                                                                                                                                              | 83/293 [00:08<00:08, 25.81it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.ln_2.bias", shape: (2048,), dtype: float32

 28%|████████████████████████████████████████████████████████▎                                                                                                                                              | 83/293 [00:08<00:08, 25.81it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.7.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 28%|████████████████████████████████████████████████████████▎                                                                                                                                              | 83/293 [00:08<00:08, 25.81it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.7.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 28%|████████████████████████████████████████████████████████▎                                                                                                                                              | 83/293 [00:08<00:08, 25.81it/s]
 32%|████████████████████████████████████████████████████████████████▌                                                                                                                                      | 95/293 [00:08<00:06, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mlp.c_fc.bias", shape: (8192,), dtype: float32

 32%|████████████████████████████████████████████████████████████████▌                                                                                                                                      | 95/293 [00:08<00:06, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.7.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 32%|████████████████████████████████████████████████████████████████▌                                                                                                                                      | 95/293 [00:08<00:06, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.7.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 32%|████████████████████████████████████████████████████████████████▌                                                                                                                                      | 95/293 [00:08<00:06, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mlp.c_proj.bias", shape: (2048,), dtype: float32

 32%|████████████████████████████████████████████████████████████████▌                                                                                                                                      | 95/293 [00:08<00:06, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.ln_1.weight", shape: (2048,), dtype: float32

 32%|████████████████████████████████████████████████████████████████▌                                                                                                                                      | 95/293 [00:08<00:06, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.ln_1.bias", shape: (2048,), dtype: float32

 32%|████████████████████████████████████████████████████████████████▌                                                                                                                                      | 95/293 [00:08<00:06, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.8.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 32%|████████████████████████████████████████████████████████████████▌                                                                                                                                      | 95/293 [00:08<00:06, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.8.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 32%|████████████████████████████████████████████████████████████████▌                                                                                                                                      | 95/293 [00:08<00:06, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.attn.c_attn.bias", shape: (2304,), dtype: float32

 32%|████████████████████████████████████████████████████████████████▌                                                                                                                                      | 95/293 [00:08<00:06, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.8.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 32%|████████████████████████████████████████████████████████████████▌                                                                                                                                      | 95/293 [00:08<00:06, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.8.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 32%|████████████████████████████████████████████████████████████████▌                                                                                                                                      | 95/293 [00:08<00:06, 28.75it/s]
 35%|█████████████████████████████████████████████████████████████████████▌                                                                                                                                | 103/293 [00:08<00:05, 34.34it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.attn.c_proj.bias", shape: (2048,), dtype: float32

 35%|█████████████████████████████████████████████████████████████████████▌                                                                                                                                | 103/293 [00:08<00:05, 34.34it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.ln_2.weight", shape: (2048,), dtype: float32

 35%|█████████████████████████████████████████████████████████████████████▌                                                                                                                                | 103/293 [00:08<00:05, 34.34it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.ln_2.bias", shape: (2048,), dtype: float32

 35%|█████████████████████████████████████████████████████████████████████▌                                                                                                                                | 103/293 [00:08<00:05, 34.34it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.8.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 35%|█████████████████████████████████████████████████████████████████████▌                                                                                                                                | 103/293 [00:09<00:05, 34.34it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.8.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 35%|█████████████████████████████████████████████████████████████████████▌                                                                                                                                | 103/293 [00:09<00:05, 34.34it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mlp.c_fc.bias", shape: (8192,), dtype: float32

 35%|█████████████████████████████████████████████████████████████████████▌                                                                                                                                | 103/293 [00:09<00:05, 34.34it/s]
 37%|████████████████████████████████████████████████████████████████████████▉                                                                                                                             | 108/293 [00:09<00:06, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.8.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 37%|████████████████████████████████████████████████████████████████████████▉                                                                                                                             | 108/293 [00:09<00:06, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.8.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 37%|████████████████████████████████████████████████████████████████████████▉                                                                                                                             | 108/293 [00:09<00:06, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mlp.c_proj.bias", shape: (2048,), dtype: float32

 37%|████████████████████████████████████████████████████████████████████████▉                                                                                                                             | 108/293 [00:09<00:06, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.ln_1.weight", shape: (2048,), dtype: float32

 37%|████████████████████████████████████████████████████████████████████████▉                                                                                                                             | 108/293 [00:09<00:06, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.ln_1.bias", shape: (2048,), dtype: float32

 37%|████████████████████████████████████████████████████████████████████████▉                                                                                                                             | 108/293 [00:09<00:06, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.9.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 37%|████████████████████████████████████████████████████████████████████████▉                                                                                                                             | 108/293 [00:09<00:06, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.9.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 37%|████████████████████████████████████████████████████████████████████████▉                                                                                                                             | 108/293 [00:09<00:06, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.attn.c_attn.bias", shape: (2304,), dtype: float32

 37%|████████████████████████████████████████████████████████████████████████▉                                                                                                                             | 108/293 [00:09<00:06, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.9.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 37%|████████████████████████████████████████████████████████████████████████▉                                                                                                                             | 108/293 [00:09<00:06, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.9.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 37%|████████████████████████████████████████████████████████████████████████▉                                                                                                                             | 108/293 [00:09<00:06, 29.49it/s]
 39%|█████████████████████████████████████████████████████████████████████████████▋                                                                                                                        | 115/293 [00:09<00:05, 34.96it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.attn.c_proj.bias", shape: (2048,), dtype: float32

 39%|█████████████████████████████████████████████████████████████████████████████▋                                                                                                                        | 115/293 [00:09<00:05, 34.96it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.ln_2.weight", shape: (2048,), dtype: float32

 39%|█████████████████████████████████████████████████████████████████████████████▋                                                                                                                        | 115/293 [00:09<00:05, 34.96it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.ln_2.bias", shape: (2048,), dtype: float32

 39%|█████████████████████████████████████████████████████████████████████████████▋                                                                                                                        | 115/293 [00:09<00:05, 34.96it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.9.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 39%|█████████████████████████████████████████████████████████████████████████████▋                                                                                                                        | 115/293 [00:09<00:05, 34.96it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.9.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 39%|█████████████████████████████████████████████████████████████████████████████▋                                                                                                                        | 115/293 [00:09<00:05, 34.96it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mlp.c_fc.bias", shape: (8192,), dtype: float32

 39%|█████████████████████████████████████████████████████████████████████████████▋                                                                                                                        | 115/293 [00:09<00:05, 34.96it/s]
 41%|█████████████████████████████████████████████████████████████████████████████████                                                                                                                     | 120/293 [00:09<00:05, 31.22it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.9.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 41%|█████████████████████████████████████████████████████████████████████████████████                                                                                                                     | 120/293 [00:09<00:05, 31.22it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.9.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 41%|█████████████████████████████████████████████████████████████████████████████████                                                                                                                     | 120/293 [00:09<00:05, 31.22it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mlp.c_proj.bias", shape: (2048,), dtype: float32

 41%|█████████████████████████████████████████████████████████████████████████████████                                                                                                                     | 120/293 [00:09<00:05, 31.22it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.ln_1.weight", shape: (2048,), dtype: float32

 41%|█████████████████████████████████████████████████████████████████████████████████                                                                                                                     | 120/293 [00:09<00:05, 31.22it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:20] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.ln_1.bias", shape: (2048,), dtype: float32

 41%|█████████████████████████████████████████████████████████████████████████████████                                                                                                                     | 120/293 [00:09<00:05, 31.22it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.10.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 41%|█████████████████████████████████████████████████████████████████████████████████                                                                                                                     | 120/293 [00:09<00:05, 31.22it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.10.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 41%|█████████████████████████████████████████████████████████████████████████████████                                                                                                                     | 120/293 [00:09<00:05, 31.22it/s]
 43%|████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                 | 125/293 [00:09<00:06, 27.24it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.attn.c_attn.bias", shape: (2304,), dtype: float32

 43%|████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                 | 125/293 [00:09<00:06, 27.24it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.10.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 43%|████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                 | 125/293 [00:09<00:06, 27.24it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.10.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 43%|████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                 | 125/293 [00:09<00:06, 27.24it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.attn.c_proj.bias", shape: (2048,), dtype: float32

 43%|████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                 | 125/293 [00:09<00:06, 27.24it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.ln_2.weight", shape: (2048,), dtype: float32

 43%|████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                 | 125/293 [00:09<00:06, 27.24it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.ln_2.bias", shape: (2048,), dtype: float32

 43%|████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                 | 125/293 [00:09<00:06, 27.24it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.10.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 43%|████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                 | 125/293 [00:09<00:06, 27.24it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.10.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 43%|████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                 | 125/293 [00:09<00:06, 27.24it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mlp.c_fc.bias", shape: (8192,), dtype: float32

 43%|████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                 | 125/293 [00:09<00:06, 27.24it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.10.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 43%|████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                 | 125/293 [00:10<00:06, 27.24it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.10.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 43%|████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                 | 125/293 [00:10<00:06, 27.24it/s]
 45%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                            | 133/293 [00:10<00:07, 22.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mlp.c_proj.bias", shape: (2048,), dtype: float32

 45%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                            | 133/293 [00:10<00:07, 22.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.ln_1.weight", shape: (2048,), dtype: float32

 45%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                            | 133/293 [00:10<00:07, 22.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.ln_1.bias", shape: (2048,), dtype: float32

 45%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                            | 133/293 [00:10<00:07, 22.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.11.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 45%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                            | 133/293 [00:10<00:07, 22.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.11.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 45%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                            | 133/293 [00:10<00:07, 22.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.attn.c_attn.bias", shape: (2304,), dtype: float32

 45%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                            | 133/293 [00:10<00:07, 22.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.11.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 45%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                            | 133/293 [00:10<00:07, 22.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.11.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 45%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                            | 133/293 [00:10<00:07, 22.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.attn.c_proj.bias", shape: (2048,), dtype: float32

 45%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                            | 133/293 [00:10<00:07, 22.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.ln_2.weight", shape: (2048,), dtype: float32

 45%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                            | 133/293 [00:10<00:07, 22.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.ln_2.bias", shape: (2048,), dtype: float32

 45%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                            | 133/293 [00:10<00:07, 22.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.11.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 45%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                            | 133/293 [00:10<00:07, 22.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.11.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 45%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                            | 133/293 [00:10<00:07, 22.60it/s]
 49%|████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                     | 143/293 [00:10<00:04, 31.78it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mlp.c_fc.bias", shape: (8192,), dtype: float32

 49%|████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                     | 143/293 [00:10<00:04, 31.78it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.11.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 49%|████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                     | 143/293 [00:10<00:04, 31.78it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.11.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 49%|████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                     | 143/293 [00:10<00:04, 31.78it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mlp.c_proj.bias", shape: (2048,), dtype: float32

 49%|████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                     | 143/293 [00:10<00:04, 31.78it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.ln_1.weight", shape: (2048,), dtype: float32

 49%|████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                     | 143/293 [00:10<00:04, 31.78it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.ln_1.bias", shape: (2048,), dtype: float32

 49%|████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                     | 143/293 [00:10<00:04, 31.78it/s]
 51%|████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                  | 148/293 [00:10<00:05, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.12.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                  | 148/293 [00:10<00:05, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.12.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                  | 148/293 [00:10<00:05, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.attn.c_attn.bias", shape: (2304,), dtype: float32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                  | 148/293 [00:10<00:05, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.12.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                  | 148/293 [00:10<00:05, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.12.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                  | 148/293 [00:10<00:05, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.attn.c_proj.bias", shape: (2048,), dtype: float32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                  | 148/293 [00:10<00:05, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.ln_2.weight", shape: (2048,), dtype: float32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                  | 148/293 [00:10<00:05, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.ln_2.bias", shape: (2048,), dtype: float32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                  | 148/293 [00:10<00:05, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.12.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                  | 148/293 [00:10<00:05, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.12.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                  | 148/293 [00:10<00:05, 28.75it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mlp.c_fc.bias", shape: (8192,), dtype: float32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                  | 148/293 [00:10<00:05, 28.75it/s]
 53%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                            | 156/293 [00:10<00:03, 36.47it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.12.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 53%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                            | 156/293 [00:10<00:03, 36.47it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.12.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 53%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                            | 156/293 [00:10<00:03, 36.47it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mlp.c_proj.bias", shape: (2048,), dtype: float32

 53%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                            | 156/293 [00:10<00:03, 36.47it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.ln_1.weight", shape: (2048,), dtype: float32

 53%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                            | 156/293 [00:10<00:03, 36.47it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.ln_1.bias", shape: (2048,), dtype: float32

 53%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                            | 156/293 [00:10<00:03, 36.47it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.13.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 53%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                            | 156/293 [00:10<00:03, 36.47it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.13.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 53%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                            | 156/293 [00:10<00:03, 36.47it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.attn.c_attn.bias", shape: (2304,), dtype: float32

 53%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                            | 156/293 [00:10<00:03, 36.47it/s]
 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                        | 162/293 [00:10<00:04, 31.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.13.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                        | 162/293 [00:10<00:04, 31.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.13.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                        | 162/293 [00:10<00:04, 31.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.attn.c_proj.bias", shape: (2048,), dtype: float32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                        | 162/293 [00:10<00:04, 31.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.ln_2.weight", shape: (2048,), dtype: float32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                        | 162/293 [00:10<00:04, 31.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.ln_2.bias", shape: (2048,), dtype: float32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                        | 162/293 [00:10<00:04, 31.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.13.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                        | 162/293 [00:11<00:04, 31.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.13.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                        | 162/293 [00:11<00:04, 31.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mlp.c_fc.bias", shape: (8192,), dtype: float32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                        | 162/293 [00:11<00:04, 31.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.13.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                        | 162/293 [00:11<00:04, 31.60it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.13.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                        | 162/293 [00:11<00:04, 31.60it/s]
 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                   | 169/293 [00:11<00:04, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mlp.c_proj.bias", shape: (2048,), dtype: float32

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                   | 169/293 [00:11<00:04, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.ln_1.weight", shape: (2048,), dtype: float32

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                   | 169/293 [00:11<00:04, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.ln_1.bias", shape: (2048,), dtype: float32

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                   | 169/293 [00:11<00:04, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.14.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                   | 169/293 [00:11<00:04, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.14.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                   | 169/293 [00:11<00:04, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.attn.c_attn.bias", shape: (2304,), dtype: float32

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                   | 169/293 [00:11<00:04, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.14.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                   | 169/293 [00:11<00:04, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.14.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                   | 169/293 [00:11<00:04, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.attn.c_proj.bias", shape: (2048,), dtype: float32

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                   | 169/293 [00:11<00:04, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.ln_2.weight", shape: (2048,), dtype: float32

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                   | 169/293 [00:11<00:04, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.ln_2.bias", shape: (2048,), dtype: float32

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                   | 169/293 [00:11<00:04, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.14.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                   | 169/293 [00:11<00:04, 29.49it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.14.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                   | 169/293 [00:11<00:04, 29.49it/s]
 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                             | 179/293 [00:11<00:02, 40.04it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mlp.c_fc.bias", shape: (8192,), dtype: float32

 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                             | 179/293 [00:11<00:02, 40.04it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.14.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                             | 179/293 [00:11<00:02, 40.04it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.14.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                             | 179/293 [00:11<00:02, 40.04it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mlp.c_proj.bias", shape: (2048,), dtype: float32

 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                             | 179/293 [00:11<00:02, 40.04it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.ln_1.weight", shape: (2048,), dtype: float32

 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                             | 179/293 [00:11<00:02, 40.04it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.ln_1.bias", shape: (2048,), dtype: float32

 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                             | 179/293 [00:11<00:02, 40.04it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.15.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                             | 179/293 [00:11<00:02, 40.04it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.15.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                             | 179/293 [00:11<00:02, 40.04it/s]
 63%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                         | 185/293 [00:11<00:03, 32.16it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.attn.c_attn.bias", shape: (2304,), dtype: float32

 63%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                         | 185/293 [00:11<00:03, 32.16it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.15.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 63%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                         | 185/293 [00:11<00:03, 32.16it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.15.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 63%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                         | 185/293 [00:11<00:03, 32.16it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.attn.c_proj.bias", shape: (2048,), dtype: float32

 63%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                         | 185/293 [00:11<00:03, 32.16it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.ln_2.weight", shape: (2048,), dtype: float32

 63%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                         | 185/293 [00:11<00:03, 32.16it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.ln_2.bias", shape: (2048,), dtype: float32

 63%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                         | 185/293 [00:11<00:03, 32.16it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.15.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 63%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                         | 185/293 [00:11<00:03, 32.16it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.15.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 63%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                         | 185/293 [00:11<00:03, 32.16it/s]
 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                     | 191/293 [00:11<00:03, 27.77it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mlp.c_fc.bias", shape: (8192,), dtype: float32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                     | 191/293 [00:11<00:03, 27.77it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.15.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                     | 191/293 [00:11<00:03, 27.77it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.15.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                     | 191/293 [00:12<00:03, 27.77it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mlp.c_proj.bias", shape: (2048,), dtype: float32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                     | 191/293 [00:12<00:03, 27.77it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.ln_1.weight", shape: (2048,), dtype: float32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                     | 191/293 [00:12<00:03, 27.77it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.ln_1.bias", shape: (2048,), dtype: float32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                     | 191/293 [00:12<00:03, 27.77it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.16.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                     | 191/293 [00:12<00:03, 27.77it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.16.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                     | 191/293 [00:12<00:03, 27.77it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.attn.c_attn.bias", shape: (2304,), dtype: float32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                     | 191/293 [00:12<00:03, 27.77it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.16.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                     | 191/293 [00:12<00:03, 27.77it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.16.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                     | 191/293 [00:12<00:03, 27.77it/s]
 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                               | 199/293 [00:12<00:02, 35.43it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.attn.c_proj.bias", shape: (2048,), dtype: float32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                               | 199/293 [00:12<00:02, 35.43it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.ln_2.weight", shape: (2048,), dtype: float32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                               | 199/293 [00:12<00:02, 35.43it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.ln_2.bias", shape: (2048,), dtype: float32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                               | 199/293 [00:12<00:02, 35.43it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.16.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                               | 199/293 [00:12<00:02, 35.43it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.16.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                               | 199/293 [00:12<00:02, 35.43it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mlp.c_fc.bias", shape: (8192,), dtype: float32

 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                               | 199/293 [00:12<00:02, 35.43it/s]
 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                            | 204/293 [00:12<00:02, 30.57it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.16.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                            | 204/293 [00:12<00:02, 30.57it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.16.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                            | 204/293 [00:12<00:02, 30.57it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mlp.c_proj.bias", shape: (2048,), dtype: float32

 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                            | 204/293 [00:12<00:02, 30.57it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.ln_1.weight", shape: (2048,), dtype: float32

 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                            | 204/293 [00:12<00:02, 30.57it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.ln_1.bias", shape: (2048,), dtype: float32

 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                            | 204/293 [00:12<00:02, 30.57it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.17.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                            | 204/293 [00:12<00:02, 30.57it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.17.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                            | 204/293 [00:12<00:02, 30.57it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.attn.c_attn.bias", shape: (2304,), dtype: float32

 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                            | 204/293 [00:12<00:02, 30.57it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.17.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                            | 204/293 [00:12<00:02, 30.57it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.17.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                            | 204/293 [00:12<00:02, 30.57it/s]
 72%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 211/293 [00:12<00:02, 37.05it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.attn.c_proj.bias", shape: (2048,), dtype: float32

 72%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 211/293 [00:12<00:02, 37.05it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.ln_2.weight", shape: (2048,), dtype: float32

 72%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 211/293 [00:12<00:02, 37.05it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.ln_2.bias", shape: (2048,), dtype: float32

 72%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 211/293 [00:12<00:02, 37.05it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.17.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 72%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 211/293 [00:12<00:02, 37.05it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.17.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 72%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 211/293 [00:12<00:02, 37.05it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mlp.c_fc.bias", shape: (8192,), dtype: float32

 72%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 211/293 [00:12<00:02, 37.05it/s]
 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                    | 216/293 [00:12<00:02, 32.27it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.17.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                    | 216/293 [00:12<00:02, 32.27it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.17.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                    | 216/293 [00:12<00:02, 32.27it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mlp.c_proj.bias", shape: (2048,), dtype: float32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                    | 216/293 [00:12<00:02, 32.27it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.ln_1.weight", shape: (2048,), dtype: float32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                    | 216/293 [00:12<00:02, 32.27it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.ln_1.bias", shape: (2048,), dtype: float32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                    | 216/293 [00:12<00:02, 32.27it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.18.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                    | 216/293 [00:12<00:02, 32.27it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.18.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                    | 216/293 [00:12<00:02, 32.27it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.attn.c_attn.bias", shape: (2304,), dtype: float32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                    | 216/293 [00:12<00:02, 32.27it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.18.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                    | 216/293 [00:12<00:02, 32.27it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.18.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                    | 216/293 [00:12<00:02, 32.27it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.attn.c_proj.bias", shape: (2048,), dtype: float32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                    | 216/293 [00:12<00:02, 32.27it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.ln_2.weight", shape: (2048,), dtype: float32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                    | 216/293 [00:12<00:02, 32.27it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.ln_2.bias", shape: (2048,), dtype: float32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                    | 216/293 [00:12<00:02, 32.27it/s]
 77%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                             | 226/293 [00:12<00:01, 44.62it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.18.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 77%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                             | 226/293 [00:13<00:01, 44.62it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.18.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 77%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                             | 226/293 [00:13<00:01, 44.62it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mlp.c_fc.bias", shape: (8192,), dtype: float32

 77%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                             | 226/293 [00:13<00:01, 44.62it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.18.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 77%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                             | 226/293 [00:13<00:01, 44.62it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.18.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 77%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                             | 226/293 [00:13<00:01, 44.62it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mlp.c_proj.bias", shape: (2048,), dtype: float32

 77%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                             | 226/293 [00:13<00:01, 44.62it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.ln_1.weight", shape: (2048,), dtype: float32

 77%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                             | 226/293 [00:13<00:01, 44.62it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.ln_1.bias", shape: (2048,), dtype: float32

 77%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                             | 226/293 [00:13<00:01, 44.62it/s]
 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                         | 232/293 [00:13<00:02, 29.91it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.19.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                         | 232/293 [00:13<00:02, 29.91it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.19.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                         | 232/293 [00:13<00:02, 29.91it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.attn.c_attn.bias", shape: (2304,), dtype: float32

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                         | 232/293 [00:13<00:02, 29.91it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.19.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                         | 232/293 [00:13<00:02, 29.91it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.19.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                         | 232/293 [00:13<00:02, 29.91it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.attn.c_proj.bias", shape: (2048,), dtype: float32

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                         | 232/293 [00:13<00:02, 29.91it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.ln_2.weight", shape: (2048,), dtype: float32

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                         | 232/293 [00:13<00:02, 29.91it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.ln_2.bias", shape: (2048,), dtype: float32

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                         | 232/293 [00:13<00:02, 29.91it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.19.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                         | 232/293 [00:13<00:02, 29.91it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.19.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                         | 232/293 [00:13<00:02, 29.91it/s]
 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                    | 239/293 [00:13<00:01, 27.85it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mlp.c_fc.bias", shape: (8192,), dtype: float32

 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                    | 239/293 [00:13<00:01, 27.85it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.19.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                    | 239/293 [00:13<00:01, 27.85it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.19.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                    | 239/293 [00:13<00:01, 27.85it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mlp.c_proj.bias", shape: (2048,), dtype: float32

 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                    | 239/293 [00:13<00:01, 27.85it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.ln_1.weight", shape: (2048,), dtype: float32

 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                    | 239/293 [00:13<00:01, 27.85it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.ln_1.bias", shape: (2048,), dtype: float32

 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                    | 239/293 [00:13<00:01, 27.85it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.20.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                    | 239/293 [00:13<00:01, 27.85it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.20.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                    | 239/293 [00:13<00:01, 27.85it/s]
 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                | 245/293 [00:13<00:02, 23.96it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.attn.c_attn.bias", shape: (2304,), dtype: float32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                | 245/293 [00:13<00:02, 23.96it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.20.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                | 245/293 [00:13<00:02, 23.96it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.20.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                | 245/293 [00:13<00:02, 23.96it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.attn.c_proj.bias", shape: (2048,), dtype: float32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                | 245/293 [00:13<00:02, 23.96it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.ln_2.weight", shape: (2048,), dtype: float32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                | 245/293 [00:13<00:02, 23.96it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.ln_2.bias", shape: (2048,), dtype: float32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                | 245/293 [00:13<00:02, 23.96it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.20.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                | 245/293 [00:13<00:02, 23.96it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.20.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                | 245/293 [00:13<00:02, 23.96it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mlp.c_fc.bias", shape: (8192,), dtype: float32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                | 245/293 [00:13<00:02, 23.96it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.20.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                | 245/293 [00:13<00:02, 23.96it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.20.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                | 245/293 [00:13<00:02, 23.96it/s]
 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                           | 253/293 [00:13<00:01, 29.74it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mlp.c_proj.bias", shape: (2048,), dtype: float32

 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                           | 253/293 [00:13<00:01, 29.74it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.ln_1.weight", shape: (2048,), dtype: float32

 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                           | 253/293 [00:13<00:01, 29.74it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.ln_1.bias", shape: (2048,), dtype: float32

 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                           | 253/293 [00:13<00:01, 29.74it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.21.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                           | 253/293 [00:14<00:01, 29.74it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.21.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                           | 253/293 [00:14<00:01, 29.74it/s]
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                        | 257/293 [00:14<00:01, 28.00it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.attn.c_attn.bias", shape: (2304,), dtype: float32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                        | 257/293 [00:14<00:01, 28.00it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.21.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                        | 257/293 [00:14<00:01, 28.00it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.21.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                        | 257/293 [00:14<00:01, 28.00it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.attn.c_proj.bias", shape: (2048,), dtype: float32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                        | 257/293 [00:14<00:01, 28.00it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.ln_2.weight", shape: (2048,), dtype: float32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                        | 257/293 [00:14<00:01, 28.00it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.ln_2.bias", shape: (2048,), dtype: float32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                        | 257/293 [00:14<00:01, 28.00it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.21.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                        | 257/293 [00:14<00:01, 28.00it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.21.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                        | 257/293 [00:14<00:01, 28.00it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mlp.c_fc.bias", shape: (8192,), dtype: float32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                        | 257/293 [00:14<00:01, 28.00it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.21.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                        | 257/293 [00:14<00:01, 28.00it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.21.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                        | 257/293 [00:14<00:01, 28.00it/s]
 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                   | 265/293 [00:14<00:01, 27.12it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mlp.c_proj.bias", shape: (2048,), dtype: float32

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                   | 265/293 [00:14<00:01, 27.12it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.ln_1.weight", shape: (2048,), dtype: float32

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                   | 265/293 [00:14<00:01, 27.12it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.ln_1.bias", shape: (2048,), dtype: float32

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                   | 265/293 [00:14<00:01, 27.12it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.22.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                   | 265/293 [00:14<00:01, 27.12it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.22.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                   | 265/293 [00:14<00:01, 27.12it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.attn.c_attn.bias", shape: (2304,), dtype: float32

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                   | 265/293 [00:14<00:01, 27.12it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.22.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                   | 265/293 [00:14<00:01, 27.12it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.22.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                   | 265/293 [00:14<00:01, 27.12it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.attn.c_proj.bias", shape: (2048,), dtype: float32

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                   | 265/293 [00:14<00:01, 27.12it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.ln_2.weight", shape: (2048,), dtype: float32

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                   | 265/293 [00:14<00:01, 27.12it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.ln_2.bias", shape: (2048,), dtype: float32

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                   | 265/293 [00:14<00:01, 27.12it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.22.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                   | 265/293 [00:14<00:01, 27.12it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.22.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                   | 265/293 [00:14<00:01, 27.12it/s]
 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 275/293 [00:14<00:00, 37.58it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mlp.c_fc.bias", shape: (8192,), dtype: float32

 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 275/293 [00:14<00:00, 37.58it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.22.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 275/293 [00:14<00:00, 37.58it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.22.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 275/293 [00:14<00:00, 37.58it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mlp.c_proj.bias", shape: (2048,), dtype: float32

 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 275/293 [00:14<00:00, 37.58it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.ln_1.weight", shape: (2048,), dtype: float32

 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 275/293 [00:14<00:00, 37.58it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.ln_1.bias", shape: (2048,), dtype: float32

 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 275/293 [00:14<00:00, 37.58it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.23.attn.c_attn.q_weight", shape: (2304, 256), dtype: uint32

 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 275/293 [00:14<00:00, 37.58it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.23.attn.c_attn.q_scale", shape: (2304, 64), dtype: float32

 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 275/293 [00:14<00:00, 37.58it/s]
 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 281/293 [00:14<00:00, 31.05it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.attn.c_attn.bias", shape: (2304,), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 281/293 [00:14<00:00, 31.05it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.23.attn.c_proj.q_weight", shape: (2048, 256), dtype: uint32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 281/293 [00:14<00:00, 31.05it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.23.attn.c_proj.q_scale", shape: (2048, 64), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 281/293 [00:14<00:00, 31.05it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.attn.c_proj.bias", shape: (2048,), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 281/293 [00:14<00:00, 31.05it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.ln_2.weight", shape: (2048,), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 281/293 [00:14<00:00, 31.05it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.ln_2.bias", shape: (2048,), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 281/293 [00:14<00:00, 31.05it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.23.mlp.c_fc.q_weight", shape: (8192, 256), dtype: uint32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 281/293 [00:14<00:00, 31.05it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.23.mlp.c_fc.q_scale", shape: (8192, 64), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 281/293 [00:14<00:00, 31.05it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mlp.c_fc.bias", shape: (8192,), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 281/293 [00:14<00:00, 31.05it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.23.mlp.c_proj.q_weight", shape: (2048, 1024), dtype: uint32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 281/293 [00:15<00:00, 31.05it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.23.mlp.c_proj.q_scale", shape: (2048, 256), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 281/293 [00:15<00:00, 31.05it/s]
 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 289/293 [00:15<00:00, 27.86it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mlp.c_proj.bias", shape: (2048,), dtype: float32

 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 289/293 [00:15<00:00, 27.86it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.ln_f.weight", shape: (2048,), dtype: float32

 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 289/293 [00:15<00:00, 27.86it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:26] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.ln_f.bias", shape: (2048,), dtype: float32

 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 289/293 [00:15<00:00, 27.86it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "lm_head.q_weight", shape: (49280, 256), dtype: uint32

 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 289/293 [00:16<00:00, 27.86it/s]
                                                                                                                                                                                                                                             
[2024-01-08 19:19:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "lm_head.q_scale", shape: (49280, 64), dtype: float32

 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 289/293 [00:16<00:00, 27.86it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 293/293 [00:16<00:00, 13.11it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 293/293 [00:16<00:00, 18.19it/s]
[2024-01-08 19:19:27] INFO huggingface_loader.py:179: Unloading HF weight file: /opt/scratch/assets/gpt_bigcode-santacoder/pytorch_model.bin
[2024-01-08 19:19:27] INFO stats.py:71: Time usage: HF loading: 2.900 sec; Pre-quantization mapping: 11.675 sec; Quantization: 3.062 sec
[2024-01-08 19:19:27] INFO stats.py:85: RAM usage: Peak RAM: 2.283 GB. Total bytes loaded from disk: 2.283 GB
[2024-01-08 19:19:27] INFO convert_weight.py:119: Parameter size after quantization: 0.715 GB
[2024-01-08 19:19:27] INFO convert_weight.py:124: Total parameters: 1,225,811,968
[2024-01-08 19:19:27] INFO convert_weight.py:125: Bits per parameter: 5.012
Start storing to cache /home/junrushao/tmp/tmph17zk__o


[0001/0392] saving transformer.wte.q_weight
                                           
[0002/0392] saving transformer.wte.q_scale
                                           
[0003/0392] saving transformer.wpe.q_weight
                                           
[0004/0392] saving transformer.wpe.q_scale
                                           
[0005/0392] saving transformer.h.0.ln_1.weight
                                              
[0006/0392] saving transformer.h.0.ln_1.bias
                                              
[0007/0392] saving transformer.h.0.attn.c_attn.q_weight
                                                       
[0008/0392] saving transformer.h.0.attn.c_attn.q_scale
                                                       
[0009/0392] saving transformer.h.0.attn.c_attn.bias
                                                       
[0010/0392] saving transformer.h.0.attn.c_proj.q_weight
                                                       
[0011/0392] saving transformer.h.0.attn.c_proj.q_scale
                                                       
[0012/0392] saving transformer.h.0.attn.c_proj.bias
                                                       
[0013/0392] saving transformer.h.0.ln_2.weight
                                                       
[0014/0392] saving transformer.h.0.ln_2.bias
                                                       
[0015/0392] saving transformer.h.0.mlp.c_fc.q_weight
                                                       
[0016/0392] saving transformer.h.0.mlp.c_fc.q_scale
                                                       
[0017/0392] saving transformer.h.0.mlp.c_fc.bias
                                                       
[0018/0392] saving transformer.h.0.mlp.c_proj.q_weight
                                                       
[0019/0392] saving transformer.h.0.mlp.c_proj.q_scale
                                                       
[0020/0392] saving transformer.h.0.mlp.c_proj.bias
                                                       
[0021/0392] saving transformer.h.1.ln_1.weight
                                                       
[0022/0392] saving transformer.h.1.ln_1.bias
                                                       
[0023/0392] saving transformer.h.1.attn.c_attn.q_weight
                                                       
[0024/0392] saving transformer.h.1.attn.c_attn.q_scale
                                                       
[0025/0392] saving transformer.h.1.attn.c_attn.bias
                                                       
[0026/0392] saving transformer.h.1.attn.c_proj.q_weight
                                                       
[0027/0392] saving transformer.h.1.attn.c_proj.q_scale
                                                       
[0028/0392] saving transformer.h.1.attn.c_proj.bias
                                                       
[0029/0392] saving transformer.h.1.ln_2.weight
                                                       
[0030/0392] saving transformer.h.1.ln_2.bias
                                                       
[0031/0392] saving transformer.h.1.mlp.c_fc.q_weight
                                                       
[0032/0392] saving transformer.h.1.mlp.c_fc.q_scale
                                                       
[0033/0392] saving transformer.h.1.mlp.c_fc.bias
                                                       
[0034/0392] saving transformer.h.1.mlp.c_proj.q_weight
                                                       
[0035/0392] saving transformer.h.1.mlp.c_proj.q_scale
                                                       
[0036/0392] saving transformer.h.1.mlp.c_proj.bias
                                                       
[0037/0392] saving transformer.h.2.ln_1.weight
                                                       
[0038/0392] saving transformer.h.2.ln_1.bias
                                                       
[0039/0392] saving transformer.h.2.attn.c_attn.q_weight
                                                       
[0040/0392] saving transformer.h.2.attn.c_attn.q_scale
                                                       
[0041/0392] saving transformer.h.2.attn.c_attn.bias
                                                       
[0042/0392] saving transformer.h.2.attn.c_proj.q_weight
                                                       
[0043/0392] saving transformer.h.2.attn.c_proj.q_scale
                                                       
[0044/0392] saving transformer.h.2.attn.c_proj.bias
                                                       
[0045/0392] saving transformer.h.2.ln_2.weight
                                                       
[0046/0392] saving transformer.h.2.ln_2.bias
                                                       
[0047/0392] saving transformer.h.2.mlp.c_fc.q_weight
                                                       
[0048/0392] saving transformer.h.2.mlp.c_fc.q_scale
                                                       
[0049/0392] saving transformer.h.2.mlp.c_fc.bias
                                                       
[0050/0392] saving transformer.h.2.mlp.c_proj.q_weight
                                                       
[0051/0392] saving transformer.h.2.mlp.c_proj.q_scale
                                                       
[0052/0392] saving transformer.h.2.mlp.c_proj.bias
                                                       
[0053/0392] saving transformer.h.3.ln_1.weight
                                                       
[0054/0392] saving transformer.h.3.ln_1.bias
                                                       
[0055/0392] saving transformer.h.3.attn.c_attn.q_weight
                                                       
[0056/0392] saving transformer.h.3.attn.c_attn.q_scale
                                                       
[0057/0392] saving transformer.h.3.attn.c_attn.bias
                                                       
[0058/0392] saving transformer.h.3.attn.c_proj.q_weight
                                                       
[0059/0392] saving transformer.h.3.attn.c_proj.q_scale
                                                       
[0060/0392] saving transformer.h.3.attn.c_proj.bias
                                                       
[0061/0392] saving transformer.h.3.ln_2.weight
                                                       
[0062/0392] saving transformer.h.3.ln_2.bias
                                                       
[0063/0392] saving transformer.h.3.mlp.c_fc.q_weight
                                                       
[0064/0392] saving transformer.h.3.mlp.c_fc.q_scale
                                                       
[0065/0392] saving transformer.h.3.mlp.c_fc.bias
                                                       
[0066/0392] saving transformer.h.3.mlp.c_proj.q_weight
                                                       
[0067/0392] saving transformer.h.3.mlp.c_proj.q_scale
                                                       
[0068/0392] saving transformer.h.3.mlp.c_proj.bias
                                                       
[0069/0392] saving transformer.h.4.ln_1.weight
                                                       
[0070/0392] saving transformer.h.4.ln_1.bias
                                                       
[0071/0392] saving transformer.h.4.attn.c_attn.q_weight
                                                       
[0072/0392] saving transformer.h.4.attn.c_attn.q_scale
                                                       
[0073/0392] saving transformer.h.4.attn.c_attn.bias
                                                       
[0074/0392] saving transformer.h.4.attn.c_proj.q_weight
                                                       
[0075/0392] saving transformer.h.4.attn.c_proj.q_scale
                                                       
[0076/0392] saving transformer.h.4.attn.c_proj.bias
                                                       
[0077/0392] saving transformer.h.4.ln_2.weight
                                                       
[0078/0392] saving transformer.h.4.ln_2.bias
                                                       
[0079/0392] saving transformer.h.4.mlp.c_fc.q_weight
                                                       
[0080/0392] saving transformer.h.4.mlp.c_fc.q_scale
                                                       
[0081/0392] saving transformer.h.4.mlp.c_fc.bias
                                                       
[0082/0392] saving transformer.h.4.mlp.c_proj.q_weight
                                                       
[0083/0392] saving transformer.h.4.mlp.c_proj.q_scale
                                                       
[0084/0392] saving transformer.h.4.mlp.c_proj.bias
                                                       
[0085/0392] saving transformer.h.5.ln_1.weight
                                                       
[0086/0392] saving transformer.h.5.ln_1.bias
                                                       
[0087/0392] saving transformer.h.5.attn.c_attn.q_weight
                                                       
[0088/0392] saving transformer.h.5.attn.c_attn.q_scale
                                                       
[0089/0392] saving transformer.h.5.attn.c_attn.bias
                                                       
[0090/0392] saving transformer.h.5.attn.c_proj.q_weight
                                                       
[0091/0392] saving transformer.h.5.attn.c_proj.q_scale
                                                       
[0092/0392] saving transformer.h.5.attn.c_proj.bias
                                                       
[0093/0392] saving transformer.h.5.ln_2.weight
                                                       
[0094/0392] saving transformer.h.5.ln_2.bias
                                                       
[0095/0392] saving transformer.h.5.mlp.c_fc.q_weight
                                                       
[0096/0392] saving transformer.h.5.mlp.c_fc.q_scale
                                                       
[0097/0392] saving transformer.h.5.mlp.c_fc.bias
                                                       
[0098/0392] saving transformer.h.5.mlp.c_proj.q_weight
                                                       
[0099/0392] saving transformer.h.5.mlp.c_proj.q_scale
                                                       
[0100/0392] saving transformer.h.5.mlp.c_proj.bias
                                                       
[0101/0392] saving transformer.h.6.ln_1.weight
                                                       
[0102/0392] saving transformer.h.6.ln_1.bias
                                                       
[0103/0392] saving transformer.h.6.attn.c_attn.q_weight
                                                       
[0104/0392] saving transformer.h.6.attn.c_attn.q_scale
                                                       
[0105/0392] saving transformer.h.6.attn.c_attn.bias
                                                       
[0106/0392] saving transformer.h.6.attn.c_proj.q_weight
                                                       
[0107/0392] saving transformer.h.6.attn.c_proj.q_scale
                                                       
[0108/0392] saving transformer.h.6.attn.c_proj.bias
                                                       
[0109/0392] saving transformer.h.6.ln_2.weight
                                                       
[0110/0392] saving transformer.h.6.ln_2.bias
                                                       
[0111/0392] saving transformer.h.6.mlp.c_fc.q_weight
                                                       
[0112/0392] saving transformer.h.6.mlp.c_fc.q_scale
                                                       
[0113/0392] saving transformer.h.6.mlp.c_fc.bias
                                                       
[0114/0392] saving transformer.h.6.mlp.c_proj.q_weight
                                                       
[0115/0392] saving transformer.h.6.mlp.c_proj.q_scale
                                                       
[0116/0392] saving transformer.h.6.mlp.c_proj.bias
                                                       
[0117/0392] saving transformer.h.7.ln_1.weight
                                                       
[0118/0392] saving transformer.h.7.ln_1.bias
                                                       
[0119/0392] saving transformer.h.7.attn.c_attn.q_weight
                                                       
[0120/0392] saving transformer.h.7.attn.c_attn.q_scale
                                                       
[0121/0392] saving transformer.h.7.attn.c_attn.bias
                                                       
[0122/0392] saving transformer.h.7.attn.c_proj.q_weight
                                                       
[0123/0392] saving transformer.h.7.attn.c_proj.q_scale
                                                       
[0124/0392] saving transformer.h.7.attn.c_proj.bias
                                                       
[0125/0392] saving transformer.h.7.ln_2.weight
                                                       
[0126/0392] saving transformer.h.7.ln_2.bias
                                                       
[0127/0392] saving transformer.h.7.mlp.c_fc.q_weight
                                                       
[0128/0392] saving transformer.h.7.mlp.c_fc.q_scale
                                                       
[0129/0392] saving transformer.h.7.mlp.c_fc.bias
                                                       
[0130/0392] saving transformer.h.7.mlp.c_proj.q_weight
                                                       
[0131/0392] saving transformer.h.7.mlp.c_proj.q_scale
                                                       
[0132/0392] saving transformer.h.7.mlp.c_proj.bias
                                                       
[0133/0392] saving transformer.h.8.ln_1.weight
                                                       
[0134/0392] saving transformer.h.8.ln_1.bias
                                                       
[0135/0392] saving transformer.h.8.attn.c_attn.q_weight
                                                       
[0136/0392] saving transformer.h.8.attn.c_attn.q_scale
                                                       
[0137/0392] saving transformer.h.8.attn.c_attn.bias
                                                       
[0138/0392] saving transformer.h.8.attn.c_proj.q_weight
                                                       
[0139/0392] saving transformer.h.8.attn.c_proj.q_scale
                                                       
[0140/0392] saving transformer.h.8.attn.c_proj.bias
                                                       
[0141/0392] saving transformer.h.8.ln_2.weight
                                                       
[0142/0392] saving transformer.h.8.ln_2.bias
                                                       
[0143/0392] saving transformer.h.8.mlp.c_fc.q_weight
                                                       
[0144/0392] saving transformer.h.8.mlp.c_fc.q_scale
                                                       
[0145/0392] saving transformer.h.8.mlp.c_fc.bias
                                                       
[0146/0392] saving transformer.h.8.mlp.c_proj.q_weight
                                                       
[0147/0392] saving transformer.h.8.mlp.c_proj.q_scale
                                                       
[0148/0392] saving transformer.h.8.mlp.c_proj.bias
                                                       
[0149/0392] saving transformer.h.9.ln_1.weight
                                                       
[0150/0392] saving transformer.h.9.ln_1.bias
                                                       
[0151/0392] saving transformer.h.9.attn.c_attn.q_weight
                                                       
[0152/0392] saving transformer.h.9.attn.c_attn.q_scale
                                                       
[0153/0392] saving transformer.h.9.attn.c_attn.bias
                                                       
[0154/0392] saving transformer.h.9.attn.c_proj.q_weight
                                                       
[0155/0392] saving transformer.h.9.attn.c_proj.q_scale
                                                       
[0156/0392] saving transformer.h.9.attn.c_proj.bias
                                                       
[0157/0392] saving transformer.h.9.ln_2.weight
                                                       
[0158/0392] saving transformer.h.9.ln_2.bias
                                                       
[0159/0392] saving transformer.h.9.mlp.c_fc.q_weight
                                                       
[0160/0392] saving transformer.h.9.mlp.c_fc.q_scale
                                                       
[0161/0392] saving transformer.h.9.mlp.c_fc.bias
                                                       
[0162/0392] saving transformer.h.9.mlp.c_proj.q_weight
                                                       
[0163/0392] saving transformer.h.9.mlp.c_proj.q_scale
                                                       
[0164/0392] saving transformer.h.9.mlp.c_proj.bias
                                                       
[0165/0392] saving transformer.h.10.ln_1.weight
                                                       
[0166/0392] saving transformer.h.10.ln_1.bias
                                                       
[0167/0392] saving transformer.h.10.attn.c_attn.q_weight
                                                        
[0168/0392] saving transformer.h.10.attn.c_attn.q_scale
                                                        
[0169/0392] saving transformer.h.10.attn.c_attn.bias
                                                        
[0170/0392] saving transformer.h.10.attn.c_proj.q_weight
                                                        
[0171/0392] saving transformer.h.10.attn.c_proj.q_scale
                                                        
[0172/0392] saving transformer.h.10.attn.c_proj.bias
                                                        
[0173/0392] saving transformer.h.10.ln_2.weight
                                                        
[0174/0392] saving transformer.h.10.ln_2.bias
                                                        
[0175/0392] saving transformer.h.10.mlp.c_fc.q_weight
                                                        
[0176/0392] saving transformer.h.10.mlp.c_fc.q_scale
                                                        
[0177/0392] saving transformer.h.10.mlp.c_fc.bias
                                                        
[0178/0392] saving transformer.h.10.mlp.c_proj.q_weight
                                                        
[0179/0392] saving transformer.h.10.mlp.c_proj.q_scale
                                                        
[0180/0392] saving transformer.h.10.mlp.c_proj.bias
                                                        
[0181/0392] saving transformer.h.11.ln_1.weight
                                                        
[0182/0392] saving transformer.h.11.ln_1.bias
                                                        
[0183/0392] saving transformer.h.11.attn.c_attn.q_weight
                                                        
[0184/0392] saving transformer.h.11.attn.c_attn.q_scale
                                                        
[0185/0392] saving transformer.h.11.attn.c_attn.bias
                                                        
[0186/0392] saving transformer.h.11.attn.c_proj.q_weight
                                                        
[0187/0392] saving transformer.h.11.attn.c_proj.q_scale
                                                        
[0188/0392] saving transformer.h.11.attn.c_proj.bias
                                                        
[0189/0392] saving transformer.h.11.ln_2.weight
                                                        
[0190/0392] saving transformer.h.11.ln_2.bias
                                                        
[0191/0392] saving transformer.h.11.mlp.c_fc.q_weight
                                                        
[0192/0392] saving transformer.h.11.mlp.c_fc.q_scale
                                                        
[0193/0392] saving transformer.h.11.mlp.c_fc.bias
                                                        
[0194/0392] saving transformer.h.11.mlp.c_proj.q_weight
                                                        
[0195/0392] saving transformer.h.11.mlp.c_proj.q_scale
                                                        
[0196/0392] saving transformer.h.11.mlp.c_proj.bias
                                                        
[0197/0392] saving transformer.h.12.ln_1.weight
                                                        
[0198/0392] saving transformer.h.12.ln_1.bias
                                                        
[0199/0392] saving transformer.h.12.attn.c_attn.q_weight
                                                        
[0200/0392] saving transformer.h.12.attn.c_attn.q_scale
                                                        
[0201/0392] saving transformer.h.12.attn.c_attn.bias
                                                        
[0202/0392] saving transformer.h.12.attn.c_proj.q_weight
                                                        
[0203/0392] saving transformer.h.12.attn.c_proj.q_scale
                                                        
[0204/0392] saving transformer.h.12.attn.c_proj.bias
                                                        
[0205/0392] saving transformer.h.12.ln_2.weight
                                                        
[0206/0392] saving transformer.h.12.ln_2.bias
                                                        
[0207/0392] saving transformer.h.12.mlp.c_fc.q_weight
                                                        
[0208/0392] saving transformer.h.12.mlp.c_fc.q_scale
                                                        
[0209/0392] saving transformer.h.12.mlp.c_fc.bias
                                                        
[0210/0392] saving transformer.h.12.mlp.c_proj.q_weight
                                                        
[0211/0392] saving transformer.h.12.mlp.c_proj.q_scale
                                                        
[0212/0392] saving transformer.h.12.mlp.c_proj.bias
                                                        
[0213/0392] saving transformer.h.13.ln_1.weight
                                                        
[0214/0392] saving transformer.h.13.ln_1.bias
                                                        
[0215/0392] saving transformer.h.13.attn.c_attn.q_weight
                                                        
[0216/0392] saving transformer.h.13.attn.c_attn.q_scale
                                                        
[0217/0392] saving transformer.h.13.attn.c_attn.bias
                                                        
[0218/0392] saving transformer.h.13.attn.c_proj.q_weight
                                                        
[0219/0392] saving transformer.h.13.attn.c_proj.q_scale
                                                        
[0220/0392] saving transformer.h.13.attn.c_proj.bias
                                                        
[0221/0392] saving transformer.h.13.ln_2.weight
                                                        
[0222/0392] saving transformer.h.13.ln_2.bias
                                                        
[0223/0392] saving transformer.h.13.mlp.c_fc.q_weight
                                                        
[0224/0392] saving transformer.h.13.mlp.c_fc.q_scale
                                                        
[0225/0392] saving transformer.h.13.mlp.c_fc.bias
                                                        
[0226/0392] saving transformer.h.13.mlp.c_proj.q_weight
                                                        
[0227/0392] saving transformer.h.13.mlp.c_proj.q_scale
                                                        
[0228/0392] saving transformer.h.13.mlp.c_proj.bias
                                                        
[0229/0392] saving transformer.h.14.ln_1.weight
                                                        
[0230/0392] saving transformer.h.14.ln_1.bias
                                                        
[0231/0392] saving transformer.h.14.attn.c_attn.q_weight
                                                        
[0232/0392] saving transformer.h.14.attn.c_attn.q_scale
                                                        
[0233/0392] saving transformer.h.14.attn.c_attn.bias
                                                        
[0234/0392] saving transformer.h.14.attn.c_proj.q_weight
                                                        
[0235/0392] saving transformer.h.14.attn.c_proj.q_scale
                                                        
[0236/0392] saving transformer.h.14.attn.c_proj.bias
                                                        
[0237/0392] saving transformer.h.14.ln_2.weight
                                                        
[0238/0392] saving transformer.h.14.ln_2.bias
                                                        
[0239/0392] saving transformer.h.14.mlp.c_fc.q_weight
                                                        
[0240/0392] saving transformer.h.14.mlp.c_fc.q_scale
                                                        
[0241/0392] saving transformer.h.14.mlp.c_fc.bias
                                                        
[0242/0392] saving transformer.h.14.mlp.c_proj.q_weight
                                                        
[0243/0392] saving transformer.h.14.mlp.c_proj.q_scale
                                                        
[0244/0392] saving transformer.h.14.mlp.c_proj.bias
                                                        
[0245/0392] saving transformer.h.15.ln_1.weight
                                                        
[0246/0392] saving transformer.h.15.ln_1.bias
                                                        
[0247/0392] saving transformer.h.15.attn.c_attn.q_weight
                                                        
[0248/0392] saving transformer.h.15.attn.c_attn.q_scale
                                                        
[0249/0392] saving transformer.h.15.attn.c_attn.bias
                                                        
[0250/0392] saving transformer.h.15.attn.c_proj.q_weight
                                                        
[0251/0392] saving transformer.h.15.attn.c_proj.q_scale
                                                        
[0252/0392] saving transformer.h.15.attn.c_proj.bias
                                                        
[0253/0392] saving transformer.h.15.ln_2.weight
                                                        
[0254/0392] saving transformer.h.15.ln_2.bias
                                                        
[0255/0392] saving transformer.h.15.mlp.c_fc.q_weight
                                                        
[0256/0392] saving transformer.h.15.mlp.c_fc.q_scale
                                                        
[0257/0392] saving transformer.h.15.mlp.c_fc.bias
                                                        
[0258/0392] saving transformer.h.15.mlp.c_proj.q_weight
                                                        
[0259/0392] saving transformer.h.15.mlp.c_proj.q_scale
                                                        
[0260/0392] saving transformer.h.15.mlp.c_proj.bias
                                                        
[0261/0392] saving transformer.h.16.ln_1.weight
                                                        
[0262/0392] saving transformer.h.16.ln_1.bias
                                                        
[0263/0392] saving transformer.h.16.attn.c_attn.q_weight
                                                        
[0264/0392] saving transformer.h.16.attn.c_attn.q_scale
                                                        
[0265/0392] saving transformer.h.16.attn.c_attn.bias
                                                        
[0266/0392] saving transformer.h.16.attn.c_proj.q_weight
                                                        
[0267/0392] saving transformer.h.16.attn.c_proj.q_scale
                                                        
[0268/0392] saving transformer.h.16.attn.c_proj.bias
                                                        
[0269/0392] saving transformer.h.16.ln_2.weight
                                                        
[0270/0392] saving transformer.h.16.ln_2.bias
                                                        
[0271/0392] saving transformer.h.16.mlp.c_fc.q_weight
                                                        
[0272/0392] saving transformer.h.16.mlp.c_fc.q_scale
                                                        
[0273/0392] saving transformer.h.16.mlp.c_fc.bias
                                                        
[0274/0392] saving transformer.h.16.mlp.c_proj.q_weight
                                                        
[0275/0392] saving transformer.h.16.mlp.c_proj.q_scale
                                                        
[0276/0392] saving transformer.h.16.mlp.c_proj.bias
                                                        
[0277/0392] saving transformer.h.17.ln_1.weight
                                                        
[0278/0392] saving transformer.h.17.ln_1.bias
                                                        
[0279/0392] saving transformer.h.17.attn.c_attn.q_weight
                                                        
[0280/0392] saving transformer.h.17.attn.c_attn.q_scale
                                                        
[0281/0392] saving transformer.h.17.attn.c_attn.bias
                                                        
[0282/0392] saving transformer.h.17.attn.c_proj.q_weight
                                                        
[0283/0392] saving transformer.h.17.attn.c_proj.q_scale
                                                        
[0284/0392] saving transformer.h.17.attn.c_proj.bias
                                                        
[0285/0392] saving transformer.h.17.ln_2.weight
                                                        
[0286/0392] saving transformer.h.17.ln_2.bias
                                                        
[0287/0392] saving transformer.h.17.mlp.c_fc.q_weight
                                                        
[0288/0392] saving transformer.h.17.mlp.c_fc.q_scale
                                                        
[0289/0392] saving transformer.h.17.mlp.c_fc.bias
                                                        
[0290/0392] saving transformer.h.17.mlp.c_proj.q_weight
                                                        
[0291/0392] saving transformer.h.17.mlp.c_proj.q_scale
                                                        
[0292/0392] saving transformer.h.17.mlp.c_proj.bias
                                                        
[0293/0392] saving transformer.h.18.ln_1.weight
                                                        
[0294/0392] saving transformer.h.18.ln_1.bias
                                                        
[0295/0392] saving transformer.h.18.attn.c_attn.q_weight
                                                        
[0296/0392] saving transformer.h.18.attn.c_attn.q_scale
                                                        
[0297/0392] saving transformer.h.18.attn.c_attn.bias
                                                        
[0298/0392] saving transformer.h.18.attn.c_proj.q_weight
                                                        
[0299/0392] saving transformer.h.18.attn.c_proj.q_scale
                                                        
[0300/0392] saving transformer.h.18.attn.c_proj.bias
                                                        
[0301/0392] saving transformer.h.18.ln_2.weight
                                                        
[0302/0392] saving transformer.h.18.ln_2.bias
                                                        
[0303/0392] saving transformer.h.18.mlp.c_fc.q_weight
                                                        
[0304/0392] saving transformer.h.18.mlp.c_fc.q_scale
                                                        
[0305/0392] saving transformer.h.18.mlp.c_fc.bias
                                                        
[0306/0392] saving transformer.h.18.mlp.c_proj.q_weight
                                                        
[0307/0392] saving transformer.h.18.mlp.c_proj.q_scale
                                                        
[0308/0392] saving transformer.h.18.mlp.c_proj.bias
                                                        
[0309/0392] saving transformer.h.19.ln_1.weight
                                                        
[0310/0392] saving transformer.h.19.ln_1.bias
                                                        
[0311/0392] saving transformer.h.19.attn.c_attn.q_weight
                                                        
[0312/0392] saving transformer.h.19.attn.c_attn.q_scale
                                                        
[0313/0392] saving transformer.h.19.attn.c_attn.bias
                                                        
[0314/0392] saving transformer.h.19.attn.c_proj.q_weight
                                                        
[0315/0392] saving transformer.h.19.attn.c_proj.q_scale
                                                        
[0316/0392] saving transformer.h.19.attn.c_proj.bias
                                                        
[0317/0392] saving transformer.h.19.ln_2.weight
                                                        
[0318/0392] saving transformer.h.19.ln_2.bias
                                                        
[0319/0392] saving transformer.h.19.mlp.c_fc.q_weight
                                                        
[0320/0392] saving transformer.h.19.mlp.c_fc.q_scale
                                                        
[0321/0392] saving transformer.h.19.mlp.c_fc.bias
                                                        
[0322/0392] saving transformer.h.19.mlp.c_proj.q_weight
                                                        
[0323/0392] saving transformer.h.19.mlp.c_proj.q_scale
                                                        
[0324/0392] saving transformer.h.19.mlp.c_proj.bias
                                                        
[0325/0392] saving transformer.h.20.ln_1.weight
                                                        
[0326/0392] saving transformer.h.20.ln_1.bias
                                                        
[0327/0392] saving transformer.h.20.attn.c_attn.q_weight
                                                        
[0328/0392] saving transformer.h.20.attn.c_attn.q_scale
                                                        
[0329/0392] saving transformer.h.20.attn.c_attn.bias
                                                        
[0330/0392] saving transformer.h.20.attn.c_proj.q_weight
                                                        
[0331/0392] saving transformer.h.20.attn.c_proj.q_scale
                                                        
[0332/0392] saving transformer.h.20.attn.c_proj.bias
                                                        
[0333/0392] saving transformer.h.20.ln_2.weight
                                                        
[0334/0392] saving transformer.h.20.ln_2.bias
                                                        
[0335/0392] saving transformer.h.20.mlp.c_fc.q_weight
                                                        
[0336/0392] saving transformer.h.20.mlp.c_fc.q_scale
                                                        
[0337/0392] saving transformer.h.20.mlp.c_fc.bias
                                                        
[0338/0392] saving transformer.h.20.mlp.c_proj.q_weight
                                                        
[0339/0392] saving transformer.h.20.mlp.c_proj.q_scale
                                                        
[0340/0392] saving transformer.h.20.mlp.c_proj.bias
                                                        
[0341/0392] saving transformer.h.21.ln_1.weight
                                                        
[0342/0392] saving transformer.h.21.ln_1.bias
                                                        
[0343/0392] saving transformer.h.21.attn.c_attn.q_weight
                                                        
[0344/0392] saving transformer.h.21.attn.c_attn.q_scale
                                                        
[0345/0392] saving transformer.h.21.attn.c_attn.bias
                                                        
[0346/0392] saving transformer.h.21.attn.c_proj.q_weight
                                                        
[0347/0392] saving transformer.h.21.attn.c_proj.q_scale
                                                        
[0348/0392] saving transformer.h.21.attn.c_proj.bias
                                                        
[0349/0392] saving transformer.h.21.ln_2.weight
                                                        
[0350/0392] saving transformer.h.21.ln_2.bias
                                                        
[0351/0392] saving transformer.h.21.mlp.c_fc.q_weight
                                                        
[0352/0392] saving transformer.h.21.mlp.c_fc.q_scale
                                                        
[0353/0392] saving transformer.h.21.mlp.c_fc.bias
                                                        
[0354/0392] saving transformer.h.21.mlp.c_proj.q_weight
                                                        
[0355/0392] saving transformer.h.21.mlp.c_proj.q_scale
                                                        
[0356/0392] saving transformer.h.21.mlp.c_proj.bias
                                                        
[0357/0392] saving transformer.h.22.ln_1.weight
                                                        
[0358/0392] saving transformer.h.22.ln_1.bias
                                                        
[0359/0392] saving transformer.h.22.attn.c_attn.q_weight
                                                        
[0360/0392] saving transformer.h.22.attn.c_attn.q_scale
                                                        
[0361/0392] saving transformer.h.22.attn.c_attn.bias
                                                        
[0362/0392] saving transformer.h.22.attn.c_proj.q_weight
                                                        
[0363/0392] saving transformer.h.22.attn.c_proj.q_scale
                                                        
[0364/0392] saving transformer.h.22.attn.c_proj.bias
                                                        
[0365/0392] saving transformer.h.22.ln_2.weight
                                                        
[0366/0392] saving transformer.h.22.ln_2.bias
                                                        
[0367/0392] saving transformer.h.22.mlp.c_fc.q_weight
                                                        
[0368/0392] saving transformer.h.22.mlp.c_fc.q_scale
                                                        
[0369/0392] saving transformer.h.22.mlp.c_fc.bias
                                                        
[0370/0392] saving transformer.h.22.mlp.c_proj.q_weight
                                                        
[0371/0392] saving transformer.h.22.mlp.c_proj.q_scale
                                                        
[0372/0392] saving transformer.h.22.mlp.c_proj.bias
                                                        
[0373/0392] saving transformer.h.23.ln_1.weight
                                                        
[0374/0392] saving transformer.h.23.ln_1.bias
                                                        
[0375/0392] saving transformer.h.23.attn.c_attn.q_weight
                                                        
[0376/0392] saving transformer.h.23.attn.c_attn.q_scale[2024-01-08 19:19:30] INFO convert_weight.py:141: Saved to directory: /home/junrushao/tmp/tmph17zk__o

                                                        
[0377/0392] saving transformer.h.23.attn.c_attn.bias
                                                        
[0378/0392] saving transformer.h.23.attn.c_proj.q_weight
                                                        
[0379/0392] saving transformer.h.23.attn.c_proj.q_scale
                                                        
[0380/0392] saving transformer.h.23.attn.c_proj.bias
                                                        
[0381/0392] saving transformer.h.23.ln_2.weight
                                                        
[0382/0392] saving transformer.h.23.ln_2.bias
                                                        
[0383/0392] saving transformer.h.23.mlp.c_fc.q_weight
                                                        
[0384/0392] saving transformer.h.23.mlp.c_fc.q_scale
                                                        
[0385/0392] saving transformer.h.23.mlp.c_fc.bias
                                                        
[0386/0392] saving transformer.h.23.mlp.c_proj.q_weight
                                                        
[0387/0392] saving transformer.h.23.mlp.c_proj.q_scale
                                                        
[0388/0392] saving transformer.h.23.mlp.c_proj.bias
                                                        
[0389/0392] saving transformer.ln_f.weight
                                                        
[0390/0392] saving transformer.ln_f.bias
                                                        
[0391/0392] saving lm_head.q_weight
                                                        
[0392/0392] saving lm_head.q_scale
All finished, 21 total shards committed, record saved to /home/junrushao/tmp/tmph17zk__o/ndarray-cache.json
Also saved a bf16 record to /home/junrushao/tmp/tmph17zk__o/ndarray-cache-b16.json