Update README.md

README.md

@@ -19,25 +19,45 @@ tags:
   - gptq
 license: cc-by-nc-sa-4.0
 ---
-# WIP
-## Llama-2-Ko-GPTQ
+
+# Llama-2-Ko-70b-GPTQ
+- 모델 제작자: [beomi](https://huggingface.co/beomi)
+- 원본 모델: [Llama-2-ko-70b](https://huggingface.co/beomi/llama-2-ko-70b)
+
+<!-- description start -->
+## Description
+
+이 레포는 [Llama-2-ko-70b](https://huggingface.co/beomi/llama-2-ko-70b)의 GPTQ 모델 파일을 포함하고 있습니다.
+
+<!-- description end -->
+
 <!-- README_GPTQ.md-provided-files start -->
 ## Provided files and GPTQ parameters
-Multiple quantisation parameters are provided, to allow you to choose the best one for your hardware and requirements.
-Each separate quant is in a different branch.  See below for instructions on fetching from different branches.
-All recent GPTQ files are made with AutoGPTQ, and all files in non-main branches are made with AutoGPTQ. Files in the `main` branch which were uploaded before August 2023 were made with GPTQ-for-LLaMa.
+하드웨어와 요구사항에 가장 적합한 양자화 매개변수를 선택할 수 있도록 여러 가지(곧) 양자화 매개변수가 제공됩니다.
+각 양자화는 다른 브랜치에 있습니다.
+모든 GPTQ 양자화는 AutoGPTQ로 만들어졌습니다.
+
 <details>
-  <summary>Explanation of GPTQ parameters</summary>
-- Bits: The bit size of the quantised model.
-- GS: GPTQ group size. Higher numbers use less VRAM, but have lower quantisation accuracy. "None" is the lowest possible value.
-- Act Order: True or False. Also known as `desc_act`. True results in better quantisation accuracy. Some GPTQ clients have had issues with models that use Act Order plus Group Size, but this is generally resolved now.
-- Damp %: A GPTQ parameter that affects how samples are processed for quantisation. 0.01 is default, but 0.1 results in slightly better accuracy.
-- GPTQ dataset: The dataset used for quantisation. Using a dataset more appropriate to the model's training can improve quantisation accuracy. Note that the GPTQ dataset is not the same as the dataset used to train the model - please refer to the original model repo for details of the training dataset(s).
-- Sequence Length: The length of the dataset sequences used for quantisation. Ideally this is the same as the model sequence length. For some very long sequence models (16+K), a lower sequence length may have to be used.  Note that a lower sequence length does not limit the sequence length of the quantised model. It only impacts the quantisation accuracy on longer inference sequences.
-- ExLlama Compatibility: Whether this file can be loaded with ExLlama, which currently only supports Llama models in 4-bit.
+  <summary>GPTQ 파라미터 정보</summary>
+  
+- Bits: 양자화된 모델의 비트 크기입니다.
+- GS: GPTQ 그룹 사이즈. 숫자가 높을수록 VRAM을 덜 사용하지만 양자화 정확도가 낮아집니다. "None"은 가능한 가장 낮은 값입니다.
+- Act Order: True or False. `desc_act`으로도 알려져 있습니다. 참이면 양자화 정확도가 향상됩니다.
+- Damp %: 샘플이 정량화를 위해 처리되는 방식에 영향을 주는 GPTQ 매개변수입니다. 0.01이 기본값이지만 0.1을 사용하면 정확도가 약간 향상됩니다.
+- GPTQ dataset: 정량화에 사용되는 데이터 세트입니다. 모델 학습에 더 적합한 데이터 세트를 사용하면 정량화 정확도가 향상될 수 있습니다. GPTQ 데이터 세트는 모델 학습에 사용된 데이터 세트와 동일하지 않으므로 학습 데이터 세트에 대한 자세한 내용은 원본 모델 repo를 참조하세요.
+- Sequence Length: 정량화에 사용된 데이터 세트 시퀀스의 길이입니다. 이상적으로는 모델 시퀀스 길이와 동일합니다. 일부 매우 긴 시퀀스 모델(16+K)의 경우 더 짧은 시퀀스 길이를 사용해야 할 수도 있습니다. 시퀀스 길이가 짧다고 해서 양자화된 모델의 시퀀스 길이가 제한되는 것은 아닙니다. 이는 긴 추론 시퀀스의 양자화 정확도에만 영향을 미칩니다.
+- ExLlama Compatibility: Exllama로 이 파일을 로드할 수 있는지의 여부이며, 현재 4비트의 라마 모델만 지원합니다.
 
 </details>
 
+| Branch | Bits | GS | Act Order | Damp % | GPTQ Dataset | Seq Len | Size | ExLlama | Desc |
+| ------ | ---- | -- | --------- | ------ | ------------ | ------- | ---- | ------- | ---- |
+| [main](https://huggingface.co/kuotient/llama-2-ko-70b-GPTQ/tree/main) | 4 | None | Yes | 0.1 | [wikitext](https://huggingface.co/datasets/wikitext/viewer/wikitext-2-v1/test) | 4096 | 35.8 GB | Yes | 4-bit, Act Order 포함. VRAM 사용량을 줄이기 위한 group size -1. | 
+
+<!-- README_GPTQ.md-provided-files end -->
+
+<!-- original model card start -->
+
 # Original model card: Llama 2 ko 70b
 > 🚧 Note: this repo is under construction 🚧
 
@@ -167,3 +187,4 @@ Apple Sillicon does not support BF16 computing, use CPU instead. (BF16 is suppor
 	publisher    = { Hugging Face }
 }
 ```
+<!-- original model card end -->