Update README.md

README.md

@@ -13,7 +13,7 @@ tags:
 inference: false
 ---
 
-# glm-4-9b-chat
+# GLM-4-9B-Chat
 
 GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。
 在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。
@@ -46,27 +46,29 @@ GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开
 
 ### 多语言能力
 
-在六个多语言数据集上对 GLM-4-9B-Chat 和 Llama-3-8B-Instruct 进行了 0-shot 测试。具体来说，M-MMLU测试了数据集提供的全部 34
-种语言；FLORES测试了中英与另外 24 种语言（包括 ru, es, de, fr, it, pt, pl, ja, nl, ar, tr, cs, vi, fa, hu, el, ro, sv, uk,
-fi, ko, da, bg, no）之间的互译能力（中/英↔其他语言、中↔英）；MGSM测试了 11 种语言的数学能力（包括 zh, en, bn, de, es, fr, ja,
-ru, sw, te, th）；XWinograd测试了 6 种语言的指代消解能力（包括 zh, en, fr, jp, ru, pt）；XStoryCloze测试了 11 种语言的故事结局预测能力（包括
-zh, en, ar, es, eu, hi, id, my, ru, sw, te）；XCOPA测试了 11 种语言的因果推理能力（包括 zh, et, ht, id, it, qu, sw, ta, th,
-tr, vi）。
+在六个多语言数据集上对 GLM-4-9B-Chat 和 Llama-3-8B-Instruct 进行了测试，测试结果及数据集对应选取语言如下表
+
+| Dataset     | Llama-3-8B-Instruct | GLM-4-9B-Chat |                                           Languages                                            
+|:------------|:-------------------:|:-------------:|:----------------------------------------------------------------------------------------------:|
+| M-MMLU      |        49.6         |     56.6      |                                              all                                               
+| FLORES      |        25.0         |     28.8      | ru, es, de, fr, it, pt, pl, ja, nl, ar, tr, cs, vi, fa, hu, el, ro, sv, uk, fi, ko, da, bg, no 
+| MGSM        |        54.0         |     65.3      |                           zh, en, bn, de, es, fr, ja, ru, sw, te, th                           
+| XWinograd   |        61.7         |     73.1      |                                     zh, en, fr, jp, ru, pt                                     
+| XStoryCloze |        84.7         |     90.7      |                           zh, en, ar, es, eu, hi, id, my, ru, sw, te                           
+| XCOPA       |        73.3         |     80.1      |                           zh, et, ht, id, it, qu, sw, ta, th, tr, vi                           
+
 
-| Model               | M-MMLU | FLORES | MGSM | XWinograd | XStoryCloze | XCOPA |
-|:--------------------|:------:|:------:|:----:|:---------:|:-----------:|:-----:|
-|                     |  学科知识  |   翻译   |  数学  |   指代消解    |   故事结局预测    | 因果推理  |
-| Llama-3-8B-Instruct |  49.6  |  25.0  | 54.0 |   61.7    |    84.7     | 73.3  |
-| GLM-4-9B-Chat       |  56.6  |  28.8  | 65.3 |   73.1    |    90.7     | 80.1  |
 
 ### 工具调用能力
 
-| Model               | Overall Acc. | AST Summary | Exec Summary | Relevance |
-|:--------------------|:------------:|:-----------:|:------------:|:---------:|
-| Llama-3-8B-Instruct |    58.88     |    59.25    |    70.01     |   45.83   |
-| GPT-4-turbo-0409    |    81.24     |    82.14    |    78.61     |   88.75   |
-| ChatGLM3-6B         |    57.88     |    62.18    |    69.78     |   5.42    |
-| GLM-4-9B-Chat       |    81.00     |    80.26    |    84.40     |   87.92   |
+我们在 [Berkeley Function Calling Leaderboard](https://github.com/ShishirPatil/gorilla/tree/main/berkeley-function-call-leaderboard)上进行了测试并得到了以下结果：
+
+| Model                  | Overall Acc. | AST Summary | Exec Summary | Relevance |
+|:-----------------------|:------------:|:-----------:|:------------:|:---------:|
+| Llama-3-8B-Instruct    |    58.88     |    59.25    |    70.01     |   45.83   |
+| gpt-4-turbo-2024-04-09 |    81.24     |    82.14    |    78.61     |   88.75   |
+| ChatGLM3-6B            |    57.88     |    62.18    |    69.78     |   5.42    |
+| GLM-4-9B-Chat          |    81.00     |    80.26    |    84.40     |   87.92   |
 
 **本仓库是 GLM-4-9B-Chat-1M 的模型仓库，支持`1M`上下文长度。**
 
@@ -112,8 +114,12 @@ with torch.no_grad():
 from transformers import AutoTokenizer
 from vllm import LLM, SamplingParams
 
-max_model_len, tp_size = 1048576, 4
-model_name = "THUDM/glm-4-9b-chat-1m"
+# GLM-4-9B-Chat-1M
+# max_model_len, tp_size = 1048576, 4
+
+# GLM-4-9B-Chat
+max_model_len, tp_size = 131072, 1
+model_name = "THUDM/glm-4-9b-chat"
 prompt = '你好'
 
 tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
@@ -123,8 +129,9 @@ llm = LLM(
     max_model_len=max_model_len,
     trust_remote_code=True,
     enforce_eager=True,
-    enable_chunked_prefill=True,
-    max_num_batched_tokens=8192
+    # GLM-4-9B-Chat-1M 如果遇见 OOM 现象，建议开启下述参数
+    # enable_chunked_prefill=True,
+    # max_num_batched_tokens=8192
 )
 stop_token_ids = [151329, 151336, 151338]
 sampling_params = SamplingParams(temperature=0.95, max_tokens=1024, stop_token_ids=stop_token_ids)