Update README.md
Browse files
README.md
CHANGED
@@ -56,11 +56,29 @@ tokenizer = AutoTokenizer.from_pretrained('mindllm_path')
|
|
56 |
tokenizer.max_length = 1024
|
57 |
model = AutoModelForCausalLM.from_pretrained('mindllm_path').to(device)
|
58 |
generator = TextGenerationPipeline(model=model, tokenizer=tokenizer, device=device)
|
59 |
-
context = "<user
|
60 |
outputs = generator(context, max_new_tokens=1024, do_sample=True, num_beams=4, repetition_penalty=0.5, no_repeat_ngram_size=5, return_full_text=False)
|
61 |
[{'generated_text': '电动车相对传统汽油车的优点包括:\n1. 更低的排放和更高的能源效率 - 电动车所产生的有害排放物质远少于汽油车,并且它们的能源利用效率更高。\n2. 更低的维护成本 - 电动车需要更少的保养和通常拥有较少的运动部件,从而降低了总体维护成本。\n3. 更低的燃料成本 - 电动车需要比汽油车少得多的燃料,因此随着时间的推移,可以节省成本。\n4. 更长的续航里程 - 电动车单次充电可以行驶比汽油车更远的距离,非常适合长途通勤。\n5. 更为安静的运行 - 电动车比汽油车要安静得多,使驾驶更加愉悦。'}]
|
62 |
```
|
63 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
64 |
### Other Examples
|
65 |
<details>
|
66 |
<summary>Self Awareness</summary>
|
|
|
56 |
tokenizer.max_length = 1024
|
57 |
model = AutoModelForCausalLM.from_pretrained('mindllm_path').to(device)
|
58 |
generator = TextGenerationPipeline(model=model, tokenizer=tokenizer, device=device)
|
59 |
+
context = "<user>\n你知道电动车相对传统汽油车有哪些优点吗?\n<assistant>\n"
|
60 |
outputs = generator(context, max_new_tokens=1024, do_sample=True, num_beams=4, repetition_penalty=0.5, no_repeat_ngram_size=5, return_full_text=False)
|
61 |
[{'generated_text': '电动车相对传统汽油车的优点包括:\n1. 更低的排放和更高的能源效率 - 电动车所产生的有害排放物质远少于汽油车,并且它们的能源利用效率更高。\n2. 更低的维护成本 - 电动车需要更少的保养和通常拥有较少的运动部件,从而降低了总体维护成本。\n3. 更低的燃料成本 - 电动车需要比汽油车少得多的燃料,因此随着时间的推移,可以节省成本。\n4. 更长的续航里程 - 电动车单次充电可以行驶比汽油车更远的距离,非常适合长途通勤。\n5. 更为安静的运行 - 电动车比汽油车要安静得多,使驾驶更加愉悦。'}]
|
62 |
```
|
63 |
|
64 |
+
### Chat Template
|
65 |
+
To get the expected features and performance for the chat versions, specific formatting needs to be followed, including <user> and <assistant> tags, BOS and EOS tokens, and the whitespaces and breaklines in between (we recommend calling strip() on inputs to avoid double-spaces).
|
66 |
+
Here are some examples:
|
67 |
+
1. single-turn
|
68 |
+
```
|
69 |
+
# prompt
|
70 |
+
<|endoftext|><user>\n你知道电动车相对传统汽油车有哪些优点吗?\n<assistant>\n
|
71 |
+
# return
|
72 |
+
电动车相对传统汽油车的优点包括:\n1. 更低的排放和更高的能源效率 - 电动车所产生的有害排放物质远少于汽油车,并且它们的能源利用效率更高。\n2. 更低的维护成本 - 电动车需要更少的保养和通常拥有较少的运动部件,从而降低了总体维护成本。\n3. 更低的燃料成本 - 电动车需要比汽油车少得多的燃料,因此随着时间的推移,可以节省成本。\n4. 更长的续航里程 - 电动车单次充电可以行驶比汽油车更远的距离,非常适合长途通勤。\n5. 更为安静的运行 - 电动车比汽油车要安静得多,使驾驶更加愉悦。
|
73 |
+
```
|
74 |
+
|
75 |
+
2. multi-turn
|
76 |
+
```
|
77 |
+
# prompt
|
78 |
+
<|endoftext|><user>\n你好,请问你叫什么名字?\n<assistant>\n嗨,我是一个AI助手。<|endoftext|>\n<|endoftext|><user>\n请问你如何看待AI助手?\n<assistant>\n
|
79 |
+
# return
|
80 |
+
我认为AI助手是一个非常有前途的技术,它可以在多个领域帮助人们解决问题和完成任务。但是同时,我也认为在使用AI助手时要注意保护用户隐私和安全。
|
81 |
+
```
|
82 |
### Other Examples
|
83 |
<details>
|
84 |
<summary>Self Awareness</summary>
|