Update README.md

README.md

@@ -1,3 +1,84 @@
----
-license: cc
----
+---
+license: cc
+language:
+- zh
+library_name: transformers
+pipeline_tag: text-generation
+widget:
+- text: 问：什么是鹦鹉？
+- text: 问：什么是大象？
+- text: 问：谁是李白？
+- text: 问：什么是黑洞？
+- text: 从前有个胖鹦鹉，胖得飞不动。
+- text: 从前有个小姑娘从来不洗脸。孔子说：
+datasets:
+- adam89/TinyStoriesChinese
+- fzmnm/TinyStoriesAdv-zh
+---
+
+### TinyStoriesAdv_92M
+
+![alt text](README.files/79e6f31072d75ef82135302dd88859a.png)
+
+keywords: grade school level, large language model, small language model, tiny language model, super tiny language model, 小学生知识水平，大语言模型，小语言模型，迷你语言模型, llm, slm.
+
+超迷你的玩具模型，只能讲中文，可以回答一些小学生的常识问题。幻觉严重。但是很有趣。
+受到[TinyStories](https://arxiv.org/abs/2305.07759)、[Phi2](https://arxiv.org/abs/2309.05463)等论文的启发，使用了自己制作的全合成的数据库 https://huggingface.co/datasets/fzmnm/TinyStoriesAdv-zh
+
+采用了类似Qwen的架构。
+```python
+dim=640;n_layers=20;n_heads=10;n_kv_heads=2;max_seq_len=1024;embedding_weight_tying=True;
+tokens_per_iteration=524288
+dropout=0.1
+warmup_iters=1000;stable_iters=9000
+```
+A100上7.5小时即可训练完毕。
+这个是预训练版本，没有进行偏好微调。
+
+#### 用法：
+
+```python
+from transformers import pipeline
+
+generator = pipeline('text-generation', model='fzmnm/TinyStoriesAdv_92M')
+story_prompt = "问：什么是鹦鹉？"
+generated_story = generator(story_prompt, max_length=256, truncation=True)
+
+print(generated_story[0]['generated_text'])
+```
+
+#### 试玩：
+```python
+temperature=0
+cherry_picking=True
+```
+
+>问：什么是鹦鹉？
+>
+>答：<span style="color:blue">鹦鹉是一种非常聪明的鸟类,它们能够使用工具来获取食物,比如小石头和水。它们还会通过跳跃和玩耍来互动,非常有趣!</span>
+
+>问：什么是大象？
+>
+>答：<span style="color:blue">大象是一种巨型的陆地动物,主要生活在非洲和亚洲的河流和湿地中。</span>
+
+>问：谁是李白？
+>
+>答：<span style="color:blue">李白是唐代著名的诗人,被誉为“诗仙”。</span>
+
+>问：什么是黑洞？
+>
+>答：<span style="color:blue">黑洞是一种非常神秘的天体,它的引力超强,连光都逃不出来的。</span>
+
+>问：肚子疼怎么办
+>
+>答：<span style="color:blue">别担心,小助手告诉你的!首先,你要保持冷静,慢慢想办法解决问题。</span>
+
+>问：晚上睡不着怎么办？
+>
+>答：<span style="color:blue">可以在床头放一个柔软的枕头,让颈部放松,然后找一个舒舒服服的地方,比如一个舒服的床垫,躺下去感受一下安全。</span>
+
+>从前有个胖鹦鹉，胖得飞不动。
+>
+><span style="color:blue">有一天,胖鹦鹉看到一个小女孩在哭。她问小女孩:“你为什么哭?” 小女孩说:“我弄丢了我的玩具,我找不到它了。” 胖鹦鹉想帮助小女孩。胖鹦鹉飞到小女孩身边说:“我会帮你找到你的玩具。” 小女孩很高兴地说:“谢谢你,胖鹦鹉!” 胖鹦鹉飞走了,找到了玩具。小女孩非常高兴,感谢胖鹦鹉。从那天起,胖鹦鹉和小女孩成为了好朋友。他们每天一起玩耍,胖鹦鹉再也没有弄丢过它。小女孩和胖鹦鹉成为了最好的朋友,他们过上了幸福快乐的生活。</span>
+
+>从前有个小姑娘从来不洗脸。孔子说：<span style="color:blue">“你们两个都去吧,别见怪。”她们去了河边,见到了那个小姑娘。小姑娘哭着说:“我只是想看看你。”孔子连忙跟她们去了。    到了河边,孔子把姑娘放入水中,看到她的脸清晰,但是眼睛还是模糊。孔子又对姑娘说:“把头伸出 来,我有个愿望。你想要什么?”姑娘把头伸出来,果然看到孔子的眼睛没什么反应。孔子知道姑娘的心意,把姑娘变成了一条蛇,感到很是惊讶。过了几天,孔子的病好了些。他想着再次见到姑娘,心里充满了希望。他对姑娘说:“我的姑娘,你现 在可以走了,我很高兴再见到你。”姑娘点头同意,她的身影消失了。孔子看着她,心里也暗暗高兴。日子一天天过去,刘备来到河边,听说一个女人哭了,因为她的狗咬了她的狗。这时,孔子看到这只狗,不由得生出怜悯之心。他对姑娘说:“我可以帮你,但你要把我的心给我。”姑娘点头答应,把狗叼给孔子。就在她要离开的时候,狗突然扑向她,咬了她一口。刘夫人痛苦地大 叫,狗吓得不知所措。孔子看到这一幕,心里非常疼惜。他去找巫婆,告诉了巫婆个明智的决定。巫婆说:“我们必须对付狗,这样才能找到它。”孔子连晚都没敢离开。巫婆因为担心,决定找其他办法来对付狗。</span>