Update README.md
Browse files
README.md
CHANGED
|
@@ -2,4 +2,73 @@
|
|
| 2 |
license: other
|
| 3 |
license_name: tongyi-qianwen
|
| 4 |
license_link: LICENSE
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 5 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 2 |
license: other
|
| 3 |
license_name: tongyi-qianwen
|
| 4 |
license_link: LICENSE
|
| 5 |
+
language:
|
| 6 |
+
- en
|
| 7 |
+
- zh
|
| 8 |
+
tags:
|
| 9 |
+
- qwen
|
| 10 |
+
- rkllm
|
| 11 |
+
- rk3588
|
| 12 |
+
- RockChip
|
| 13 |
---
|
| 14 |
+
# 模型名称 / Model Name
|
| 15 |
+
|
| 16 |
+
## 简介 / Overview
|
| 17 |
+
|
| 18 |
+
<div>
|
| 19 |
+
<button onclick="openTab('zh')">中文</button>
|
| 20 |
+
<button onclick="openTab('en')">English</button>
|
| 21 |
+
</div>
|
| 22 |
+
|
| 23 |
+
<div id="zh" class="tabcontent" style="display:none;">
|
| 24 |
+
|
| 25 |
+
这是从 [Qwen-1_8B](https://huggingface.co/Qwen/Qwen-1_8B/) 转换而来的RKLLM模型，用于Rockchip设备的转换模型。
|
| 26 |
+
该模型在RK3588的NPU上运行。
|
| 27 |
+
|
| 28 |
+
- **模型名称**: Qwen-1_8B
|
| 29 |
+
- **模型架构**: 同Qwen-1_8B
|
| 30 |
+
- **发布者**: FydeOS
|
| 31 |
+
- **日期**: 2024-05-14
|
| 32 |
+
|
| 33 |
+
### 模型详情
|
| 34 |
+
通义千问-1.8B（Qwen-1.8B）是阿里云研发的通义千问大模型系列的18亿参数规模的模型。Qwen-1.8B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。
|
| 35 |
+
|
| 36 |
+
### 要求
|
| 37 |
+
python 3.8及以上版本
|
| 38 |
+
pytorch 1.12及以上版本，推荐2.0及以上版本
|
| 39 |
+
建议使用CUDA 11.4及以上（GPU用户、flash-attention用户等需考虑此选项）
|
| 40 |
+
python 3.8 and above
|
| 41 |
+
pytorch 1.12 and above, 2.0 and above are recommended
|
| 42 |
+
CUDA 11.4 and above are recommended (this is for GPU users, flash-attention users, etc.)
|
| 43 |
+
|
| 44 |
+
### 使用指南
|
| 45 |
+
> 本模型仅支持运行在搭载 rk3588 芯片的相关设备，请确认芯片信息并保证 npu 可用
|
| 46 |
+
#### OpenFyde 系统
|
| 47 |
+
> ⚠️：请确认你已经升级到openfyde的最新版本
|
| 48 |
+
- 点击下载模型文件 `XXX.rkllm`
|
| 49 |
+
- 新建文件夹 `model/` ，将模型文件放置在此文件夹下
|
| 50 |
+
- 启动 FydeOS AI ，在设置页面进行相关设置
|
| 51 |
+
|
| 52 |
+
#### 非 OpenFyde 系统
|
| 53 |
+
> ⚠️：请确认你进行了 rkllm 的 npu 相关内核更新，支持内核版本为：kernel-5.10 和 kernel-6.1；对于 kernel-5.10，建议使用具体版本号 5.10.198，内核地址
|
| 54 |
+
为 GitHub-rockchip-linux/kernelatdevelop-5.10；对于 kernel-6.1，建议使用具体版本号 6.1.57；NPU 内核为 v0.9.3 版本
|
| 55 |
+
- 点击下载模型文件 `XXX.rkllm`
|
| 56 |
+
- 参考官方文档进行配置：[官方文档](https://github.com/airockchip/rknn-llm)
|
| 57 |
+
|
| 58 |
+
### FAQ
|
| 59 |
+
如遇到问题，敬请查阅issue区，如仍无法解决再提交issue。
|
| 60 |
+
|
| 61 |
+
### 限制与注意事项
|
| 62 |
+
说明模型的局限性和使用中的注意事项。
|
| 63 |
+
|
| 64 |
+
### 许可证
|
| 65 |
+
采用与[Qwen-1_8B](https://huggingface.co/Qwen/Qwen-1_8B/)相同的许可证。
|
| 66 |
+
|
| 67 |
+
### 联系方式
|
| 68 |
+
如需更多信息，请联系：
|
| 69 |
+
- **电子邮件**: [email protected]
|
| 70 |
+
- **主页**: [FydeOS AI](https://fydeos.ai/zh/)
|
| 71 |
+
</div>
|
| 72 |
+
|
| 73 |
+
<div id="en" class="tabcontent" style="display:none;">
|
| 74 |
+
This is a conversion from [Qwen-1_8B](https://huggingface.co/Qwen/Qwen-1_8B/) to the RKLLM format for Rockchip devices. This model runs on the NPU from the RK3588.
|