[English](./non-lore-README.md) | [简体中文](./non-lore-README-cn.md)

# Bigger Body 8b
![image/png](AETEG6110A00KPFHTKMZVNG5C0.jpeg)
基于Ministral Instruct 2410的角色扮演导向伪全微调模型  
Ink系列的精神续作

## 数据集
Bigger Body（内部仍称为Ink v2.1）的数据混合配方堪称"黑暗料理"，比初代Ink混合配方更令人发指。

<details>
<summary>（公开）原始数据集</summary>

<ul>
    <li><a href="https://huggingface.co/datasets/Fizzarolli/limarp-processed">Fizzarolli/limarp-processed</a></li>
    <li><a href="https://huggingface.co/datasets/Norquinal/OpenCAI">Norquinal/OpenCAI</a> - <code>two_users</code> 拆分集</li>
    <li><a href="https://huggingface.co/datasets/allura-org/Celeste1.x-data-mixture">allura-org/Celeste1.x-data-mixture</a></li>
    <li><a href="https://huggingface.co/datasets/mapsila/PIPPA-ShareGPT-formatted-named">mapsila/PIPPA-ShareGPT-formatted-named</a></li>
    <li><a href="https://huggingface.co/datasets/allenai/tulu-3-sft-personas-instruction-following">allenai/tulu-3-sft-personas-instruction-following</a></li>
    <li><a href="https://huggingface.co/datasets/readmehay/medical-01-reasoning-SFT-json">readmehay/medical-01-reasoning-SFT-json</a></li>
    <li><a href="https://huggingface.co/datasets/LooksJuicy/ruozhiba">LooksJuicy/ruozhiba</a></li>
    <li><a href="https://huggingface.co/datasets/shibing624/roleplay-zh-sharegpt-gpt4-data">shibing624/roleplay-zh-sharegpt-gpt4-data</a></li>
    <li><a href="https://huggingface.co/datasets/CausalLM/Retrieval-SFT-Chat">CausalLM/Retrieval-SFT-Chat</a></li>
    <li><a href="https://huggingface.co/datasets/ToastyPigeon/fujin-filtered-instruct">ToastyPigeon/fujin-filtered-instruct</a></li>
</ul>
</details>

## 量化版本
- [bartowski 的 imatrix GGUF 模型](https://huggingface.co/bartowski/allura-org_Bigger-Body-8b-GGUF)
感谢所有量化贡献者 <3

## 推荐配置
对话模板：Mistral *v7-tekken*（注意不是v3-tekken！！主要区别是v7版有特定的`[SYSTEM_PROMPT]`和`[/SYSTEM_PROMPT]`标签）  
推荐采样器（非绝对最优，请自行尝试）：
- 我完全没头绪。请自行探索。

## 超参数
### 通用配置
- 训练轮次 = 2
- 学习率 = 2e-6
- 学习率调度器 = 余弦退火
- 优化器 = [Apollo-mini](https://github.com/zhuhanqing/APOLLO)
- 优化目标模块 = `all_linear`
- 有效批次大小 = 16
- 权重衰减 = 0.01
- 预热步数 = 50
- 总训练步数 = 920

## 致谢
衷心感谢所有数据集创建者的贡献  
特别鸣谢Allura成员们的测试支持与精神鼓励 爱你们 /柏拉图式