<!-- markdownlint-disable first-line-h1 --> <!-- markdownlint-disable html --> <div align="center"> <img src="./assets/imgs/orion_start.PNG" alt="logo" width="30%" /> </div> <div align="center"> <h1> Orion-14B </h1> </div> <div align="center"> <div align="center"> <b>๐ฐ๐ทํ๊ตญ์ด</b> | <a href="./README.md">๐่ฑ่ช</a> | <a href="./README_zh.md">๐จ๐ณไธญๆ</a> | <a href="./README_ja.md">๐ฏ๐ตๆฅๆฌ่ช</a> </div> <h4 align="center"> <p> ๐ค <a href="https://huggingface.co/OrionStarAI" target="_blank">HuggingFaceํํ์ด์ง</a> | ๐ค <a href="https://modelscope.cn/organization/OrionStarAI" target="_blank">ModelScopeํํ์ด์ง</a><br>๐ฌ <a href="https://huggingface.co/spaces/OrionStarAI/Orion-14B-App-Demo" target="_blank">HuggingFace์จ๋ผ์ธ ์์ฉ</a> | ๐ซ <a href="https://modelscope.cn/studios/OrionStarAI/Orion-14B-App-Demo/summary" target="_blank">ModelScopeๅจ็บฟ่ฏ็จ</a><br>๐บ <a href="https://github.com/OrionStarAI/Orion" target="_blank">GitHub</a><br>๐ <a href="https://github.com/OrionStarAI/Orion/blob/master/doc/Orion14B_v3.pdf" target="_blank">๊ธฐ์ ๋ฆฌํฌํธ</a> <p> </h4> </div> # ๋ชฉ๋ก - [๐ ๋ชจํ ์๊ฐ](#model-introduction) - [๐ ๋ค์ด๋ก๋ ๊ฒฝ๋ก](#model-download) - [๐ ํ๊ฐ๊ฒฐ๊ณผ](#model-benchmark) - [๐ ๋ชจํ ์ถ๋ฆฌ](#model-inference) - [๐ ์ฑ๋ช ํฉ์](#declarations-license) - [๐ฅ ๊ธฐ์ ์๊ฐ](#company-introduction) <a name="model-introduction"></a><br> # 1. ๋ชจ๋ธ์๊ฒ -Orion-14B-Base๋ 2.5์กฐ ํ ํฐ์ ๋ค์ํ ๋ฐ์ดํฐ ์งํฉ์ผ๋ก ํ๋ จ๋ 140์ต ๊ฐ์ ํ๋ผ๋ฉํฐ๋ฅผ ๊ฐ์ง ๋ค์ค ์ธ์ด ๋ชจ๋ธ์ด๋ค. ์ค๊ตญ์ด, ์์ด, ์ผ๋ณธ์ด, ํ๊ตญ์ด ๋ฐ ๊ธฐํ ์ธ์ด๋ฅผ ํฌํจํ๋ค.๋ค์ค ์ธ์ด ํ๊ฒฝ์์ ์ผ๋ จ์ ์ ๋ฌด์์ ํ์ํ ์ฑ๋ฅ์ ๋ณด์ธ๋ค. Orion-14B ์๋ฆฌ์ฆ์ ๋ชจ๋ธ๋ค์ ์ฃผ์ ๊ณต๊ฐ ๊ธฐ์ค ์ธก์ ์์ ์ฐ์ํ ์ฑ์ ์ ๊ฑฐ๋์์ผ๋ฉฐ ์ฌ๋ฌ๊ฐ์ง ์งํ๊ฐ ๋์ผํ ํ๋ผ๋ฉํฐ๋ฅผ ๊ฐ์ง ๋ค๋ฅธ ๋ชจ๋ธ๋ค์ ํ์ ํ ์ด์ํ๋ค. ๊ตฌ์ฒด์ ์ธ ๊ธฐ์ ๋ํ ์ผ์ [๊ธฐ์ ๋ณด๊ณ ์]๋ฅผ ์ฐธ๊ณ ํ์ธ์. (https://github.com/OrionStarAI/Orion/blob/master/doc/Orion14B_v3.pdf)ใ - Orion-14B์๋ฆฌ์ฆ ๋ํ ๋ชจ๋ธ์ ๋ค์๊ณผ ๊ฐ์ ํน์ง์ด ์๋ค. - ๋ฒ ์ด์ค20B ํ๋ผ๋ฉํฐ ๋ ๋ฒจ์ธ ๋ํ ๋ชจ๋ธ์ ์ข ํฉ์ ์ธ ํ๊ฐ ๊ฒฐ๊ณผ๊ฐ ์ฐ์ํ๋ค - ๋ค๊ตญ์ด ๋ฅ๋ ฅ์ด ๋ฐ์ด๋๊ณ ์ผ๋ณธ์ด์ ํ๊ตญ์ด ํ ์คํธ ์ธํธ์์ ํ์ ํ ์์ ๋ค - ๋ฏธ์ธ์กฐ์ ๋ชจ๋ธ์ ์ ์์ฑ์ด ๊ฐํ๋ฉฐ ์ธ์ ํ์์ ๋ธ๋ผ์ธ๋ ํ ์คํธ์์ ํ์ฝ์ด ๋๋๋ฌ์ง๋ค - ๊ธด ์ปจํ ์คํธ ๋ฒ์ ์ ์ต๋ 320k๊น์ง ์ง์ํ๋ 200k ํ ํฐ์ ๋ฐ์ด๋ ๊ธด ํ ์คํธ๋ฅผ ์ง์งํ๋ค - ์ ๋ํ ๋ฒ์ ๋ชจ๋ธ ํฌ๊ธฐ๋ฅผ 70% ์ค์ด๊ณ ์ถ๋ก ์๋๋ฅผ 30% ๋์ด๋ฉฐ ์ฑ๋ฅ ์์ค์ 1% ๋ฏธ๋งํ๋ค <table style="border-collapse: collapse; width: 100%;"> <tr> <td style="border: none; padding: 10px; box-sizing: border-box;"> <img src="./assets/imgs/opencompass_en.png" alt="opencompass" style="width: 100%; height: auto;"> </td> <td style="border: none; padding: 10px; box-sizing: border-box;"> <img src="./assets/imgs/model_cap_en.png" alt="modelcap" style="width: 100%; height: auto;"> </td> </tr> </table> - ๊ตฌ์ฒด์ ์ผ๋ก ๋งํ๋ฉด Orion-14B์๋ฆฌ์ฆ ๋ํ ์ธ์ด ๋ชจ๋ธ์ ๋ค์๊ณผ ๊ฐ์ ๋ด์ฉ์ ํฌํจํ๋ค: - **Orion-14B-Base:** 2.5์ต ํ ์ผ์ค ๋ค์ํ ๋ฐ์ดํฐ ์ธํธ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ 140์ต ํ๋ผ๋ฉํฐ ๊ท๋ชจ์ ๋ค์ธ์ด ๊ธฐ๋ฐ ๋ชจ๋ธ. - **Orion-14B-Chat:** ๊ณ ํ๋ฆฌํฐ ์ฝํผ์ค ๋ฏธ์ธ์กฐ์ ์ ๊ธฐ๋ฐ์ผ๋ก ํ ๋ํํ ๋ชจ๋ธ. ๋ํ ๋ชจ๋ธ ์ปค๋ฎค๋ํฐ๋ฅผ ์ํด ๋ ๋์ ์ฌ์ฉ์ ์ธํฐ๋์ ๊ฒฝํ์ ์ ๊ณตํ๋๋ก ํ๋ค. - **Orion-14B-LongChat:** 200k ํ ํฐ ๊ธธ์ด์ ํจ๊ณผ์ ์ด๋ฉฐ ์ต๋ 320k๊น์ง ์ง์ํ๋ฉฐ ๊ธด ํ ์คํธ ํ๊ฐ ์ธํธ์์ ๋ ์ ๋ชจ๋ธ๊ณผ ๋น๊ตํ ์ ์๋ค. - **Orion-14B-Chat-RAG:** ๋ง์ถฐ ์ ์ ๋ ๊ฒ์ ํฅ์ ์์ฑ ๋ฐ์ดํฐ ์ธํธ์์ ๋ฏธ์ธ์กฐ์ ํ์ฌ ๊ฒ์ ํฅ์ ์์ฑ ์์ ์์ ๋ฐ์ด๋ ์ฑ๋ฅ์ ์ ๊ณตํ ์ฑํ ๋ชจ๋ธ. - **Orion-14B-Chat-Plugin:** ํ๋ฌ๊ทธ์ธ ๋ฐ ํจ์ ์ ์ฉ ์์ ์ ๋ง์ถฐ ์ ์ ๋ ์ฑํ ๋ชจ๋ธ. ์์ด์ ํธ์ ๊ด๋ จ๋ ์ํฉ์ ์์ฃผ ์ ์ ์ฉ๋์ด ๋ํ ์ธ์ด ๋ชจ๋ธ์ด ํ๋ฌ๊ทธ์ธ ๋ฐ ํจ์ ์ ์ฉ ์์คํ ์ ์ญํ ์ ํ๋ค. - **Orion-14B-Base-Int4:** int4๋ก ๊ณ๋ํํ๋ ๋ฒ ์ด์ค ๋ชจ๋ธ. ๋ชจ๋ธ ํฌ๊ธฐ๋ฅผ 70%๋ฅผ ์ค์ด๋ฉฐ ์ถ๋ฆฌ ์๋๋ฅผ 30% ๋์ฌ 1%์ ์ต์ํ์ ์ฑ๋ฅ ์์ค๋ง ๊ฐ์ ธ์๋ค. - **Orion-14B-Chat-Int4:** int4๋ก ๊ณ๋ํํ๋ ๋ํ ๋ชจ๋ธ. <a name="model-download"></a><br> # 2. ๋ค์ด๋ก๋ ๊ฒฝ๋ก ๋ฐํ๋ ๋ชจ๋ธ ๋ฐ ๋ค์ด๋ก๋ ๋งํฌ๋ ๋ค์ ํ๋ฅผ ์ฐธ์กฐํ์ธ์: | ๋ชจ๋ธ ๋ช ์นญ | HuggingFace๋ค์ด๋ก๋ ๋งํฌ | ModelScope๋ค์ด๋ก๋ ๋งํฌ | |---------------------|-----------------------------------------------------------------------------------|------------------------------------------------------------------------------------------------| | โพ ๋ฒ ์ด์ค ๋ชจ๋ธ | [Orion-14B-Base](https://huggingface.co/OrionStarAI/Orion-14B-Base) | [Orion-14B-Base](https://modelscope.cn/models/OrionStarAI/Orion-14B-Base/summary) | | ๐ ๋ํ ๋ชจ๋ธ | [Orion-14B-Chat](https://huggingface.co/OrionStarAI/Orion-14B-Chat) | [Orion-14B-Chat](https://modelscope.cn/models/OrionStarAI/Orion-14B-Chat/summary) | | ๐ ๊ธด ์ปจํ ์คํธ ๋ชจ๋ธ | [Orion-14B-LongChat](https://huggingface.co/OrionStarAI/Orion-14B-LongChat) | [Orion-14B-LongChat](https://modelscope.cn/models/OrionStarAI/Orion-14B-LongChat/summary) | | ๐ ๊ฒ์ ํฅ์ ๋ชจ๋ธ | [Orion-14B-Chat-RAG](https://huggingface.co/OrionStarAI/Orion-14B-Chat-RAG) | [Orion-14B-Chat-RAG](https://modelscope.cn/models/OrionStarAI/Orion-14B-Chat-RAG/summary) | | ๐ ํ๋ฌ๊ทธ์ธ ๋ชจ๋ธ | [Orion-14B-Chat-Plugin](https://huggingface.co/OrionStarAI/Orion-14B-Chat-Plugin) | [Orion-14B-Chat-Plugin](https://modelscope.cn/models/OrionStarAI/Orion-14B-Chat-Plugin/summary)| | ๐ผ ๋ฒ ์ด์คInt4๊ณ๋ํ ๋ชจ๋ธ | [Orion-14B-Base-Int4](https://huggingface.co/OrionStarAI/Orion-14B-Base-Int4) | [Orion-14B-Base-Int4](https://modelscope.cn/models/OrionStarAI/Orion-14B-Base-Int4/summary) | | ๐ฆ ๋ํInt4๊ณ๋ํ ๋ชจ๋ธ | [Orion-14B-Chat-Int4](https://huggingface.co/OrionStarAI/Orion-14B-Chat-Int4) | [Orion-14B-Chat-Int4](https://modelscope.cn/models/OrionStarAI/Orion-14B-Chat-Int4/summary) | <a name="model-benchmark"></a><br> # 3. ํ๊ฐ ๊ฒฐ๊ณผ ## 3.1. ๋ฒ ์ด์ค ๋ชจ๋ธOrion-14B-Baseํ๊ฐ ### 3.1.1. ์ ๋ฌธ ์ง์ ๋ฐ ์ํ๋ฌธ์ ํ๊ฐ ๊ฒฐ๊ณผ | ๋ชจ๋ธ ๋ช ์นญ | C-Eval | CMMLU | MMLU | AGIEval | Gaokao | BBH | |--------------------|----------|----------|----------|----------|----------|----------| | LLaMA2-13B | 41.4 | 38.4 | 55.0 | 30.9 | 18.2 | 45.6 | | Skywork-13B | 59.1 | 61.4 | 62.7 | 43.6 | 56.1 | 48.3 | | Baichuan2-13B | 59.0 | 61.3 | 59.5 | 37.4 | 45.6 | 49.0 | | QWEN-14B | 71.7 | 70.2 | 67.9 | 51.9 | **62.5** | 53.7 | | InternLM-20B | 58.8 | 59.0 | 62.1 | 44.6 | 45.5 | 52.5 | | **Orion-14B-Base** | **72.9** | **70.6** | **69.9** | **54.7** | 62.1 | **56.5** | ### 3.1.2. ์ดํด ๋ฐ ํต์ ํ๊ฐ ๊ฒฐ๊ณผ | ๋ชจ๋ธ ๋ช ์นญ |RACE-middle|RACE-high| HellaSwag| PIQA | Lambada | WSC | |--------------------|----------|----------|----------|----------|----------|----------| | LLaMA 2-13B | 63.0 | 58.9 | 77.5 | 79.8 | 76.5 | 66.3 | | Skywork-13B | 87.6 | 84.1 | 73.7 | 78.3 | 71.8 | 66.3 | | Baichuan 2-13B | 68.9 | 67.2 | 70.8 | 78.1 | 74.1 | 66.3 | | QWEN-14B | 93.0 | 90.3 | **80.2** | 79.8 | 71.4 | 66.3 | | InternLM-20B | 86.4 | 83.3 | 78.1 | **80.3** | 71.8 | 68.3 | | **Orion-14B-Base** | **93.2** | **91.3** | 78.5 | 79.5 | **78.8** | **70.2** | ### 3.1.3. OpenCompassํ๊ฐ ์ธํธ ํ๊ฐ ๊ฒฐ๊ณผ | ๋ชจ๋ธ ๋ช ์นญ | Average | Examination | Language | Knowledge | Understanding | Reasoning | |------------------|----------|----------|----------|----------|----------|----------| | LLaMA 2-13B | 47.3 | 45.2 | 47.0 | 58.3 | 50.9 | 43.6 | | Skywork-13B | 53.6 | 61.1 | 51.3 | 52.7 | 64.5 | 45.2 | | Baichuan 2-13B | 49.4 | 51.8 | 47.5 | 48.9 | 58.1 | 44.2 | | QWEN-14B | 62.4 | 71.3 | 52.67 | 56.1 | 68.8 | 60.1 | | InternLM-20B | 59.4 | 62.5 | 55.0 | **60.1** | 67.3 | 54.9 | |**Orion-14B-Base**| **64.3** | **71.4** | **55.0** | 60.0 | **71.9** | **61.6** | ### 3.1.4. ์ผ๋ณธ์ด ํ ์คํธ ์ธํธ ํ๊ฐ ๊ฒฐ๊ณผ | ๋ชจ๋ธ ๋ช ์นญ |**Average**| JCQA | JNLI | MARC | JSQD | JQK | XLS | XWN | MGSM | |--------------------|----------|----------|----------|----------|----------|----------|----------|----------|----------| | PLaMo-13B | 52.3 | 56.7 | 42.8 | 95.8 | 70.6 | 71.0 | 8.70 | 70.5 | 2.40 | | WebLab-10B | 50.7 | 66.6 | 53.7 | 82.1 | 62.9 | 56.2 | 10.0 | 72.0 | 2.40 | | ELYZA-jp-7B | 48.8 | 71.7 | 25.3 | 86.6 | 70.8 | 64.1 | 2.50 | 62.1 | 7.20 | | StableLM-jp-7B | 51.1 | 33.4 | 43.3 | **96.7** | 70.6 | 78.1 | 10.7 | 72.8 | 2.80 | | LLaMA 2-13B | 46.3 | 75.0 | 47.6 | 38.8 | 76.1 | 67.7 | 18.1 | 63.2 | 10.4 | | Baichuan 2-13B | 57.1 | 73.7 | 31.3 | 91.6 | 80.5 | 63.3 | 18.6 | 72.2 | 25.2 | | QWEN-14B | 65.8 | 85.9 | 60.7 | 97.0 | 83.3 | 71.8 | 18.8 | 70.6 | 38.0 | | Yi-34B | 67.1 | 83.8 | 61.2 | 95.2 | **86.1** | 78.5 | **27.2** | 69.2 | 35.2 | | **Orion-14B-Base** | **69.1** | **88.2** | **75.8** | 94.1 | 75.7 | **85.1** | 17.3 | **78.8** | **38.0** | ### 3.1.5. ํ๊ตญ์ด ํ ์คํธ ์ธํธn-shotํ๊ฐ ๊ฒฐ๊ณผ | ๋ชจ๋ธ ๋ช ์นญ | **Average**<br>n=0 n=5 | HellaSwag<br>n=0 n=5 | COPA<br> n=0 n=5 | BooIQ<br>n=0 n=5 | SentiNeg<br>n=0 n=5| |------------------|------------------------------|------------------------------|------------------------------|------------------------------|------------------------------| | KoGPT | 53.0 70.1 | 55.9 58.3 | 73.5 72.9 | 45.1 59.8 | 37.5 89.4 | | Polyglot-ko-13B | 69.6 73.7 |**59.5** **63.1**|**79.4** **81.1**| 48.2 60.4 | 91.2 90.2 | | LLaMA 2-13B | 46.7 63.7 | 41.3 44.0 | 59.3 63.8 | 34.9 73.8 | 51.5 73.4 | | Baichuan 2-13B | 52.1 58.7 | 39.2 39.6 | 60.6 60.6 | 58.4 61.5 | 50.3 72.9 | | QWEN-14B | 53.8 73.7 | 45.3 46.8 | 64.9 68.9 | 33.4 83.5 | 71.5 95.7 | | Yi-34B | 54.2 72.1 | 44.6 44.7 | 58.0 60.6 | 65.9 90.2 | 48.3 92.9 | |**Orion-14B-Base**|**74.5** **79.6**| 47.0 49.6 | 77.7 79.4 |**81.6** **90.7**|**92.4** **98.7**| ### 3.1.6. ๋ค๊ตญ์ด ํ๊ฐ ๊ฒฐ๊ณผ | ๋ชจ๋ธ ๋ช ์นญ | Train Lang | Japanese | Korean | Chinese | English | |--------------------|------------|----------|----------|----------|----------| | PLaMo-13B | En,Jp | 52.3 | * | * | * | | Weblab-10B | En,Jp | 50.7 | * | * | * | | ELYZA-jp-7B | En,Jp | 48.8 | * | * | * | | StableLM-jp-7B | En,Jp | 51.1 | * | * | * | | KoGPT-6B | En,Ko | * | 70.1 | * | * | | Polyglot-ko-13B | En,Ko | * | 70.7 | * | * | | Baichuan2-13B | Multi | 57.1 | 58.7 | 50.8 | 57.1 | | Qwen-14B | Multi | 65.8 | 73.7 | 64.5 | 65.4 | | Llama2-13B | Multi | 46.3 | 63.7 | 41.4 | 55.3 | | Yi-34B | Multi | 67.1 | 72.2 | 58.7 | **68.8** | | **Orion-14B-Base** | Multi | **69.1** | **79.5** | **67.9** | 67.3 | ## 3.2. ๋ํ ๋ชจ๋ธOrion-14B-Chatํ๊ฐ ### 3.2.1. ๋ํ ๋ชจ๋ธMTBench์ฃผ๊ด์ ํ๊ฐ | ๋ชจ๋ธ ๋ช ์นญ | 1๋ผ์ด๋ | 2๋ผ์ด๋ | **ํ๊ท ** | |----------------------|----------|----------|----------| | Baichuan2-13B-Chat | 7.05 | 6.47 | 6.76 | | Qwen-14B-Chat | 7.30 | 6.62 | 6.96 | | Llama2-13B-Chat | 7.10 | 6.20 | 6.65 | | InternLM-20B-Chat | 7.03 | 5.93 | 6.48 | | **Orion-14B-Chat** | **7.68** | **7.07** | **7.37** | \*์ด ํ๊ฐ๋ vllm์ ์ด์ฉํ์ฌ ์ถ๋ฆฌํ๋ค ### 3.2.2. ๋ํ ๋ชจ๋ธAlignBench์ฃผ๊ด์ ํ๊ฐ | ๋ชจ๋ธ ๋ช ์นญ | ์ํ ๋ฅ๋ ฅ | ๋ ผ๋ฆฌ์ ์ถ๋ฆฌ | ๊ธฐ๋ณธ ๋ฅ๋ ฅ | ์ค๊ตญ์ด ์ดํด | ์ข ํฉ์ ๋ฌธ๋ต | ๊ธ์ฐ๊ธฐ ๋ฅ๋ ฅ | ๋กค ํ๋ ์ด | ์ ๋ฌธ ์ง์ | **ํ๊ท ** | |--------------------|----------|----------|----------|----------|----------|----------|----------|----------|----------| | Baichuan2-13B-Chat | 3.76 | 4.07 | 6.22 | 6.05 | 7.11 | 6.97 | 6.75 | 6.43 | 5.25 | | Qwen-14B-Chat | **4.91** | **4.71** | **6.90** | 6.36 | 6.74 | 6.64 | 6.59 | 6.56 | **5.72** | | Llama2-13B-Chat | 3.05 | 3.79 | 5.43 | 4.40 | 6.76 | 6.63 | 6.99 | 5.65 | 4.70 | | InternLM-20B-Chat | 3.39 | 3.92 | 5.96 | 5.50 | **7.18** | 6.19 | 6.49 | 6.22 | 4.96 | | **Orion-14B-Chat** | 4.00 | 4.24 | 6.18 | **6.57** | 7.16 | **7.36** | **7.16** | **6.99** | 5.51 | \*์ด ํ๊ฐ๋ vllm์ ์ด์ฉํ์ฌ ์ถ๋ฆฌํ๋ค ## 3.3. ๊ธด ์ปจํ ์คํธ ๋ชจ๋ธOrion-14B-LongChatํ๊ฐ ### 3.3.1. ๊ธด ์ปจํ ์คํธ ๋ชจ๋ธLongBenchํ๊ฐ | ๋ชจ๋ธ ๋ช ์นญ | NarrativeQA| MultiFieldQA-en| MultiFieldQA-zh | DuReader | QMSum | VCSUM | TREC | TriviaQA | LSHT | RepoBench-P | |--------------------------|-----------|-----------|-----------|-----------|-----------|-----------|-----------|-----------|-----------|-----------| | GPT-3.5-Turbo-16k | **23.60** | **52.30** | **61.20** | 28.70 | 23.40 | **16.00** | 68.00 | **91.40** | 29.20 | 53.60 | | LongChat-v1.5-7B-32k | 16.90 | 41.40 | 29.10 | 19.50 | 22.70 | 9.90 | 63.50 | 82.30 | 23.20 | 55.30 | | Vicuna-v1.5-7B-16k | 19.40 | 38.50 | 43.00 | 19.30 | 22.80 | 15.10 | 71.50 | 86.20 | 28.80 | 43.50 | | Yi-6B-200K | 14.11 | 36.74 | 22.68 | 14.01 | 20.44 | 8.08 | 72.00 | 86.61 | 38.00 | **63.29** | | Orion-14B-LongChat | 19.47 | 48.11 | 55.84 | **37.02** | **24.87** | 15.44 | **77.00** | 89.12 | **45.50** | 54.31 | ## 3.4. ๊ฒ์ ํฅ์ ๋ชจ๋ธOrion-14B-Chat-RAGํ๊ฐ ### 3.4.1. ์๊ธฐ ๋ง๋ ๊ฒ์ ํฅ์ ํ ์คํธ ์ธํธ ํ๊ฐ ๊ฒฐ๊ณผ |๋ชจ๋ธ ๋ช ์นญ|์๋ต ํจ๊ณผ(ํค์๋)|*์๋ต ํจ๊ณผ(์ฃผ๊ด์ ์ ์)|์ธ์ฉ ๋ฅ๋ ฅ|๊ธฐ๋ณธ ๋ ๋งก๋ ๋ฅ๋ ฅ|*AutoQA|*๋ฐ์ดํฐ ์ถ์ถ| |---------------------|------|------|------|------|------|------| | Baichuan2-13B-Chat | 85 | 76 | 1 | 0 | 69 | 51 | | Qwen-14B-Chat | 79 | 77 | 75 | 47 | 68 | 72 | | Qwen-72B-Chat(Int4) | 87 | 89 | 90 | 32 | 67 | 76 | | GPT-4 | 91 | 94 | 96 | 95 | 75 | 86 | | Orion-14B-Chat-RAG | 86 | 87 | 91 | 97 | 73 | 71 | \* ์ฌ๋ ํ๊ฐ ๊ฒฐ๊ณผ๋ฅผ ๊ฐ๋ฆฌํจ๋ค ## 3.5. ํ๋ฌ๊ทธ์ธ ๋ชจ๋ธOrion-14B-Chat-Pluginํ๊ฐ ### 3.5.1. ์๊ธฐ ๋ง๋ ํ๋ฌ๊ทธ์ธ ํ ์คํธ ์ธํธ ํ๊ฐ ๊ฒฐ๊ณผ | ๋ชจ๋ธ ๋ช ์นญ | ํ ํ๋ผ๋ฉํฐ ์๋ ์๋ณ | ๋ถ์์ ํ๋ผ๋ฉํฐ ์๋ ์๋ณ | ๋น ํ๋ฌ๊ทธ์ธ ์ ์ฉ ์๋ณ | |-----------------------|--------|-----------|--------| | Baichuan2-13B-Chat | 25 | 0 | 0 | | Qwen-14B-Chat | 55 | 0 | 50 | | GPT-4 | **95** | 52.38 | 70 | | Orion-14B-Chat-Plugin | 92.5 | **60.32** | **90** | ## 3.6. ๊ณ๋ํ ๋ชจ๋ธOrion-14B-Base-Int4ํ๊ฐ ### 3.6.1. ๊ณ๋ํ ์ ํ ์ ๋ฐ์ ์ธ ๋น๊ต |๋ชจ๋ธ ๋ช ์นญ|๋ชจ๋ธ ํฌ๊ธฐ(GB)|์ถ๋ฆฌ ์๋(ํ ํฐ ์/์ด)|C-Eval |CMMLU |MMLU |RACE | HellaSwag| |-------------------------|------|-----|------|------|------|------|------| | OrionStar-14B-Base | 28.0 | 135 | 72.8 | 70.6 | 70.0 | 93.3 | 78.5 | | OrionStar-14B-Base-Int4 | 8.3 | 178 | 71.8 | 69.8 | 69.2 | 93.1 | 78.0 | <a name="model-inference"></a><br> # 4. ๋ชจ๋ธ ์ถ๋ฆฌ ์ถ๋ฆฌ์ ํ์ํ ๋ชจ๋ธ ๊ฐ์ค์น, ์์ค ์ฝ๋, ๋ฐฐ์น๋ Hugging Face์ ๊ฒ์๋์ด ๋ค์ด๋ก๋ ๋งํฌ๋ ์ด ํ์ผ ๋งจ ์ฒ์์ ์๋ ํ๋ฅผ ์ฐธ์กฐํ์ธ์. ์ ํฌ๋ ์ฌ๊ธฐ์ ๋ค์ํ ์ถ๋ฆฌ ๋ฐฉ์์ ๋ณด์ฌ ์ฃผ๊ณ ํ๋ก๊ทธ๋จ์ Hugging Face๋ก๋ถํฐ ํ์ํ ์๋ฃ๋ฅผ ์๋์ผ๋ก ๋ค์ด๋ก๋ ํ ๊ฒ์ด๋ค. ## 4.1. Python ์ฝ๋ ๋ฐฉ์ ```python import torch from transformers import AutoModelForCausalLM, AutoTokenizer from transformers.generation.utils import GenerationConfig tokenizer = AutoTokenizer.from_pretrained("OrionStarAI/Orion-14B", use_fast=False, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained("OrionStarAI/Orion-14B", device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True) model.generation_config = GenerationConfig.from_pretrained("OrionStarAI/Orion-14B") messages = [{"role": "user", "content": "์๋ ! ์ด๋ฆ์ด ๋ญ์์!"}] response = model.chat(tokenizer, messages, streaming=Flase) print(response) ``` ์์ ๋ ์ฝ๋์์ ๋ชจ๋ธ์ ์ง์ ๋ `device_map='auto'`๋ก๋ฉํ๋ฉด ๋ชจ๋ ์ฌ์ฉํ ์ ์๋ ๊ทธ๋ํฝ ์นด๋๋ฅผ ์ฌ์ฉํ ๊ฒ์ด๋ค. ์ฌ์ฉํ ์ฅ์น๋ฅผ ์ง์ ํ๋ ค๋ฉด `export CUDA_VISIBLE_DEVICES=0,1`(๊ทธ๋ํฝ ์นด๋ 0๊ณผ 1์ ์ฌ์ฉ)๊ณผ ๊ฐ์ ๋ฐฉ์์ผ๋ก ์ ์ดํ ์ ์๋ค. ## 4.2. ๋ช ๋ น์ค ํด ๋ฐฉ์ ```shell CUDA_VISIBLE_DEVICES=0 python cli_demo.py ``` ์ด ๋ช ๋ น์ค ํด์ Chat ์๋๋ฆฌ์ค๋ฅผ ์ํด ์ค๊ณ๋์์ผ๋ฏ๋ก ์ด ํด๋ก ๋ฒ ์ด์ค ๋ชจ๋ธ์ ์ ์ฉํ๋ ๊ฒ ์ง์ํ์ง ์๋๋ค. ## 4.3. ์คํฌ๋ฆฝํธ ์ง์ ์ถ๋ฆฌ ```shell # base model CUDA_VISIBLE_DEVICES=0 python demo/text_generation_base.py --model OrionStarAI/Orion-14B --tokenizer OrionStarAI/Orion-14B --prompt ์๋ . ์ด๋ฆ์ด ๋ญ์์ # chat model CUDA_VISIBLE_DEVICES=0 python demo/text_generation.py --model OrionStarAI/Orion-14B-Chat --tokenizer OrionStarAI/Orion-14B-Chat --prompt ์๋ . ์ด๋ฆ์ด ๋ญ์์ ``` ## 4.4. ์์ ๋ ธ์ถ ### 4.4.1. ์ก๋ด ````` ์ฌ์ฉ์๏ผ์๋ ,์ด๋ฆ์ด ๋ญ์์ Orion-14B๏ผ์๋ ! ์ ๋ ์ธ๊ณต์ง๋ฅ ์กฐ์ ์ ๋๋ค. ์ ํด์ง ์ด๋ฆ์ ์๊ณ ๋ง์๋๋ก ๋ถ๋ฌ๋ ๋ฉ๋๋ค. ๋์์ค ์ ์๋ ๊ฑฐ ์๋์? ์ฌ์ฉ์๏ผ์ด์ผ๊ธฐ ํ๋ ๋๋ ์ค Orion-14B๏ผ์์ ์ ์ญ์ด๋ผ๋ ์ด๋ฆฐ ์๋ ์ด ์์๋ค. ๊ทธ๋ ์์ ๋ง์์ ์ด์๋ค. ์ญ์ ๋ชจํ๊ณผ ํ๊ตฌ๋ฅผ ๋งค์ฐ ์ข์ํด์ ํญ์ ์ ๊ธฐํ ๊ฒ์ ๋ฐ๊ฒฌํ๋ ๊ฟ์ ๊พผ๋ค. ์ด๋๋ ์ญ์ ๊ทผ์ฒ์ ์ฒ ๊น์ ๊ณณ์ ์ ์ค์์ ๋ง๋ฒ์ฑ์ด ์์ด ๊ทธ ์์ ์ฌ์ ํ ๊ฑฐ์ธ์ด ์ฐ๋ค๋ ์์์ ๋ ๋ค. ๊ทธ ๊ฑฐ์ธ์ ์ด๋ฆ์ ๊ทธ๋ฆผ์ด์๋ค. ๊ทธ๋ ์ฑ ์์ ๊ฐํ ์ฑ ๋ ๋ ์ ์์๋ค. ์ญ์ ๊ทธ๋ฆผ์ด ๊ทธ๊ณณ์ ๊ฐํ์๋ ์ด์ ๊ฐ ๊ผญ ์์ ๊ฑฐ๋ผ๊ณ ๋ฏฟ๊ธฐ ๋๋ฌธ์ ๊ฑฐ์ธ์ ๊ตฌํ๋ฌ ๊ฐ๊ธฐ๋ก ๊ฒฐ์ฌํ๋ค. ๊ทธ๋ฆฌํ์ฌ ๊ทธ๋ ์ฉ๊ธฐ์ ๊ฒฐ์ฌ์ ๊ฐ์ ธ ๋ง๋ฒ์ ์ฑ์ผ๋ก ๊ฐ๋ ์ฌ์ ์ ์์ํ๋ค. ์ค๋ ๊ณ ์ ๋์ ์ญ์ ๋ง์นจ๋ด ์ฑ๋ณด ๋๋ฌธ ์์ ๋ค๋ค๋๋ค. ๊ทธ๋ ์กฐ์ฌ์ค๋ฝ๊ฒ ๋๋ฌธ์ ์ด๊ณ ์ ๋นํ ๊ธฐ์ด์ด ๊ฐ๋ํ ๋ฐฉ์ผ๋ก ๋ค์ด๊ฐ๋ค. ๋ฐฉ์์ ์ด๋์ด ๊ธฐ์ด์ด ๊ฐ๋ํ์ง๋ง ์ญ์ ๋๋ผ์ง ์์๋ค. ๊ทธ๋ ์ฉ๊ฐํ๊ฒ ์ฑ ์์ผ๋ก ๋ค์ด๊ฐ ๋ง์นจ๋ด ๊ทธ๋ฆผ์ ์ฐพ์๋๋ค. ๊ทธ๋ฆผ์ ์์ ์ ์ฌ์ ํ ๋ง๋ ์ ์ ์ฃผ๋ฅผ ๋ฐ์์ ์ ์ฃผ๋ฅผ ํ์ด์ผ๋ง ์์ ๋ก์์ง ์ ์๋ค๊ณ ์ญ์๊ฒ ๋งํ๋ค. ์ญ์ ๊ทธ๋ฆผ์ ๋๊ธฐ๋ก ๊ฒฐ์ ํ์ฌ ๋จ์์ ์ฃผ๋ฌธ์ ํ ๋ฐฉ๋ฒ์ ์ฐพ๊ธฐ ์์ํ๋ค. ํ๋ฐํ์ ๋ ธ๋ ฅ ๋์ ์ญ์ ๋๋์ด ๋ง๋ ์ ๋น๋ฐ ์คํ์ค๋ก ๊ฐ๋ ๊ธธ์ ์ฐพ์๋ธ๋ค. ๊ทธ๋ ๊ทธ๊ณณ์์ ๋ง๋ ๊ฐ ๋จ๊ธด ๋ง๋ฒ์๋ฅผ ๋ฐ๊ฒฌํ๋๋ฐ ๊ทธ ์ฑ ์์ ์ฃผ๋ฌธ์ ํธ๋ ๋ฐฉ๋ฒ์ด ์ ํ ์์๋ค. ์ญ์ ์ฑ ์ ์ฐ์ธ ์ ์ฐจ๋ฅผ ๋ฐ๋ผํ์ฌ ๊ทธ๋ฆผ์ ์ ์ฃผ๋ฅผ ์ฑ๊ณต์ ์ผ๋ก ํ์ด๋๋ค. ๊ฑฐ์ธ์ ๋๋ฌด ๊ฐ์ฌํด์ ์ญ์ ์์์ด ์ด๋ฃจ์ด์ง๋๋ก ๋๊ฒ ๋ค๊ณ ์ฝ์ํ๋ค. ์ด๋๋ก๋ถํฐ ์ญ๊ณผ ๊ทธ๋ฆผ์ ์ข์ ์น๊ตฌ๊ฐ ๋์ด ๋ง์ ์ํํ๊ณ ์ง๋ฆฟํ ๋ชจํ์ ํจ๊ป ๊ฒช์์ผ๋ฉฐ ๊ทธ๋ค์ ์ฉ๊ธฐ์ ์งํ๋ก ๊ฐ์ข ์ด๋ ค์์ ์ด๊ฒจ๋๋ค. ์ด ์ด์ผ๊ธฐ๋ ์ ํฌ์๊ฒ ์ฉ๊ธฐ์ ๊ฒฐ์ฌ์ด ์๋ค๋ฉด ๋ชจ๋ ์ด๋ ค์์ ๊ทน๋ณตํ๊ณ ์์ ์ ๊ฟ์ ์ด๋ฃฐ ์ ์๋ค๋ ๊ฒ์ ์๋ ค์ค๋ค. ````` ### 4.4.2. ํ์ผ ````` ็จๆท๏ผ่ชๅทฑใ็ดนไปใใฆใใ ใใ Orion-14B๏ผใใใซใกใฏใ็งใฎๅๅใฏChatMaxใงใOrionStarใซใใฃใฆ้็บใใใAIใขใทในใฟใณใใงใใ็งใฏใฆใผใถใผใซๆญฃ็ขบใงใๅฎข่ฆณ็ใงใๆ็จใชๅ็ญใๆไพใใๅฝผใใๅ้กใ่งฃๆฑบใใๆ ๅ ฑใๅๅพใใใฎใๅฉใใใใจใใงใใพใใ ็จๆท๏ผ์๊ธฐ์๊ฐ๋ฅผ ํด์ฃผ์ธ์. Orion-14B๏ผ์๋ ํ์ธ์, ์ ๋ช ์นญ์ ChatMax์ ๋๋ค. OrionStar์์ ๊ฐ๋ฐํ AI ์ด์์คํดํธ์ ๋๋ค. ์ ๋ ์ฌ์ฉ์๋ค์๊ฒ ์ ํํ๊ณ ๊ฐ๊ด์ ์ด๋ฉฐ ์ ์ฉํ ๋ต๋ณ์ ์ ๊ณตํ์ฌ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ณ ์ ๋ณด๋ฅผ ์ป๋ ๋ฐ ๋์์ ์ค ์ ์์ต๋๋ค. ````` <a name="declarations-license"></a><br> # 5. ์ฑ๋ช , ํ์ ## 5.1. ์ฑ๋ช ์ ํฌ๋ ๋ชจ๋ ์ฌ์ฉ์๋ค์๊ฒ Orion-14B๋ชจ๋ธ์ ์ด์ฉํ์ฌ ๊ตญ๊ฐ ์ฌํ ์์ ์ ํด์น๊ฑฐ๋ ๋ถ๋ฒ์ ์ธ ํ์๋ฅผ ํ๋ ๊ฑฐ ํ์ง ์๋๋ก ๊ฐ๋ ฅํ ํธ์ํ๋ค. ๋ํ, ์ ํฌ๋ ์ฌ์ฉ์๋ค์๊ฒ Orion-14B ๋ชจ๋ธ์ ์ ์ ํ ๋ณด์ ๊ฒํ ๋ฅผ ํ์ง ์๊ฑฐ๋ ๋ฌธ์ํ๋์ง ์์ ์ธํฐ๋ท ์๋น์ค๋ก ์ด์ฉํ์ง ๋ง๋ผ๋ ๊ฒ์ ์์ฒญํ๋ค. ์ ํฌ๋ ๋ชจ๋ ์ฌ์ฉ์๊ฐ ์ด ์์น์ ์งํค๋ฉฐ ๊ธฐ์ ์ ๋ฐ์ ์ด ๊ท๋ฒ์ ์ด๊ณ ํฉ๋ฒ์ ์ธ ํ๊ฒฝ์์ ์ด๋ฃจ์ด์ง ์ ์๊ธฐ๋ฅผ ๋ฐ๋๋ค. ์ ํฌ๋ ์ด๋ฏธ ์ต์ ์ ๋คํด ๋ชจ๋ธ ํ๋ จ ๊ณผ์ ์์ ์ฌ์ฉ๋ ๋ฐ์ดํฐ์ ์ค์น์ฑ์ ํ๋ณดํ๋๋ก ํ์๋ค. ๊ทธ๋ฌ๋ ๋ง๋ํ ๋ ธ๋ ฅ์ ๊ธฐ์ธ์์์๋ ๋ถ๊ตฌํ๊ณ ๋ชจ๋ธ๊ณผ ๋ฐ์ดํฐ์ ๋ณต์ก์ฑ์ผ๋ก ๋ง๋ฏธ์์ ์ผ๋ถ ์๊ฒฌํ ์ ์์ ๋ฌธ์ ๋ค์ด ์ฌ์ ํ ์กด์ฌํ ์ ์๋ค. ๋ฐ๋ผ์ Orion-14B ์คํ์์ค ๋ชจ๋ธ์ ์ฌ์ฉ์ผ๋ก ์ผ๊ธฐ๋ ๋ฌธ์ , ๋ฐ์ดํฐ ๋ณด์ ๋ฌธ์ ์ ๊ณต๋ก ์ํ์ด๋ ๋ชจ๋ธ์ ์ค๋, ๋จ์ฉ, ์ ํ, ๋ํ ๋ถ์ ๋นํ ์ฌ์ฉ ๋ฑ์ผ๋ก ๊ฐ์ ธ์จ ์ํ๊ณผ ๋ฌธ์ ์ ๋ํด ์ ํฌ๋ ์ฑ ์์ ์ง์ง ์๊ฒ ๋ค. ## 5.2. ํ์ ์ปค๋ฎค๋ํฐ ์ฌ์ฉOrion-14B์๋ฆฌ์ฆ ๋ชจ๋ธ - ์ฝ๋๋ [Apache License Version 2.0](./LICENSE)<br>๋ฐ๋ฅด์ธ์ - ๋ชจ๋ธ์ [Orion-14B์๋ฆฌ์ฆ ๋ชจ๋ธ ์ปค๋ฎค๋ํฐ ํ๊ฐ ํ์](./ModelsCommunityLicenseAgreement)๋ฐ๋ฅด์ธ์ <a name="company-introduction"></a><br> # 6. ํ์ฌ์๊ฐ ์ค๋ฆฌ์จ ์คํ๏ผOrionStar๏ผ๋ 2016๋ 9์ ์ค๋ฆฝ๋ ์ธ๊ณ ์ต๊ณ ์ ์๋น์ค ๋ก๋ด ์๋ฃจ์ ํ์ฌ์ด๋ค. ์ค๋ฆฌ์จ ์คํ๋ ์ธ๊ณต์ง๋ฅ ๊ธฐ์ ์ ๋ฐํ์ผ๋ก ์ฐจ์ธ๋ ํ๋ช ์ ๋ก๋ด ๋ง๋ค์ด ์ฌ๋๋ค์ด ๋ฐ๋ณต๋๋ ์ก์ฒด๋ ธ๋์์ ๋ฒ์ด๋ ์ผ๊ณผ ์ํ์ ๋์ฑ ์ง๋ฅ์ ์ด๊ณ ์ฌ๋ฏธ์๊ฒ ๋ง๋ค๊ณ ๊ธฐ์ ์ ํตํด ์ฌํ์ ์ธ๊ณ๋ฅผ ๋์ฑ ์๋ฆ๋ต๊ฒ ๋ง๋ ๊ฒ์ ํ์ ๊ธฐ์ธ์ธ๋ค. ์ค๋ฆฌ์จ ์คํ๋ ์์ฑ ์ธํฐ๋ ์ ๊ณผ ์๊ฐ ๋ค๋น๊ฒ์ด์ ๋ฑ ์์ ํ ๋ ์์ ์ผ๋ก ๊ฐ๋ฐํ ํ ์ฒด์ธ ์ธ๊ณต์ง๋ฅ ๊ธฐ์ ์ ๊ฐ์ง๊ณ ์๋ค. ์ ํฌ๋ ํ๋ก๋ํธ ๊ฐ๋ฐ ๋ฅ๋ ฅ๊ณผ ๊ธฐ์ ์์ฉ ๋ฅ๋ ฅ์ ํตํฉํ์๋ค. ์ค๋ฆฌ์จ ๋ก๋ด ํ ํ๋ซํผ์ ๊ธฐ๋ฐ์ผ๋ก ORIONSTAR AI Robot Greeting, AI Robot Greeting Mini, Lucki, CoffeeMaster ๋ฑ์ ํ๋ก๋ํธ ์ถ์ํ์์ผ๋ฉฐ ์ค๋ฆฌ์จ ๋ก๋ด์ ์คํ ํ๋ซํผ์ธ OrionOS๋ฅผ ์ค๋ฆฝํ์๋ค. **์ง์ง ์ ์ฉํ ๋ก๋ด์ ์ํด ํ์ด๋๋ผ**์ ์ด๋ ์ ์ํ ์ค์ฒํ์ฌ AI๊ธฐ์ ์ ํตํด ๋ ๋ง์ ์ฌ๋๋ค์๊ฒ ๋ฅ๋ ฅ์ ๋ถ์ฌํ๋ค. 7๋ ์ AI๊ฒฝํ ๋์ ์ ๋ฐํ์ผ๋ก ์ค๋ฆฌ์จ ์คํ๋ ๋ํ ๋ชจ๋ธ ์ฌ์ธต ์์ฉ"์ฅ์ธ(Chatmax)"์ ์ถ์ํ๊ณ ์ ๊ณ ๊ณ ๊ฐ์๊ฒ ๋ง์ถคํ AI๋ํ ๋ชจ๋ธ ์ปจ์คํ ๊ณผ ์๋น์ค ์๋ฃจ์ ์ ์ง์์ ์ผ๋ก ์ ๊ณตํ์ฌ ์ง์ ์ผ๋ก ๊ธฐ์ ๊ฒฝ์ ํจ์จ์ด ๋์ข ์ ๊ณ์ ์์๋ ๋ชฉํ๋ฅผ ๋ฌ์ฑํ ์ ์๋๋ก ๊ณ ๊ฐ๋ค์๊ฒ ๋๊ณ ์๋ค. **์ค๋ฆฌ์จ ์คํ๋ ํ ์ฒด์ธ ๋ํ ๋ชจ๋ธ ์์ฉ๋ฅ๋ ฅ์ด๋ ํต์ฌ์ ์ฐ์ธ๋ฅผ ๊ฐ๊ณ ์๋ค**, ๋๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌ, ๋ํ ๋ชจ๋ธ ์ฌ์ ํ๋ จ, 2์ฐจ ์ฌ์ ํ๋ จ, ๋ฏธ์ธ ์กฐ์ (Fine-tune), PromptEngineering, Agent๋ฑ์์ ๊ฐ๋ฐ๋ ํ ์ฒด์ธ ๋ฅ๋ ฅ๊ณผ ๊ฒฝํ ๋์ ์ ๊ฐ์ง๋ ๊ฑฐ ํฌํจํ๋ค. ์ฒด๊ณํ๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ์ ์ฐจ์ ์๋ฐฑ ๊ฐ์ GPU์ ๋ณ๋ ฌ ๋ชจ๋ธ ํ๋ จ ๋ฅ๋ ฅ์ ํฌํจํ ์์ ํ ์๋ํฌ์๋ ๋ชจ๋ธ ํ๋ จ ๋ฅ๋ ฅ์ ๊ฐ์ง๊ณ ์์ผ๋ฉฐ ํ์ฌ ๋ํ ์ ๋ฌด, ํด๋ผ์ฐ๋ ์๋น์ค, ์ถํด ์ ์์๊ฑฐ๋, ์พ์์๋นํ ๋ฑ ์ฌ๋ฌ ์ ๊ณ์์ ๊ตฌํ๋์๋ค. ***๋ํ ๋ชจ๋ธ ์์ฉ ๊ตฌํ ํ์๊ฐ ์์ผ์ ํ์ฌ๊ป์ ์ ํฌ์ ์ฐ๋ฝํ๋ ๊ฒ์ ํ์ํ๋ค***<br> **๋ฌธ์ ์ ํ:** 400-898-7779<br> **์ด๋ฉ์ผ:** ai@orionstar.com <div align="center"> <img src="./assets/imgs/wechat_group.jpg" alt="wechat" width="40%" /> </div>