The license is cc-by-nc-sa-4.0.
- Commercializing is not allowed.
Model Card for Model ID
๊ธฐ์กด์ DopeorNope/Ko-Mixtral-v1.3-MoE-7Bx2 ๋ชจ๋ธ์์ ํฅ์๋ 1.4๋ฒ์ ์ ๋๋ค.
์ถ๊ฐ๋ ์ฌํญ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
- ํ๋ จ์ ํ์ฉ๋ ์ฝํผ์ค๋ฅผ ๋งค๋ด์ผํ๊ฒ ๊ฒํ ํ๊ณ ์ด์ํ ์ฝํผ์ค๋ฅผ ์์ ํ๊ณ ์ ์ ํ์์ต๋๋ค.
- Near dudup ์๊ณ ๋ฆฌ์ฆ์ ์ ์ฉํ์ฌ ์ค๋ณต๋๋ ์ฝํผ์ค๋ฅผ ์ ๊ฑฐํ์์ต๋๋ค.
- ๊ธฐ์กด์ 3๊ฐ์ง task์์ ํ๊ฐ์ง task๋ฅผ ์ถ๊ฐํ์์ต๋๋ค.
Model Details
Model Description
- Developed by: DopeorNope(Seungyoo Lee), kyujinpy(Kyujin Han)
- Model type: Mixtral
- Language: English based model but finetuned with Korean corpus
- License: cc-by-nc-sa-4.0
- Finetuned from model: DopeorNope/Ko-Mixtral-v1.3-MoE-7Bx2
- funded by: the Ministry of Science and ICT(MSIT, Korea) & Gwangju Metropolitan City
Training
Testing Data
AI-HUB์์ ์ ๊ณต๋ ์ฝํผ์ค๋ฅผ ๊ฐ์ง๊ณ ๋ค์๊ณผ ๊ฐ์ 4๊ฐ์ง task๋ฅผ text mining์ผ๋ก ๋ง๋ค์ด ์ ์ฉํ์์ต๋๋ค.
- 1.Mask prediction Task
#Mask prediction
#๋ฌธ์ฅ์์ ํ๊ตญ์ด ๋จ์ด๋ฅผ ๋ง์คํน ํ ์ดํ, ์ด ๋จ์ด๋ฅผ ์์ธกํ๊ฒ ๋ง๋๋ Task์
๋๋ค.
Text='์ง๋ฅ(ๆบ่ฝ) ๋๋ ์ธํ
๋ฆฌ์ ์ค(intelligence)๋ ์ธ๊ฐ์ <MASK> ๋ฅ๋ ฅ์ ๋งํ๋ค.'
Response='์ง์ '
Complete_text='์ง๋ฅ(ๆบ่ฝ) ๋๋ ์ธํ
๋ฆฌ์ ์ค(intelligence)๋ ์ธ๊ฐ์ ์ง์ ๋ฅ๋ ฅ์ ๋งํ๋ค.'
- 2.Text-allign Task
#Text-allign Task
#๋ฌธ๋จ์์ ๊ฐ ๋ฌธ์ฅ๋ค์ ์ถ์ถํ๊ณ ์ถ์ถํ ๋ฌธ์ฅ๋ค์ ๋ฌด์์๋ก ์์ ํ ์์ ๋ฌธ์ฅ๋ค์ ๋ฌธ๋งฅ์ ์ ์ ํ๊ฒ ๋ฐฐ์ดํ๋ ํ์คํธ ์
๋๋ค.
Text_list=['๋ณต์๋ช
๋ น-๋ณต์์๋ฃ(MIMD,Multiple Instruction, Multiple Data)์ ์ ์ฐ์์ ๋ณ๋ ฌํ์ ํ ๊ธฐ๋ฒ์ด๋ค.',
'๋ถ์ฐ ๋ฉ๋ชจ๋ฆฌ์ ์๋ MPP(massively parallel processors)์ COW (Clusters of Workstations)์ด๋ค.',
'MIMD๊ธฐ๊ณ๋ ๊ณต์ ๋ฉ๋ชจ๋ฆฌ์ด๊ฑฐ๋ ๋ถ์ฐ ๋ฉ๋ชจ๋ฆฌ์ด๋ฉฐ ์ด๋ฌํ ๋ถ๋ฅ๋ MIMD๊ฐ ์ด๋ป๊ฒ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ด์ฉํ๋๋์ ๋ฐ๋ผ ๋๋๋ค.']
Response='๋ณต์๋ช
๋ น-๋ณต์์๋ฃ(MIMD,Multiple Instruction, Multiple Data)์ ์ ์ฐ์์ ๋ณ๋ ฌํ์ ํ ๊ธฐ๋ฒ์ด๋ค.
MIMD๊ธฐ๊ณ๋ ๊ณต์ ๋ฉ๋ชจ๋ฆฌ์ด๊ฑฐ๋ ๋ถ์ฐ ๋ฉ๋ชจ๋ฆฌ์ด๋ฉฐ ์ด๋ฌํ ๋ถ๋ฅ๋ MIMD๊ฐ ์ด๋ป๊ฒ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ด์ฉํ๋๋์ ๋ฐ๋ผ ๋๋๋ค.
๋ถ์ฐ ๋ฉ๋ชจ๋ฆฌ์ ์๋ MPP(massively parallel processors)์ COW (Clusters of Workstations)์ด๋ค.'
- 3.Text completion Task
#Text Completion
# ๋ฌธ๋จ์์ ๋ง์ง๋ง ๋ฌธ์ฅ์ ์ถ์ถํ๊ณ , ์ถ์ถ๋ ๋ฌธ์ฅ์ ์ด์ ์ ๋ฌธ๋จ๊น์ง๋ฅผ input์ผ๋ก ํ์ฌ ๋ง์ง๋ง ๋ฌธ์ฅ์ ์์ธกํ๊ฒ ํ๋ ๊ณผ์ ์
๋๋ค.
Text= '๊ทธ๋ฆฐ๋ธ๋ผ์ฐ์ (GreenBrowser)๋ ์ธํฐ๋ท ์ต์คํ๋ก๋ฌ์์ ์ฌ์ฉํ๋ ํธ๋ผ์ด๋ํธ ๋ ์ด์์ ์์ง์ ๋ฐํ์ผ๋ก ํ๋ฉฐ ์ค๊ตญ์ ๊ธฐ๋ฐ์ ๋ ์ํํธ์จ์ด ํ์ฌ์ธ ๋ชจ์ดํต(morequick)์์ ๋ง๋ ๋ฌด๋ฃ ์น ๋ธ๋ผ์ฐ์ ๋ค. ๊ฐ์ฒด์ ์ค๊ตญ์ด๊ฐ ์น ๋ธ๋ผ์ฐ์ ์ ๋ด์ฅ๋์ด ์๋ค.
๋งฅ์คํค ์น ๋ธ๋ผ์ฐ์ ์ ๋น์ทํ์ฌ MyIE์ ๋ฐ์ ํ๊ฒ ๊ด๋ จ๋์ด ์๋ค. ๋งฅ์คํค์ฉ์ ์ผ๋ถ ํ๋ฌ๊ทธ์ธ์ด ๊ทธ๋ฆฐ๋ธ๋ผ์ฐ์ ์์๋ ์๋ํ ๊ฒ์ด๋ค.'
Response= '์๋ ์คํฌ๋กค, ์๋ ๋ฆฌํ๋ ์, ์๋ ์ ์ฅ, ์๋ ํผ ์ฑ์ฐ๊ธฐ์ ๊ฐ์ ๋ง์ ์๋ํ ๊ธฐ๋ฅ์ด ์๋ค.'
- 4. Sentence Genration
#Text Completion
# ๋ฌธ์ฅ์์ ๋ชจ๋ ๋จ์ด๋ค์ ์ถ์ถํ๊ณ ๋ฌด์์๋ก ์์ ํ ์ค๋ณต๋ ๋จ์ด๋ฅผ ์ ๊ฑฐํ๊ณ , ์ ์๋ ๋จ์ด ๋ฆฌ์คํธ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์๋ฒฝํ ๋ฌธ์ฅ์ ์์ฑํด๋ด๋ task์
๋๋ค.
Word_List: ['ฯ์', '์ ์ด์์๋', '์ ์ด์', 'ํํ์ด', 'ฯ', '๋ก๋ด', '์ฐ์ธ๋ค', 'ฮธ', '๊ฐ์', '์์ฃผ', '๊ธฐ๊ธฐ']
response= '์๋ ์คํฌ๋กค, ์๋ ๋ฆฌํ๋ ์, ์๋ ์ ์ฅ, ์๋ ํผ ์ฑ์ฐ๊ธฐ์ ๊ฐ์ ๋ง์ ์๋ํ ๊ธฐ๋ฅ์ด ์๋ค.'
Environments
- Hardware Type: Nvidia A100 x 4
- Training hours: 3 Days
- Downloads last month
- 23
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.