Update README.md
Browse files
README.md
CHANGED
@@ -20,3 +20,28 @@ tags:
|
|
20 |
This llama model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.
|
21 |
|
22 |
[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
20 |
This llama model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.
|
21 |
|
22 |
[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)
|
23 |
+
|
24 |
+
## Basic template
|
25 |
+
```python
|
26 |
+
prompt = f'''Translate Human sentences into {์ธ์ด์ค์ . ์๋ฅผ๋ค์ด ์๋ฌธ์ด ์์ด๋ผ๋ฉด Korean๋ฅผ์ ๋ฃ๊ณ ์๋ฌธ์ด ํ๊ธ์ด๋ผ๋ฉด English๋ฅผ ๋ฃ์ด์ฃผ๋ฉด ๋ฉ๋๋ค} in short. Do not add anything else.\nHuman: {๋ฒ์ญํ ๋ฌธ๊ตฌ}\nAssistant:\n'''
|
27 |
+
```
|
28 |
+
|
29 |
+
### ํ์ธํ๋ ๋๊ธฐ
|
30 |
+
๊ทธ๋์ ai์ ํ๊ฐํ์ ๋๋ฌธ์ ๋ฒ์ญํ ์์ฒญ๋ ํ์ฒ๋ฆฌ๋ฅผ ํด์ผํ๊ณ ๊ทธ๋ ๊ฒ ํ์์๋ ์ฌ์ ํ ๋ง์ ํ๊ฐ๋ฌธ๊ตฌ๋ค์ ํด๊ฒฐํ์ง ๋ชปํ๊ณ ์์์ต๋๋ค
|
31 |
+
|
32 |
+
### ์ด ๋ชจ๋ธ์ ์ฌ์ฉํ์๋ฉด
|
33 |
+
์์์ ์ ๊ณตํ basic template๋ฅผ ์ด์ฉํด ๋ฒ์ญ์์ฒญ์ ํ์๋ฉด transformer์ pipeline์์ translation์ ์ฌ์ฉํ ๊ฒ์ฒ๋ผ ๊น๋ํ ๋ฒ์ญ์ด ๊ฐ๋ฅํด์ง๋๋ค.
|
34 |
+
|
35 |
+
### ๋ฒ์ญ ํ
|
36 |
+
๋ฒ์ญ ์ , ํน์๋ฌธ์๋ค์ ์ ๊ฑฐํ๊ฑฐ๋ ํ์ดํ(-)์ผ๋ก replace ํด์ฃผ์ธ์. ํนํ ์ฝ๋ก ( : )์ด ํ๊ฐ ์ ๋ฐ์ ์ฃผ๋ฒ์
๋๋ค.
|
37 |
+
|
38 |
+
### ํ์ธํ๋ ๋ฐ์ดํฐ์
์ ์ธ์ ๊ณต๊ฐํ๋์?
|
39 |
+
๋ฐ์ดํฐ์
์ ๊ณ์ ๋ฐ๊ฟ๊ฐ๋ฉฐ ํ์ธํ๋ ํ
์คํธ๋ฅผ ํ๋ค๋ณด๋ ๊ณต๊ฐ๊ฐ ๋ฆ์ด์ง๊ณ ์์ต๋๋ค. ์ฒ์์๋ ์ผ์ฌ์ฐจ๊ฒ ์๋ง๊ฐ์ ๋ฐ์ดํฐ๋ฅผ ๋ง๋ค์ด ๋๋ ธ์ผ๋ ๊ฒฐ๊ตญ 2์ฒ๊ฐ๋ ๋์ง ์๋ ๋ฐ์ดํฐ๋ง์ผ๋ก๋ ํ์ธํ๋์ด ์๋๋ค๋๊ฑธ ๊นจ๋ฌ์์ต๋๋ค.
|
40 |
+
aiํ๋ธ์ ์ํ ๋ฐ์ดํฐ ์๋๊ณผ ์ง์ ๋ง๋ {์์ด:ํ๊ธ} ๋ฐ์ดํฐ์
์ผ๋ก ํ์ต์์ผฐ์ต๋๋ค.
|
41 |
+
์ด๋ฐ ๋ฐ์ดํฐ์
์ ์ถ๊ฐํ ์ด์ ๋ ์์ด ๋จ์ด ํ๋๋ง ๋ฒ์ญํ๋ผ๊ณ ์์ผฐ์ ๊ฒฝ์ฐ ai์ ํน์ฑ์ '๋ง์ด ๋ง๊ธฐ ๋๋ฌธ์' ๋ฒ์ญ๋ง ํ๋๊ฒ ์๋๋ผ ํ์์๋ ์ฌ์กฑ๋ค์ด ๊ณ์ ๋ถ์ด์์
๋๋ค.
|
42 |
+
ํน๋ณํ ๊ฒ ์๋ ๋ฐ์ดํฐ์
์ด์ง๋ง ์
๋ก๋ ํ ์ด๊ณณ์ ๋ค์ ์๋ฆฌ๊ฒ ์ต๋๋ค.
|
43 |
+
|
44 |
+
### ๋๋ค๋ฆฌ ๊ณ ๊ธ๋ฒ์ญ ์์ค ์ฝ๋๋ ์ธ์ ๊ณต๊ฐ๋๋์?
|
45 |
+
์ง๊ธ ์ฝ๋๋ ๋๋ค๋ฆฌ ์ผ๋ฐ๋ฒ์ญ๊ณผ ๋ฌ๋ฆฌ ๋ณดํต์ฌ๋๋ค์ด ์ฌ์ฉํ๊ธฐ ์ด๋ ค์ด ux๋ฅผ ๊ฐ์ง๊ณ ์์ต๋๋ค. s3์ฝ๋๋ email๋ฐ์ก, ์ฌ์ฉ์๊ฐ ํ์ด๋จธ์ฒ๋ผ ์ผ๋ฐ์ฌ๋๋ค์๊ฒ ํ์์๋ ๊ธฐ๋ฅ๋ค๋ ์์ต๋๋ค.
|
46 |
+
์ฌ๊ธฐ์ gguf๋ฅผ ํตํด cpu๋ก ๊ตฌ๋ํ ์ ์๊ฒ ๋ง๋ค๊ณ vllm์ ์ฌ์ฉํ ์ ์๋ ํ๊ฒฝ์์๋ ๋ฒ์ญ์ด ๊ฐ๋ฅํ๋๋ก ์์ ํด์ผํฉ๋๋ค.
|
47 |
+
๊ณต๊ฐ๊ฐ ๋๋ฉด ์ฌ๊ธฐ์๋ ์
๋ฐ์ดํธ ํด๋๊ฒ ์ต๋๋ค.
|