Update README.md
Browse files
README.md
CHANGED
@@ -18,7 +18,7 @@ pipeline_tag: text-generation
|
|
18 |
|
19 |
|
20 |
AI ์ ๋น
๋ฐ์ดํฐ ๋ถ์ ์ ๋ฌธ ๊ธฐ์
์ธ Linkbricks์ ๋ฐ์ดํฐ์ฌ์ด์ธํฐ์คํธ์ธ ์ง์ค์ฑ ๋ฐ์ฌ(Saxo)๊ฐ meta-llama/Meta-Llama-3-8B๋ฅผ ๋ฒ ์ด์ค๋ชจ๋ธ๋ก GCP์์ H100-80G 8๊ฐ๋ฅผ ํตํด SFT-DPO ํ๋ จ์ ํ(8000 Tokens) ํ๊ธ ๊ธฐ๋ฐ ๋ชจ๋ธ.
|
21 |
-
ํ ํฌ๋์ด์ ๋ ๋ผ๋ง3๋ ๋์ผํ๋ฉฐ ํ๊ธ VOCA ํ์ฅ์ ํ์ง ์์ ๋ฒ์ ์
๋๋ค. ํ๊ธ์ด 20๋ง๊ฐ ์ด์ ํฌํจ๋ ํ๊ธ์ ์ฉ ํ ํฌ๋์ด์ ๋ชจ๋ธ์ ๋ณ๋ ์ฐ๋ฝ
|
22 |
|
23 |
Dr. Yunsung Ji (Saxo), a data scientist at Linkbricks, a company specializing in AI and big data analytics, trained the meta-llama/Meta-Llama-3-8B base model on 8 H100-60Gs on GCP for 4 hours of instructional training (8000 Tokens).
|
24 |
Accelerate, Deepspeed Zero-3 libraries were used.
|
|
|
18 |
|
19 |
|
20 |
AI ์ ๋น
๋ฐ์ดํฐ ๋ถ์ ์ ๋ฌธ ๊ธฐ์
์ธ Linkbricks์ ๋ฐ์ดํฐ์ฌ์ด์ธํฐ์คํธ์ธ ์ง์ค์ฑ ๋ฐ์ฌ(Saxo)๊ฐ meta-llama/Meta-Llama-3-8B๋ฅผ ๋ฒ ์ด์ค๋ชจ๋ธ๋ก GCP์์ H100-80G 8๊ฐ๋ฅผ ํตํด SFT-DPO ํ๋ จ์ ํ(8000 Tokens) ํ๊ธ ๊ธฐ๋ฐ ๋ชจ๋ธ.
|
21 |
+
ํ ํฌ๋์ด์ ๋ ๋ผ๋ง3๋ ๋์ผํ๋ฉฐ ํ๊ธ VOCA ํ์ฅ์ ํ์ง ์์ ๋ฒ์ ์
๋๋ค. ํ๊ธ์ด 20๋ง๊ฐ ์ด์ ํฌํจ๋ ํ๊ธ์ ์ฉ ํ ํฌ๋์ด์ ๋ชจ๋ธ์ ๋ณ๋ ์ฐ๋ฝ ์ฃผ์๊ธฐ ๋ฐ๋๋๋ค.
|
22 |
|
23 |
Dr. Yunsung Ji (Saxo), a data scientist at Linkbricks, a company specializing in AI and big data analytics, trained the meta-llama/Meta-Llama-3-8B base model on 8 H100-60Gs on GCP for 4 hours of instructional training (8000 Tokens).
|
24 |
Accelerate, Deepspeed Zero-3 libraries were used.
|