File size: 8,636 Bytes
735c370
427ee72
 
87e97e9
427ee72
1d24557
 
87e97e9
 
 
 
 
427ee72
 
 
 
735c370
1d24557
b86bbf1
1d24557
0c9af5c
1d24557
87e97e9
1d24557
87e97e9
1d24557
1038672
 
 
 
 
 
 
 
 
 
 
 
 
a241282
 
1038672
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1d24557
 
 
 
 
 
 
 
 
 
 
 
 
 
87e97e9
1d24557
 
 
 
 
 
87e97e9
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
---
language:
- ko
license: apache-2.0
library_name: transformers
tags:
- generated_from_trainer
- KoRWKV
- KoAlpaca
datasets:
- beomi/KoAlpaca-v1.1a
pipeline_tag: text-generation
base_model: beomi/KoRWKV-6B
model-index:
- name: KoRWKV-6B-koalpaca-v1.1a
  results: []
---

> 🚧 Note: this repo is under construction, current uploaded version is based on KoRWKV-6B, ~28Billion tokens trained ckpt 🚧

# 🐧 KoAlpaca-KoRWKV-6B (v1.1a)

This model is a fine-tuned version of [beomi/KoRWKV-6B](https://huggingface.co/beomi/KoRWKV-6B) on an [KoAlpaca v1.1a Dataset](https://huggingface.co/datasets/beomi/KoAlpaca-v1.1a).

Detail Codes are available at [KoAlpaca Github Repository](https://github.com/Beomi/KoAlpaca)

## Generation Code

### Install Requirements

```bash
pip install -U transformers tokenizers accelerate safetensors
```

### Generation Code with HF pipeline

```python
from transformers import pipeline

pipe = pipeline('text-generation', model='beomi/KoAlpaca-KoRWKV-6B', device=0)

def gen(x):
    a = pipe(
        f'### 질문: {x}\n\n### λ‹΅λ³€:', 
        max_new_tokens=1024, 
        return_full_text=False, 
        do_sample=True,
        top_p=0.9,
        temperature=0.7,
        early_stopping=True,
        repetition_penalty=1.2,
    )
    print(a[0]['generated_text'])
```

### Generated Samples

```
gen("였늘 기뢄은 μ’€ μ–΄λ•Œ?")

 μ˜€λŠ˜μ€ 기뢄이 쒋은 λ‚ μž…λ‹ˆλ‹€. μ™œλƒν•˜λ©΄, μ˜€λŠ˜μ€ 기쁜 일이 생길 수 μžˆλŠ” λ‚ μ΄λ‹ˆκΉŒμš”! 
1. 아침에 일찍 μΌμ–΄λ‚˜μ„œ κΈ°λΆ„ μ’‹μ•˜μŠ΅λ‹ˆλ‹€. 2. λ§›μžˆλŠ” μŒμ‹μ„ λ¨Ήμ–΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 3. μˆ˜μ—…μ‹œκ°„μ— μ—΄μ‹¬νžˆ λ“€μ–΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 4. μΉœκ΅¬κ°€ 생일 선물을 μ€˜μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 5. 내일이 ν† μš”μΌμ΄λΌμ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 6. μˆ™μ œλ₯Ό ν•΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 7. λΆ€λͺ¨λ‹˜κ»˜μ„œ 생일 μΆ•ν•˜ λ…Έλž˜λ₯Ό λΆˆλŸ¬μ€˜μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 8. λ°© μ²­μ†Œλ₯Ό ν•΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 9. λ§›μžˆλŠ” 과자λ₯Ό λ¨Ήμ–΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 10. 였늘 날씨λ₯Ό λ³΄λ‹ˆ λΉ„κ°€ μ•ˆμ™€μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 11. λΆ€λͺ¨λ‹˜μ΄ λ‚˜λ₯Ό μ‚¬λž‘ν•΄μ£Όμ…”μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 12. λΆ€λͺ¨λ‹˜κ³Ό ν•¨κ»˜ 외식을 ν•΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 13. μΉœκ΅¬λž‘ 같이 λ†€μ•„μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 14. 곡뢀λ₯Ό ν•΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 15. μˆ™μ œλ₯Ό 잘 ν•΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 16. λ§›μžˆλŠ” μŒμ‹μ„ λ¨Ήμ–΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 17. μΉœκ΅¬λ“€κ³Ό μ–΄μšΈλ € λ†€μ•„μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 18. λ‚΄κ°€ μ’‹μ•„ν•˜λŠ” 책을 μ½μ–΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 19. 였늘 ν•˜λ£¨ 쒅일 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 20. μ—„λ§ˆμ™€ μ•„λΉ κ°€ λ‚˜λ₯Ό μ‚¬λž‘ν•΄ μ£Όμ…”μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€.
```

```
gen("칸트의 μ •μ–Έλͺ…령에 λ”°λ₯Έλ‹€λŠ” 점이 일반적인 선함과 λ‹€λ₯Έ μ΄μœ κ°€ 뭐야?")

 μΉΈνŠΈλŠ” λ„λ•μ˜ 법칙을 두 κ°€μ§€λ‘œ κ΅¬λΆ„ν–ˆμŠ΅λ‹ˆλ‹€. 첫 번째 법칙은 'μ •μ–Έλͺ…λ Ή'으둜, 이 법칙은 μ–΄λ–€ μƒν™©μ—μ„œλ“  μ ˆλŒ€μ μœΌλ‘œ μ§€μΌœμ•Ό ν•˜λŠ” 보편적인 λ²•μΉ™μž…λ‹ˆλ‹€. 이에 따라 μΉΈνŠΈλŠ” "이성이 λͺ…λ Ήν•œ λŒ€λ‘œ ν–‰λ™ν•˜λΌ"λŠ” 원칙을 μ œμ‹œν–ˆμŠ΅λ‹ˆλ‹€. 
두 번째 법칙은 "λͺ¨λ“  인간은 ν‰λ“±ν•˜κ²Œ νƒœμ–΄λ‚¬κ³ , μ°½μ‘°μ£Όλ‘œλΆ€ν„° 양도할 수 μ—†λŠ” ꢌ리λ₯Ό λΆ€μ—¬λ°›μ•˜λ‹€"λŠ” κ²ƒμž…λ‹ˆλ‹€. 이 μ›μΉ™μ—λŠ” λͺ¨λ“  인간이 ν‰λ“±ν•˜κ³ , λͺ¨λ“  인간은 λ™λ“±ν•˜κ²Œ 쑴쀑받아야 ν•œλ‹€λŠ” μ˜λ―Έκ°€ 담겨 μžˆμŠ΅λ‹ˆλ‹€. μ΄λŸ¬ν•œ 칸트의 도덕 법칙을 λ”°λ₯΄λ©΄, 선함과 악함은 상황에 따라 λ‹€λ₯΄κ²Œ 적용될 수 μžˆμŠ΅λ‹ˆλ‹€. 예λ₯Ό λ“€μ–΄, λ²”μ£„μžλ‚˜ μž₯애인 λ“± νŠΉλ³„ν•œ μƒν™©μ—μ„œλŠ” 선이 될 수 μžˆλŠ” 상황이 μ‘΄μž¬ν•©λ‹ˆλ‹€.
```

```
gen("λ‹€μŒ 글을 μ˜μ–΄λ‘œ λ²ˆμ—­ν•΄μ£Όμ„Έμš”. μ˜μ–΄ λ¬Έμž₯: 'She looks handsome.' λ²ˆμ—­ ν•œκΈ€ λ¬Έμž₯:")

 "She looks handsome."은 μ§μ—­ν•˜λ©΄ "κ·Έλ…€λŠ” μž˜μƒκ²¨ λ³΄μž…λ‹ˆλ‹€"λΌλŠ” λœ»μ΄μ§€λ§Œ, ν•œκ΅­μ–΄λ‘œλŠ” "κ·Έλ…€λŠ” μ•„λ¦„λ‹€μ›Œ λ³΄μž…λ‹ˆλ‹€"둜 ν•΄μ„λ©λ‹ˆλ‹€. 이 λ¬Έμž₯은 μ›λž˜ 'The saddest thing'μ΄λΌλŠ” μ˜ν™”μ˜ OST 가사 쀑 μΌλΆ€λΆ„μž…λ‹ˆλ‹€. 이 μ˜ν™”λŠ” 제인 폰닀가 주연을 맑은 μž‘ν’ˆμœΌλ‘œ, κ·Έλ…€κ°€ 맀λ ₯적인 λ―Έλͺ¨μ™€ λͺΈλ§€λ₯Ό 가지고 μžˆμ§€λ§Œ λΆˆν–‰ν•œ 삢을 μ‚¬λŠ” μ—¬μ„±μ˜ λͺ¨μŠ΅μ„ 그리고 μžˆμŠ΅λ‹ˆλ‹€. λ”°λΌμ„œ κ·Έλ…€λŠ” μ•„λ¦„λ‹΅μ§€λ§Œ λΆˆν–‰ν•΄λ³΄μ΄λŠ” λͺ¨μŠ΅μ΄λΌλŠ” μ˜λ―Έμ—μ„œ μ‚¬μš©λ˜μ—ˆμŠ΅λ‹ˆλ‹€.
```

```
gen("μ„œμšΈμ΄ μΈκΈ°μžˆλŠ” λ„μ‹œμΈ μ΄μœ λŠ”?")

 μ„œμšΈμ€ λ§Žμ€ μ‚¬λžŒλ“€μ΄ κ±°μ£Όν•˜κ³  μžˆλŠ” λŒ€λ„μ‹œμ΄κΈ° λ•Œλ¬Έμž…λ‹ˆλ‹€. λ˜ν•œ, λ‹€λ₯Έ λ‚˜λΌμ—μ„œλŠ” μ„œμšΈλ³΄λ‹€ 더 큰 λŒ€λ„μ‹œλ“€μ΄ 많이 μžˆμ§€λ§Œ, μˆ˜λ„κ°€ μ„œμšΈμ— μœ„μΉ˜ν•œ λ‚˜λΌλŠ” μ—†μŠ΅λ‹ˆλ‹€. μ΄λŠ” μ„œμšΈμ˜ λ„μ‹œ 규λͺ¨κ°€ 크고 ꡐ톡과 톡신 λ“± 인프라가 잘 κ΅¬μΆ•λ˜μ–΄ 있기 λ•Œλ¬Έμž…λ‹ˆλ‹€. 
 μΆ”κ°€ μ„€λͺ…: 
μ„œμšΈμ˜ μΈκ΅¬λ‚˜ μœ λ™μΈκ΅¬ 등을 μ‚΄νŽ΄λ³΄λ©΄, μ„œμšΈμ„ λ°©λ¬Έν•˜λŠ” 외ꡭ인 관광객도 맀우 λ§ŽμŠ΅λ‹ˆλ‹€. μ΄λŸ¬ν•œ 이유둜 μ„œμšΈμ€ ν•œκ΅­ λ‚΄μ—μ„œ κ°€μž₯ 인기 μžˆλŠ” λ„μ‹œ 쀑 ν•˜λ‚˜λ‘œ 자리작고 μžˆμŠ΅λ‹ˆλ‹€.
```

```
gen("칸트 μ² ν•™μ˜ μ˜ˆμ‹œλ₯Ό λ“€κ³ , ν•΄λ‹Ή 철학이 κ°€μ§€λŠ” 의의λ₯Ό 3가지 μ•Œλ €μ€˜.")

 μΉΈνŠΈλŠ” μΈκ°„μ˜ 지식을 κ²½ν—˜λ‘ μ  μž…μž₯μ—μ„œ λΆ„μ„ν•˜κ³  μ’…ν•©ν•˜μ—¬ 도덕철학을 μ •λ¦½ν•˜μ˜€μŠ΅λ‹ˆλ‹€. 이 κ³Όμ •μ—μ„œ κ·ΈλŠ” λͺ¨λ“  인간은 이성을 가지고 있으며, 도덕법칙을 인식할 수 μžˆλ‹€κ³  λ³΄μ•˜μŠ΅λ‹ˆλ‹€. μ΄λŸ¬ν•œ 인간 μ΄μ„±μ˜ κΈ°λŠ₯을 톡해, μΉΈνŠΈλŠ” 'μ‹€μ²œμ΄μ„±'κ³Ό 'νŒλ‹¨λ ₯'을 μ€‘μ‹œν•©λ‹ˆλ‹€. 즉, μ΄μ„±μ μœΌλ‘œ νŒλ‹¨ν•˜μ—¬ μ˜¬λ°”λ₯Έ νŒλ‹¨μ„ 내릴 수 μžˆλŠ” λŠ₯λ ₯이 μΈκ°„μ—κ²ŒλŠ” μžˆλ‹€λŠ” κ²ƒμž…λ‹ˆλ‹€. λ˜ν•œ, μΉΈνŠΈλŠ” 인간이 가진 μ„ μ²œμ μΈ 관념둠적 사고방식을 κ±°λΆ€ν•˜κ³ , κ²½ν—˜μ„ ν†΅ν•œ μ‹€μ²œμ μΈ μ‚¬κ³ λ°©μ‹μœΌλ‘œμ„œμ˜ 이성을 κ°•μ‘°ν•©λ‹ˆλ‹€. 
 μΆ”κ°€ μ„€λͺ…:
칸트의 철학은 ν˜•μ΄μƒν•™, 인식둠, μœ€λ¦¬ν•™, μ •μΉ˜ν•™ λ“± λ‹€μ–‘ν•œ λΆ„μ•Όμ—μ„œ 영ν–₯을 미치고 μžˆμŠ΅λ‹ˆλ‹€. 특히, κ·ΈλŠ” κ²½ν—˜λ‘ κ³Ό ν•©λ¦¬λ‘ μ˜ λŒ€λ¦½μœΌλ‘œ 인해 λΆ„μ—΄λœ 유럽의 사상계λ₯Ό ν†΅ν•©ν•˜μ—¬ μƒˆλ‘œμš΄ 철학을 μ œμ‹œν•˜κ³ μž λ…Έλ ₯ν•˜μ˜€μŠ΅λ‹ˆλ‹€. 이λ₯Ό 톡해 κ·ΌλŒ€ 철학에 큰 영ν–₯을 μ£Όμ—ˆμœΌλ©°, ν˜„μž¬λŠ” κ·Έ 영ν–₯λ ₯이 μ—¬μ „νžˆ μœ μ§€λ˜κ³  μžˆμŠ΅λ‹ˆλ‹€.
```

```
gen("λ¦¬νŠ¬μ΄μ˜¨μ „μ§€μ—μ„œ λ°œμƒν•˜λŠ” ν™”ν•™ ν˜„μƒμ„ 화학식을 기반으둜 μžμ„Ένžˆ μ„€λͺ…ν•΄μ£Όμ„Έμš”.")

 λ¦¬νŠ¬μ΄μ˜¨μ „μ§€λŠ” μ–‘κ·Ήκ³Ό 음극 사이에 μžˆλŠ” 뢄리막을 톡해 이온이 μ΄λ™ν•˜λ©΄μ„œ μΆ©μ „κ³Ό 방전을 ν•˜λŠ” μ›λ¦¬λ‘œ μž‘λ™ν•©λ‹ˆλ‹€. λ”°λΌμ„œ, μ „κ·Ήμ˜ λ°˜μ‘μ— μ˜ν•΄ ν™”ν•™ λ°˜μ‘μ΄ μΌμ–΄λ‚©λ‹ˆλ‹€. 
1. λ¦¬νŠ¬μ΄μ˜¨μ „μ§€ λ‚΄λΆ€μ—λŠ” λ¦¬νŠ¬μ΄μ˜¨λ“€μ΄ μ΄λ™ν•˜κΈ° μœ„ν•œ ν†΅λ‘œκ°€ μžˆλŠ”λ°, 이λ₯Ό μ „ν•΄μ§ˆμ΄λΌκ³  ν•©λ‹ˆλ‹€. 즉, 앑체 μ „ν•΄μ§ˆμ„ μ±„μš°κ³  μžˆλŠ” μ΄μ˜¨λ“€μ˜ 농도 차이 λ•Œλ¬Έμ— μ „κ·Ήμ—μ„œ μ „μžκ°€ μ΄λ™ν•˜λŠ” κ²ƒμž…λ‹ˆλ‹€. μ΄λ•Œ μ „ν•΄μ§ˆμ€ 물질이 μ•„λ‹Œ ν™”ν•™λ°˜μ‘μ„ μΌμœΌν‚€λŠ” 역할을 ν•©λ‹ˆλ‹€. 2. μŒκ·Ήμ€ μ „μžλ₯Ό λ°›μ•„ 이온으둜 μƒμ„±ν•˜λŠ” λΆ€λΆ„μž…λ‹ˆλ‹€. 3. μŒκ·Ήμ—μ„œλŠ” μ‚°ν™” ν™˜μ› λ°˜μ‘μ„ 톡해 μ „μžμ™€ μˆ˜μ†Œ 이온이 μ΄λ™ν•˜λ©°, 이λ₯Ό 톡해 μ „κΈ°κ°€ λ°œμƒν•©λ‹ˆλ‹€. 4. μ „μžλŠ” μŒκ·Ήμ—μ„œ μ–‘κ·ΉμœΌλ‘œ μ΄λ™ν•˜λ©°, μ΄λŠ” μ „μžμ˜ 흐름이며, 이λ₯Ό 톡해 μ „λ₯˜κ°€ 흐λ₯΄κ²Œ λ©λ‹ˆλ‹€. 5. μ „μžλŠ” μ–‘κ·Ήμ—μ„œ 음극으둜 μ΄λ™ν•˜λŠ”λ°, μ΄λŠ” μ „μžκ°€ μ „μžμ΄λ™μ„ ν•˜λ©΄μ„œ λ°œμƒν•œ μš΄λ™μ—λ„ˆμ§€λ‘œ 인해 λ°œμƒν•©λ‹ˆλ‹€. 6. μ „κΈ°μ μœΌλ‘œ κ°€μž₯ μ•ˆμ •λœ μƒνƒœμΈ λ¦¬νŠ¬μ΄μ˜¨μ€ κ°€μž₯ 높은 μ˜¨λ„(μ•½ 700도)μ—μ„œλ„ 잘 κ²¬λ”œ 수 μžˆμŠ΅λ‹ˆλ‹€.
```

```
gen("투자 μ΄ˆμ‹¬μžκ°€ ν•˜κΈ° 쒋은 μ„ λ¬Ό 투자 μ’…λ₯˜λ₯Ό μ•Œλ €μ£Όμ„Έμš”.")

 주식, μ±„κΆŒ, 금, μ›μœ  λ“± λ‹€μ–‘ν•œ μƒν’ˆμ΄ μžˆμŠ΅λ‹ˆλ‹€. 
1. 주식 (μ£Όμ‹νˆ¬μž) - μž₯기적인 κ΄€μ μ—μ„œ νˆ¬μžν•  λ•Œ μ ν•©ν•œ μƒν’ˆμž…λ‹ˆλ‹€.
2. 금 (금투자) - μ•ˆμ „ν•œ 투자λ₯Ό μ›ν•˜λŠ” μ‚¬λžŒμ—κ²Œ μ’‹μŠ΅λ‹ˆλ‹€.
3. μ›μœ  (μ›μžμž¬νˆ¬μž) - μ•ˆμ •μ μΈ 수읡과 가격 변동성이 μ μŠ΅λ‹ˆλ‹€.
4. 뢀동산 (λΆ€λ™μ‚°νˆ¬μž) - μΈν”Œλ ˆμ΄μ…˜μ΄ λ°œμƒν•˜λŠ” μ‹œκΈ°μ— κ°€μž₯ μ ν•©ν•œ 투자 방법 쀑 ν•˜λ‚˜μž…λ‹ˆλ‹€.
5. λ³΄ν—˜ (λ³΄ν—˜νˆ¬μž) - 보μž₯μžμ‚°μ— λŒ€ν•œ λ‹ˆμ¦ˆκ°€ μžˆλŠ” μ‚¬λžŒμ—κ²Œ μ ν•©ν•œ μƒν’ˆμž…λ‹ˆλ‹€.
```


## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 2e-05
- train_batch_size: 1
- seed: 42
- gradient_accumulation_steps: 8
- total_train_batch_size: 8
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 1.0
- mixed_precision_training: Native AMP
- Trained on 1x H100(80G PCI-E) GPU

### Framework versions

- Transformers 4.29.2
- Pytorch 1.13.1
- Datasets 2.12.0
- Tokenizers 0.13.3