Sean Cho commited on
Commit
6104a0c
Β·
1 Parent(s): 6313532

update descriptions

Browse files
Files changed (1) hide show
  1. src/assets/text_content.py +5 -7
src/assets/text_content.py CHANGED
@@ -5,9 +5,9 @@ TITLE = """<h1 align="center" id="space-title">πŸš€ Open Ko-LLM Leaderboard</h1>
5
  INTRODUCTION_TEXT = f"""
6
  πŸš€ Open Ko-LLM LeaderboardλŠ” ν•œκ΅­μ–΄ μ΄ˆκ±°λŒ€ μ–Έμ–΄λͺ¨λΈμ˜ μ„±λŠ₯을 κ°κ΄€μ μœΌλ‘œ ν‰κ°€ν•©λ‹ˆλ‹€.
7
 
8
- "제좜" νŽ˜μ΄μ§€μ—μ„œ λͺ¨λΈ 제좜 μ‹œ μžλ™μœΌλ‘œ ν‰κ°€λ©λ‹ˆλ‹€. 평가에 μ‚¬μš©λ˜λŠ” GPUλŠ” KT의 μ§€μ›μœΌλ‘œ μš΄μ˜λ©λ‹ˆλ‹€.
9
- 평가에 μ‚¬μš©λ˜λŠ” λ°μ΄ν„°λŠ” μ „λ¬Έ 지식, μΆ”λ‘  λŠ₯λ ₯, ν™˜κ°, 윀리, μƒμ‹μ˜ 닀섯가지 μš”μ†Œλ₯Ό ν‰κ°€ν•˜κΈ° μœ„ν•œ λ°μ΄ν„°μ…‹μœΌλ‘œ κ΅¬μ„±λ˜μ–΄ μžˆμŠ΅λ‹ˆλ‹€.
10
- 벀치마크 데이터셋에 λŒ€ν•œ 더 μžμ„Έν•œ μ •λ³΄λŠ” "정보" νŽ˜μ΄μ§€μ—μ„œ 제곡되고 μžˆμŠ΅λ‹ˆλ‹€.
11
 
12
  μ—…μŠ€ν…Œμ΄μ§€μ™€ NIAκ°€ 곡동 μ£Όμ΅œν•˜λ©° μ—…μŠ€ν…Œμ΄μ§€κ°€ μš΄μ˜ν•©λ‹ˆλ‹€.
13
  """
@@ -29,14 +29,12 @@ LLM_BENCHMARKS_TEXT = f"""
29
 
30
  ## How it works
31
 
32
- πŸ“ˆ HuggingFace OpenLLMμ—μ„œ μš΄μ˜ν•˜λŠ” 4개의 νƒœμŠ€ν¬(HellaSwag, MMLU, Arc, Truthful QA)의 데이터λ₯Ό ν•œκ΅­μ–΄λ‘œ λ²ˆμ—­ν•œ 데이터셋을 λΉ„λ‘―ν•΄ 총 6κ°€μ§€μ˜ λ°μ΄ν„°λ‘œ 벀치마크λ₯Ό κ΅¬μ„±ν–ˆμŠ΅λ‹ˆλ‹€.
33
  - Ko-HellaSwag (μ—…μŠ€ν…Œμ΄μ§€ 제곡)
34
  - Ko-MMLU (μ—…μŠ€ν…Œμ΄μ§€ 제곡)
35
  - Ko-Arc (μ—…μŠ€ν…Œμ΄μ§€ 제곡)
36
  - Ko-Truthful QA (μ—…μŠ€ν…Œμ΄μ§€ 제곡)
37
- - KoCommongen (NIA ν•œκ΅­μ§€λŠ₯μ •λ³΄μ‚¬νšŒμ§„ν₯원 제곡)
38
- - ν…μŠ€νŠΈ μœ€λ¦¬κ²€μ¦ 데이터 (NIA ν•œκ΅­μ§€λŠ₯μ •λ³΄μ‚¬νšŒμ§„ν₯원 제곡)
39
- LLM μ‹œλŒ€μ— κ±Έλ§žλŠ” 평가λ₯Ό μœ„ν•΄ 상식, μ „λ¬Έ 지식, μΆ”λ‘ , ν™˜κ°, 윀리의 닀섯가지 μš”μ†Œλ₯Ό ν‰κ°€ν•˜κΈ°μ— μ ν•©ν•œ 데이터셋듀을 벀치마크둜 μ„ μ •ν–ˆμŠ΅λ‹ˆλ‹€. μ΅œμ’… μ μˆ˜λŠ” 6개의 평가 데이터에 λŒ€ν•œ 평균 점수둜 ν™˜μ‚°ν•©λ‹ˆλ‹€.
40
 
41
  KTλ‘œλΆ€ν„° 평가에 μ‚¬μš©λ˜λŠ” GPUλ₯Ό μ œκ³΅λ°›μ•˜μŠ΅λ‹ˆλ‹€.
42
 
 
5
  INTRODUCTION_TEXT = f"""
6
  πŸš€ Open Ko-LLM LeaderboardλŠ” ν•œκ΅­μ–΄ μ΄ˆκ±°λŒ€ μ–Έμ–΄λͺ¨λΈμ˜ μ„±λŠ₯을 κ°κ΄€μ μœΌλ‘œ ν‰κ°€ν•©λ‹ˆλ‹€.
7
 
8
+ "Submit here!" νŽ˜μ΄μ§€μ—μ„œ λͺ¨λΈ 제좜 μ‹œ μžλ™μœΌλ‘œ ν‰κ°€λ©λ‹ˆλ‹€. 평가에 μ‚¬μš©λ˜λŠ” GPUλŠ” KT의 μ§€μ›μœΌλ‘œ μš΄μ˜λ©λ‹ˆλ‹€.
9
+ 평가에 μ‚¬μš©λ˜λŠ” λ°μ΄ν„°λŠ” μ „λ¬Έ 지식, μΆ”λ‘  λŠ₯λ ₯, ν™˜κ°, 윀리의 λ„€ 가지 μš”μ†Œλ₯Ό ν‰κ°€ν•˜κΈ° μœ„ν•œ λ°μ΄ν„°μ…‹μœΌλ‘œ κ΅¬μ„±λ˜μ–΄ μžˆμŠ΅λ‹ˆλ‹€.
10
+ 벀치마크 데이터셋에 λŒ€ν•œ 더 μžμ„Έν•œ μ •λ³΄λŠ” "About" νŽ˜μ΄μ§€μ—μ„œ 제곡되고 μžˆμŠ΅λ‹ˆλ‹€.
11
 
12
  μ—…μŠ€ν…Œμ΄μ§€μ™€ NIAκ°€ 곡동 μ£Όμ΅œν•˜λ©° μ—…μŠ€ν…Œμ΄μ§€κ°€ μš΄μ˜ν•©λ‹ˆλ‹€.
13
  """
 
29
 
30
  ## How it works
31
 
32
+ πŸ“ˆ HuggingFace OpenLLMμ—μ„œ μš΄μ˜ν•˜λŠ” 4개의 νƒœμŠ€ν¬(HellaSwag, MMLU, Arc, Truthful QA)의 데이터λ₯Ό ν•œκ΅­μ–΄λ‘œ λ²ˆμ—­ν•œ λ°μ΄ν„°μ…‹μœΌλ‘œ 벀치마크λ₯Ό κ΅¬μ„±ν–ˆμŠ΅λ‹ˆλ‹€.
33
  - Ko-HellaSwag (μ—…μŠ€ν…Œμ΄μ§€ 제곡)
34
  - Ko-MMLU (μ—…μŠ€ν…Œμ΄μ§€ 제곡)
35
  - Ko-Arc (μ—…μŠ€ν…Œμ΄μ§€ 제곡)
36
  - Ko-Truthful QA (μ—…μŠ€ν…Œμ΄μ§€ 제곡)
37
+ LLM μ‹œλŒ€μ— κ±Έλ§žλŠ” 평가λ₯Ό μœ„ν•΄ μ „λ¬Έ 지식, μΆ”λ‘ , ν™˜κ°, 윀리의 λ„€ 가지 μš”μ†Œλ₯Ό ν‰κ°€ν•˜κΈ°μ— μ ν•©ν•œ 데이터셋듀을 벀치마크둜 μ„ μ •ν–ˆμŠ΅λ‹ˆλ‹€. μ΅œμ’… μ μˆ˜λŠ” 4개의 평가 데이터에 λŒ€ν•œ 평균 점수둜 ν™˜μ‚°ν•©λ‹ˆλ‹€.
 
 
38
 
39
  KTλ‘œλΆ€ν„° 평가에 μ‚¬μš©λ˜λŠ” GPUλ₯Ό μ œκ³΅λ°›μ•˜μŠ΅λ‹ˆλ‹€.
40