Update README.md
Browse files
README.md
CHANGED
|
@@ -2,4 +2,22 @@
|
|
| 2 |
license: mit
|
| 3 |
language:
|
| 4 |
- zh
|
| 5 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 2 |
license: mit
|
| 3 |
language:
|
| 4 |
- zh
|
| 5 |
+
metrics:
|
| 6 |
+
- accuracy
|
| 7 |
+
- f1
|
| 8 |
+
- EM
|
| 9 |
+
---
|
| 10 |
+
|
| 11 |
+
## DRCD dataset
|
| 12 |
+
[台達閱讀理解資料集 Delta Reading Comprehension Dataset (DRCD)](https://github.com/DRCKnowledgeTeam/DRCD) 屬於通用領域繁體中文機器閱讀理解資料集。 DRCD資料集從2,108篇維基條目中整理出10,014篇段落，並從段落中標註出30,000多個問題。
|
| 13 |
+
|
| 14 |
+
## Available models
|
| 15 |
+
- mT5 (base on **[google/mt5-base](https://huggingface.co/google/mt5-base)**)
|
| 16 |
+
|
| 17 |
+
## Abstract
|
| 18 |
+
我們提出了Abstracting from Confusion（AFC），並利用DRCD資料集進行微調，微調10個Epoch。
|
| 19 |
+
|
| 20 |
+
在此實驗設計中，DRCD基準資料集中的每個問題，會搭配10個和問題最相近的段落，額外還有1個保證包含正確答案的最佳段落(The Best Passage)，在BERT閱讀器測試方面，每次進行閱讀理解測試時，是輸入問題和最佳段落，並對比閱讀器預測結果和標準答案之間的差異，計算出F1分數和EM分數。
|
| 21 |
+
對比閱讀器預測結果和標準答案之間的差異，計算出F1分數和EM分數，分別測試兩個閱讀器，我們可以發現AFC閱讀器的表現並不遜色於BERT閱讀器，甚至在分數表現上更好。
|
| 22 |
+
|
| 23 |
+
由此可推斷，基於Text-to-Text Generation概念實作出來的Extractor，在混雜資料上的表現，更優於Bert。
|