Upload results/evaluation with huggingface_hub

results/evaluation/general_evaluation_results.txt

@@ -0,0 +1,189 @@
+--- Bagian tentang question type ---
+-- Bagian tentang question type yang terprediksi BENAR --
+Banyak pertanyaan APA: 203, sebesar: 23.94 %
+Banyak pertanyaan DIMANA: 37, sebesar: 4.36 %
+Banyak pertanyaan KAPAN: 148, sebesar: 17.45 %
+Banyak pertanyaan SIAPA: 59, sebesar: 6.96 %
+Banyak pertanyaan BAGAIMANA: 10, sebesar: 1.18 %
+Banyak pertanyaan KENAPA: 7, sebesar: 0.83 %
+Banyak pertanyaan BERAPA: 91, sebesar: 10.73 %
+Banyak pertanyaan LAINNYA: 110, sebesar: 12.97 %
+
+-- Bagian tentang question type yang terprediksi SALAH --
+Banyak pertanyaan APA: 65, sebesar: 7.67 %
+Banyak pertanyaan DIMANA: 12, sebesar: 1.42 %
+Banyak pertanyaan KAPAN: 25, sebesar: 2.95 %
+Banyak pertanyaan SIAPA: 17, sebesar: 2.0 %
+Banyak pertanyaan BAGAIMANA: 2, sebesar: 0.24 %
+Banyak pertanyaan KENAPA: 1, sebesar: 0.12 %
+Banyak pertanyaan BERAPA: 20, sebesar: 2.36 %
+Banyak pertanyaan LAINNYA: 41, sebesar: 4.83 %
+
+-- Presentase kebenaran --
+Banyak pertanyaan APA yang terpediksi benar sebesar: 75.75 %
+Banyak pertanyaan DIMANA yang terpediksi benar sebesar: 75.51 %
+Banyak pertanyaan KAPAN yang terpediksi benar sebesar: 85.55 %
+Banyak pertanyaan SIAPA yang terpediksi benar sebesar: 77.63 %
+Banyak pertanyaan BAGAIMANA yang terpediksi benar sebesar: 83.33 %
+Banyak pertanyaan KENAPA yang terpediksi benar sebesar: 87.5 %
+Banyak pertanyaan BERAPA yang terpediksi benar sebesar: 81.98 %
+Banyak pertanyaan LAINNYA yang terpediksi benar sebesar: 72.85 %
+
+--- Bagian tentang panjang context ---
+-- Bagian tentang panjang context yang terprediksi BENAR --
+Panjang konteks < 100: 524, sebesar: 61.79 %
+Panjang konteks 101 <= x <= 150: 141, sebesar: 16.63 %
+Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
+Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
+Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
+Panjang konteks > 300: 0, sebesar: 0.0 %
+
+-- Bagian tentang panjang context yang terprediksi SALAH --
+Panjang konteks < 100: 129, sebesar: 15.21 %
+Panjang konteks 101 <= x <= 150: 54, sebesar: 6.37 %
+Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
+Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
+Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
+Panjang konteks > 300: 0, sebesar: 0.0 %
+
+-- Presentase kebenaran --
+Panjang konteks < 100 yang terprediksi benar sebesar: 80.25 %
+Panjang konteks 101 <= x <= 150 yang terprediksi benar sebesar: 72.31 %
+Panjang konteks 151 <= x <= 200 yang terprediksi benar sebesar: 0 %
+Panjang konteks 201 <= x <= 250 yang terprediksi benar sebesar: 0 %
+Panjang konteks 251 <= x <= 300 yang terprediksi benar sebesar: 0 %
+Panjang konteks > 300 yang terprediksi benar sebesar: 0 %
+
+--- Bagian tentang panjang question ---
+-- Bagian tentang panjang question yang terprediksi BENAR --
+Panjang question 1 <= x <= 5: 314, sebesar: 37.03 %
+Panjang question 6 <= x <= 10: 351, sebesar: 41.39 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Bagian tentang panjang question yang terprediksi SALAH --
+Panjang question 1 <= x <= 5: 92, sebesar: 10.85 %
+Panjang question 6 <= x <= 10: 91, sebesar: 10.73 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Presentase kebenaran --
+Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 77.34 %
+Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 79.41 %
+Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
+Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
+Panjang question > 20 yang terprediksi benar sebesar: 0 %
+
+--- Bagian tentang panjang gold answer ---
+-- Bagian tentang panjang gold answer yang terprediksi BENAR --
+Panjang question 1 <= x <= 5: 609, sebesar: 71.82 %
+Panjang question 6 <= x <= 10: 56, sebesar: 6.6 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Bagian tentang panjang gold answer yang terprediksi SALAH --
+Panjang question 1 <= x <= 5: 125, sebesar: 14.74 %
+Panjang question 6 <= x <= 10: 58, sebesar: 6.84 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Presentase kebenaran --
+Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 82.97 %
+Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 49.12 %
+Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
+Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
+Panjang question > 20 yang terprediksi benar sebesar: 0 %
+
+--- Bagian tentang answer type ---
+-- Bagian tentang answer type yang terprediksi BENAR --
+Banyak answer type Person sebanyak: 39, sekitar 4.281009879253568 %
+Banyak answer type NORP sebanyak: 4, sekitar 0.43907793633369924 %
+Banyak answer type Facility sebanyak: 1, sekitar 0.10976948408342481 %
+Banyak answer type Organization sebanyak: 6, sekitar 0.6586169045005488 %
+Banyak answer type Geo-Political Entity sebanyak: 36, sekitar 3.951701427003293 %
+Banyak answer type Location sebanyak: 12, sekitar 1.3172338090010975 %
+Banyak answer type Product sebanyak: 21, sekitar 2.305159165751921 %
+Banyak answer type Event sebanyak: 4, sekitar 0.43907793633369924 %
+Banyak answer type Work of Art sebanyak: 3, sekitar 0.3293084522502744 %
+Banyak answer type Law sebanyak: 1, sekitar 0.10976948408342481 %
+Banyak answer type Language sebanyak: 2, sekitar 0.21953896816684962 %
+Banyak answer type Date sebanyak: 67, sekitar 7.354555433589462 %
+Banyak answer type Time sebanyak: 1, sekitar 0.10976948408342481 %
+Banyak answer type Percent sebanyak: 1, sekitar 0.10976948408342481 %
+Banyak answer type Money sebanyak: 2, sekitar 0.21953896816684962 %
+Banyak answer type Quantity sebanyak: 23, sekitar 2.5246981339187706 %
+Banyak answer type Ordinal sebanyak: 9, sekitar 0.9879253567508233 %
+Banyak answer type Cardinal sebanyak: 15, sekitar 1.646542261251372 %
+Banyak answer type REG sebanyak: 5, sekitar 0.5488474204171241 %
+Banyak answer type Null sebanyak: 442, sekitar 48.51811196487377 %
+
+-- Bagian tentang answer type yang terprediksi SALAH --
+Banyak answer type Person sebanyak: 25, sekitar 2.7442371020856204 %
+Banyak answer type NORP sebanyak: 5, sekitar 0.5488474204171241 %
+Banyak answer type Facility sebanyak: 1, sekitar 0.10976948408342481 %
+Banyak answer type Organization sebanyak: 3, sekitar 0.3293084522502744 %
+Banyak answer type Geo-Political Entity sebanyak: 24, sekitar 2.634467618002195 %
+Banyak answer type Location sebanyak: 13, sekitar 1.4270032930845227 %
+Banyak answer type Product sebanyak: 9, sekitar 0.9879253567508233 %
+Banyak answer type Event sebanyak: 6, sekitar 0.6586169045005488 %
+Banyak answer type Work of Art sebanyak: 4, sekitar 0.43907793633369924 %
+Banyak answer type Law sebanyak: 0, sekitar 0.0 %
+Banyak answer type Language sebanyak: 0, sekitar 0.0 %
+Banyak answer type Date sebanyak: 16, sekitar 1.756311745334797 %
+Banyak answer type Time sebanyak: 0, sekitar 0.0 %
+Banyak answer type Percent sebanyak: 1, sekitar 0.10976948408342481 %
+Banyak answer type Money sebanyak: 1, sekitar 0.10976948408342481 %
+Banyak answer type Quantity sebanyak: 10, sekitar 1.0976948408342482 %
+Banyak answer type Ordinal sebanyak: 1, sekitar 0.10976948408342481 %
+Banyak answer type Cardinal sebanyak: 14, sekitar 1.5367727771679474 %
+Banyak answer type REG sebanyak: 9, sekitar 0.9879253567508233 %
+Banyak answer type Null sebanyak: 75, sekitar 8.232711306256862 %
+
+-- Presentase kebenaran --
+Banyak answer type Person yang terprediksi benar sebesar: 60.94 %
+Banyak answer type NORP yang terprediksi benar sebesar: 44.44 %
+Banyak answer type Facility yang terprediksi benar sebesar: 50.0 %
+Banyak answer type Organization yang terprediksi benar sebesar: 66.67 %
+Banyak answer type Geo-Political Entity yang terprediksi benar sebesar: 60.0 %
+Banyak answer type Location yang terprediksi benar sebesar: 48.0 %
+Banyak answer type Product yang terprediksi benar sebesar: 70.0 %
+Banyak answer type Event yang terprediksi benar sebesar: 40.0 %
+Banyak answer type Work of Art yang terprediksi benar sebesar: 42.86 %
+Banyak answer type Law yang terprediksi benar sebesar: 0 %
+Banyak answer type Language yang terprediksi benar sebesar: 0 %
+Banyak answer type Date yang terprediksi benar sebesar: 80.72 %
+Banyak answer type Time yang terprediksi benar sebesar: 0 %
+Banyak answer type Percent yang terprediksi benar sebesar: 50.0 %
+Banyak answer type Money yang terprediksi benar sebesar: 66.67 %
+Banyak answer type Quantity yang terprediksi benar sebesar: 69.7 %
+Banyak answer type Ordinal yang terprediksi benar sebesar: 90.0 %
+Banyak answer type Cardinal yang terprediksi benar sebesar: 51.72 %
+Banyak answer type REG yang terprediksi benar sebesar: 35.71 %
+Banyak answer type Null yang terprediksi benar sebesar: 85.49 %
+
+--- Bagian tentang reasoning type ---
+-- Bagian tentang reasoning type yang terprediksi BENAR --
+Banyak reasoning type berjenis WM sebanyak: 8, sebesar: 8.0 %
+Banyak reasoning type berjenis PP sebanyak: 8, sebesar: 8.0 %
+Banyak reasoning type berjenis SSR sebanyak: 2, sebesar: 2.0 %
+Banyak reasoning type berjenis MSR sebanyak: 10, sebesar: 10.0 %
+Banyak reasoning type berjenis AoI sebanyak: 53, sebesar: 53.0 %
+
+-- Bagian tentang reasoning type yang terprediksi SALAH --
+Banyak reasoning type berjenis WM sebanyak: 2, sebesar: 2.0 %
+Banyak reasoning type berjenis PP sebanyak: 1, sebesar: 1.0 %
+Banyak reasoning type berjenis SSR sebanyak: 3, sebesar: 3.0 %
+Banyak reasoning type berjenis MSR sebanyak: 3, sebesar: 3.0 %
+Banyak reasoning type berjenis AoI sebanyak: 10, sebesar: 10.0 %
+
+-- Presentase kebenaran --
+Banyak reasoning type berjenis WM yang terprediksi benar sebesar: 80.0 %
+Banyak reasoning type berjenis PP yang terprediksi benar sebesar: 88.89 %
+Banyak reasoning type berjenis SSR yang terprediksi benar sebesar: 40.0 %
+Banyak reasoning type berjenis MSR yang terprediksi benar sebesar: 76.92 %
+Banyak reasoning type berjenis AoI yang terprediksi benar sebesar: 84.13 %
+

results/evaluation/metric_result.txt

@@ -0,0 +1 @@
+{'exact_match': 78.30188679245283, 'f1': 85.14123349509008}