Hugging Face's logo

akhooli
/
setfit_ar_ubc_hs

Text Classification
setfit
Safetensors
sentence-transformers
bert
generated_from_setfit_trainer
Eval Results
Model card Files Community
akhooli commited on
Commit
8800f9d
•
1 Parent(s): 6f885ba

Push model using huggingface_hub.

Browse files
Files changed (3) hide show
  1. README.md +75 -76
  2. model.safetensors +1 -1
  3. model_head.pkl +1 -1
README.md CHANGED
@@ -10,14 +10,13 @@ tags:
10
  - text-classification
11
  - generated_from_setfit_trainer
12
  widget:
13
- - text: عيب يا كلبة لما تجيبي سيرة مصر وتقولي عليها شعب فقير ومشرد يا لبنانيين يا
14
- انجاس, فعلا ده انتو شعب كلاب
15
- - text: قوية
16
- - text: '#لو_ينقطع_المكياج
17
-
18
- اتوقع في هالزمن الذكور اللي بيبكون عليه مو البنات😂😂'
19
- - text: كول هوا وسد بوزك معلمك لجاسوس لمجرم بدو شد شعر لشايب
20
- - text: هاد سعودي ، وانت خليك بحالك يا سوري ولا انت تقليد سوري
21
  inference: true
22
  model-index:
23
  - name: SetFit with akhooli/sbert_ar_nli_500k_ubc_norm
@@ -31,7 +30,7 @@ model-index:
31
  split: test
32
  metrics:
33
  - type: accuracy
34
- value: 0.858508604206501
35
  name: Accuracy
36
  ---
37
 
@@ -63,17 +62,17 @@ The model has been trained using an efficient few-shot learning technique that i
63
  - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
64
 
65
  ### Model Labels
66
- | Label | Examples |
67
- |:---------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
68
- | negative | <ul><li>'نحن نثق بال قضاء اللبناني'</li><li>'مابين السطور.....\nالمنطقة الآمنة ستكون منطقة آمنة برعاية أمريكية لحماية الأكراد من تركيا.....'</li><li>'لم يكن خطاب الوزير جبران باسيل في إفتتاح القمة الإقتصادية بمستوى تطلعات اللبنانيين فبدل أن يركز لإطلاع الوفود على ما يع...'</li></ul> |
69
- | positive | <ul><li>'هيدا العلم صار مماسح للصرامي انت عايشه بكوكب تاني حالتك بالويل الشهره مش هيك وحياتك لما بتك...'</li><li>'سليل الحسب فعلا سليل الجحش ابن الجحش ابن الوحش سليله حيونه بامتياز'</li><li>'سارقا من عند اومك مش شايف قديش بتشبها هيدي كانت تقعدك عليها لما تعزب يا نوتي ونسيت قلك كول هوا'</li></ul> |
70
 
71
  ## Evaluation
72
 
73
  ### Metrics
74
  | Label | Accuracy |
75
  |:--------|:---------|
76
- | **all** | 0.8585 |
77
 
78
  ## Uses
79
 
@@ -93,7 +92,7 @@ from setfit import SetFitModel
93
  # Download from the 🤗 Hub
94
  model = SetFitModel.from_pretrained("akhooli/setfit_ar_ubc_hs")
95
  # Run inference
96
- preds = model("قوية")
97
  ```
98
 
99
  <!--
@@ -125,12 +124,12 @@ preds = model("قوية")
125
  ### Training Set Metrics
126
  | Training set | Min | Median | Max |
127
  |:-------------|:----|:--------|:----|
128
- | Word count | 1 | 14.4687 | 102 |
129
 
130
  | Label | Training Sample Count |
131
  |:---------|:----------------------|
132
- | negative | 2669 |
133
- | positive | 3200 |
134
 
135
  ### Training Hyperparameters
136
  - batch_size: (32, 32)
@@ -147,74 +146,74 @@ preds = model("قوية")
147
  - warmup_proportion: 0.1
148
  - l2_weight: 0.01
149
  - seed: 42
150
- - run_name: setfit_hate_32kv8
151
  - eval_max_steps: -1
152
  - load_best_model_at_end: False
153
 
154
  ### Training Results
155
  | Epoch | Step | Training Loss | Validation Loss |
156
  |:------:|:----:|:-------------:|:---------------:|
157
- | 0.0003 | 1 | 0.3058 | - |
158
- | 0.0333 | 100 | 0.2672 | - |
159
- | 0.0667 | 200 | 0.2144 | - |
160
- | 0.1 | 300 | 0.1601 | - |
161
- | 0.1333 | 400 | 0.1131 | - |
162
- | 0.1667 | 500 | 0.0806 | - |
163
- | 0.2 | 600 | 0.0571 | - |
164
- | 0.2333 | 700 | 0.0382 | - |
165
- | 0.2667 | 800 | 0.0261 | - |
166
- | 0.3 | 900 | 0.0241 | - |
167
- | 0.3333 | 1000 | 0.0187 | - |
168
- | 0.3667 | 1100 | 0.0134 | - |
169
- | 0.4 | 1200 | 0.0155 | - |
170
- | 0.4333 | 1300 | 0.0128 | - |
171
- | 0.4667 | 1400 | 0.0114 | - |
172
- | 0.5 | 1500 | 0.0083 | - |
173
- | 0.5333 | 1600 | 0.0076 | - |
174
- | 0.5667 | 1700 | 0.007 | - |
175
- | 0.6 | 1800 | 0.006 | - |
176
- | 0.6333 | 1900 | 0.0065 | - |
177
- | 0.6667 | 2000 | 0.0037 | - |
178
- | 0.7 | 2100 | 0.0039 | - |
179
- | 0.7333 | 2200 | 0.0029 | - |
180
- | 0.7667 | 2300 | 0.0024 | - |
181
- | 0.8 | 2400 | 0.003 | - |
182
- | 0.8333 | 2500 | 0.0023 | - |
183
- | 0.8667 | 2600 | 0.0018 | - |
184
- | 0.9 | 2700 | 0.0022 | - |
185
- | 0.9333 | 2800 | 0.0021 | - |
186
- | 0.9667 | 2900 | 0.003 | - |
187
  | 1.0 | 3000 | 0.002 | - |
188
- | 1.0333 | 3100 | 0.0019 | - |
189
  | 1.0667 | 3200 | 0.0022 | - |
190
- | 1.1 | 3300 | 0.0015 | - |
191
- | 1.1333 | 3400 | 0.0013 | - |
192
- | 1.1667 | 3500 | 0.0013 | - |
193
- | 1.2 | 3600 | 0.0011 | - |
194
- | 1.2333 | 3700 | 0.0008 | - |
195
- | 1.2667 | 3800 | 0.001 | - |
196
- | 1.3 | 3900 | 0.0006 | - |
197
  | 1.3333 | 4000 | 0.0013 | - |
198
- | 1.3667 | 4100 | 0.0008 | - |
199
- | 1.4 | 4200 | 0.0016 | - |
200
- | 1.4333 | 4300 | 0.0005 | - |
201
- | 1.4667 | 4400 | 0.0009 | - |
202
- | 1.5 | 4500 | 0.0009 | - |
203
- | 1.5333 | 4600 | 0.0008 | - |
204
- | 1.5667 | 4700 | 0.0008 | - |
205
- | 1.6 | 4800 | 0.001 | - |
206
- | 1.6333 | 4900 | 0.0008 | - |
207
- | 1.6667 | 5000 | 0.0006 | - |
208
- | 1.7 | 5100 | 0.0002 | - |
209
- | 1.7333 | 5200 | 0.0006 | - |
210
- | 1.7667 | 5300 | 0.0006 | - |
211
- | 1.8 | 5400 | 0.0004 | - |
212
- | 1.8333 | 5500 | 0.0005 | - |
213
- | 1.8667 | 5600 | 0.0005 | - |
214
- | 1.9 | 5700 | 0.0006 | - |
215
- | 1.9333 | 5800 | 0.0003 | - |
216
  | 1.9667 | 5900 | 0.0001 | - |
217
- | 2.0 | 6000 | 0.0005 | - |
218
 
219
  ### Framework Versions
220
  - Python: 3.10.14
 
10
  - text-classification
11
  - generated_from_setfit_trainer
12
  widget:
13
+ - text: كيف كل زمن وإله أتباعه الزقيفة بإيام الإحتلال السوري للبنان، كان أشهرهم ناصر
14
+ قنديل زال الوجود العسكري وتبخ...
15
+ - text: اداي في كتير مشحرين وقلال عقل في لبنان بقصد الذين يمدحون ويمجدون شخص مخلوق
16
+ من لحم ونسوا ان الله هو من ي...
17
+ - text: كول هوا و سد نيعك
18
+ - text: لا تحبسنا على غدر الزمان طالما نحن لها في المرصاد
19
+ - text: العمر الو حق مبين عليكي الكبر
 
20
  inference: true
21
  model-index:
22
  - name: SetFit with akhooli/sbert_ar_nli_500k_ubc_norm
 
30
  split: test
31
  metrics:
32
  - type: accuracy
33
+ value: 0.8625363020329139
34
  name: Accuracy
35
  ---
36
 
 
62
  - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
63
 
64
  ### Model Labels
65
+ | Label | Examples |
66
+ |:---------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
67
+ | negative | <ul><li>'جبران باسيل يغرّد عن رحيل مي منسى لبنان سيفتقد روحك الجميلة'</li><li>'نشرتكم مقابلة لوزير الخارجية اللبناني جبران باسيل مع سي أن أن تثير الجدل على منصات التواصل ما السبب؟'</li><li>' حسا السنه حسا الشيعه حسا الحضران والبدوان\nتساوينا بمحبتها وساوتنا أراضيها\n🌴\nعساني يالحسا فدوة فديت الداار والسكان\nمن اول بيت لآخر بيت بقراها وحواريها\n🌴\nمكانك يالحسا عالي وقدرك فوق مهما كان\nومن حاول يقارن بك بيخسر في تواليها\n🌴وس��امتكم🌴'</li></ul> |
68
+ | positive | <ul><li>'جبران باسيل اكثر الساسة نفاقا'</li><li>'انا اقترح عليك طبيب بيطري'</li><li>'انتي شكلك مو سورية بس عم تزعمي'</li></ul> |
69
 
70
  ## Evaluation
71
 
72
  ### Metrics
73
  | Label | Accuracy |
74
  |:--------|:---------|
75
+ | **all** | 0.8625 |
76
 
77
  ## Uses
78
 
 
92
  # Download from the 🤗 Hub
93
  model = SetFitModel.from_pretrained("akhooli/setfit_ar_ubc_hs")
94
  # Run inference
95
+ preds = model("كول هوا و سد نيعك")
96
  ```
97
 
98
  <!--
 
124
  ### Training Set Metrics
125
  | Training set | Min | Median | Max |
126
  |:-------------|:----|:--------|:----|
127
+ | Word count | 1 | 16.5047 | 102 |
128
 
129
  | Label | Training Sample Count |
130
  |:---------|:----------------------|
131
+ | negative | 3709 |
132
+ | positive | 3800 |
133
 
134
  ### Training Hyperparameters
135
  - batch_size: (32, 32)
 
146
  - warmup_proportion: 0.1
147
  - l2_weight: 0.01
148
  - seed: 42
149
+ - run_name: setfit_hate_38k_ubc_6k
150
  - eval_max_steps: -1
151
  - load_best_model_at_end: False
152
 
153
  ### Training Results
154
  | Epoch | Step | Training Loss | Validation Loss |
155
  |:------:|:----:|:-------------:|:---------------:|
156
+ | 0.0003 | 1 | 0.3147 | - |
157
+ | 0.0333 | 100 | 0.2724 | - |
158
+ | 0.0667 | 200 | 0.2165 | - |
159
+ | 0.1 | 300 | 0.163 | - |
160
+ | 0.1333 | 400 | 0.1275 | - |
161
+ | 0.1667 | 500 | 0.0939 | - |
162
+ | 0.2 | 600 | 0.0725 | - |
163
+ | 0.2333 | 700 | 0.0535 | - |
164
+ | 0.2667 | 800 | 0.041 | - |
165
+ | 0.3 | 900 | 0.0369 | - |
166
+ | 0.3333 | 1000 | 0.0286 | - |
167
+ | 0.3667 | 1100 | 0.0202 | - |
168
+ | 0.4 | 1200 | 0.0186 | - |
169
+ | 0.4333 | 1300 | 0.0187 | - |
170
+ | 0.4667 | 1400 | 0.0129 | - |
171
+ | 0.5 | 1500 | 0.0124 | - |
172
+ | 0.5333 | 1600 | 0.0112 | - |
173
+ | 0.5667 | 1700 | 0.0094 | - |
174
+ | 0.6 | 1800 | 0.008 | - |
175
+ | 0.6333 | 1900 | 0.0057 | - |
176
+ | 0.6667 | 2000 | 0.0056 | - |
177
+ | 0.7 | 2100 | 0.0044 | - |
178
+ | 0.7333 | 2200 | 0.0026 | - |
179
+ | 0.7667 | 2300 | 0.0042 | - |
180
+ | 0.8 | 2400 | 0.0022 | - |
181
+ | 0.8333 | 2500 | 0.0022 | - |
182
+ | 0.8667 | 2600 | 0.0031 | - |
183
+ | 0.9 | 2700 | 0.0031 | - |
184
+ | 0.9333 | 2800 | 0.0019 | - |
185
+ | 0.9667 | 2900 | 0.0032 | - |
186
  | 1.0 | 3000 | 0.002 | - |
187
+ | 1.0333 | 3100 | 0.0012 | - |
188
  | 1.0667 | 3200 | 0.0022 | - |
189
+ | 1.1 | 3300 | 0.0012 | - |
190
+ | 1.1333 | 3400 | 0.0023 | - |
191
+ | 1.1667 | 3500 | 0.0032 | - |
192
+ | 1.2 | 3600 | 0.002 | - |
193
+ | 1.2333 | 3700 | 0.0021 | - |
194
+ | 1.2667 | 3800 | 0.0015 | - |
195
+ | 1.3 | 3900 | 0.0012 | - |
196
  | 1.3333 | 4000 | 0.0013 | - |
197
+ | 1.3667 | 4100 | 0.0016 | - |
198
+ | 1.4 | 4200 | 0.0006 | - |
199
+ | 1.4333 | 4300 | 0.0013 | - |
200
+ | 1.4667 | 4400 | 0.0017 | - |
201
+ | 1.5 | 4500 | 0.0007 | - |
202
+ | 1.5333 | 4600 | 0.0014 | - |
203
+ | 1.5667 | 4700 | 0.0002 | - |
204
+ | 1.6 | 4800 | 0.0005 | - |
205
+ | 1.6333 | 4900 | 0.0005 | - |
206
+ | 1.6667 | 5000 | 0.0003 | - |
207
+ | 1.7 | 5100 | 0.0006 | - |
208
+ | 1.7333 | 5200 | 0.0003 | - |
209
+ | 1.7667 | 5300 | 0.0005 | - |
210
+ | 1.8 | 5400 | 0.0005 | - |
211
+ | 1.8333 | 5500 | 0.0008 | - |
212
+ | 1.8667 | 5600 | 0.0006 | - |
213
+ | 1.9 | 5700 | 0.0007 | - |
214
+ | 1.9333 | 5800 | 0.0002 | - |
215
  | 1.9667 | 5900 | 0.0001 | - |
216
+ | 2.0 | 6000 | 0.0007 | - |
217
 
218
  ### Framework Versions
219
  - Python: 3.10.14
model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:d800e7c8a27b73181e7f6df710acbde52f4b6956a1edb36eff6a02b3cf88615f
3
  size 651387752
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:8e005a8530edd38526fa8ddaad867048cbccfa9bbcca85ddbe630a98c5e34c16
3
  size 651387752
model_head.pkl CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:4e177df92ba3570bf913cf1d18db428f3a3c43e9e0665075967438540251c642
3
  size 7007
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c705612898bc761abb56c3e25a1a6fe4f7f4c84434ffd1e64cf302d9b8230fb4
3
  size 7007