aerdincdal commited on
Commit
328b9dc
·
verified ·
1 Parent(s): 993b67f

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +65 -1
README.md CHANGED
@@ -186,4 +186,68 @@ print(buyuk_harf_metin)
186
  **Açıklama:**
187
  Model, verilen istemi ("Python ile bir metni büyük harfe çeviren bir fonksiyon yaz.") işleyerek, açıklamaları ve dokümantasyonu içeren tam teşekküllü bir Python kodunu oluşturur. Bu fonksiyon, küçük harflerle yazılmış herhangi bir metni büyük harflere çevirebilir, böylece metinler üzerinde kolay manipülasyon sağlar.
188
 
189
- Bu basit adımlarla, Türkçe doğal dil işleme yeteneklerinin sınırlarını zorlayabilir ve dil modelimizin size nasıl yardımcı olabileceğini keşfedebilirsiniz. Bizimle bu teknoloji yolculuğuna çıkın ve dil işleme kapasitenizi genişletin!
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
186
  **Açıklama:**
187
  Model, verilen istemi ("Python ile bir metni büyük harfe çeviren bir fonksiyon yaz.") işleyerek, açıklamaları ve dokümantasyonu içeren tam teşekküllü bir Python kodunu oluşturur. Bu fonksiyon, küçük harflerle yazılmış herhangi bir metni büyük harflere çevirebilir, böylece metinler üzerinde kolay manipülasyon sağlar.
188
 
189
+ Bu basit adımlarla, Türkçe doğal dil işleme yeteneklerinin sınırlarını zorlayabilir ve dil modelimizin size nasıl yardımcı olabileceğini keşfedebilirsiniz. Bizimle bu teknoloji yolculuğuna çıkın ve dil işleme kapasitenizi genişletin!
190
+
191
+
192
+
193
+
194
+ **BENCHMARK:**
195
+
196
+ "config_general": {
197
+ "lighteval_sha": "494ee12240e716e804ae9ea834f84a2c864c07ca",
198
+ "num_few_shot_default": 0,
199
+ "num_fewshot_seeds": 1,
200
+ "override_batch_size": 1,
201
+ "max_samples": null,
202
+ "job_id": "",
203
+ "start_time": 1781075.607155059,
204
+ "end_time": 1784655.466140587,
205
+ "total_evaluation_time_secondes": "3579.858985528117",
206
+ "model_name": "aerdincdal/CBDDO-LLM-8B-Instruct-v1",
207
+ "model_sha": "84430552036c85cc6a16722b26496df4d93f3afe",
208
+ "model_dtype": "torch.bfloat16",
209
+ "model_size": "15.08 GB"
210
+ },
211
+ "results": {
212
+ "harness|arc:challenge|25": {
213
+ "acc": 0.4991467576791809,
214
+ "acc_stderr": 0.014611369529813262,
215
+ "acc_norm": 0.5460750853242321,
216
+ "acc_norm_stderr": 0.014549221105171872
217
+ },
218
+ "harness|hellaswag|10": {
219
+ "acc": 0.5552678749253137,
220
+ "acc_stderr": 0.004959204773046207,
221
+ "acc_norm": 0.7633937462656841,
222
+ "acc_norm_stderr": 0.004241299341050841
223
+ },
224
+ "harness|hendrycksTest-abstract_algebra|5": {
225
+ "acc": 0.35,
226
+ "acc_stderr": 0.047937248544110196,
227
+ "acc_norm": 0.35,
228
+ "acc_norm_stderr": 0.047937248544110196
229
+ },
230
+ "harness|hendrycksTest-anatomy|5": {
231
+ "acc": 0.6148148148148148,
232
+ "acc_stderr": 0.04203921040156279,
233
+ "acc_norm": 0.6148148148148148,
234
+ "acc_norm_stderr": 0.04203921040156279
235
+ },
236
+ "harness|hendrycksTest-astronomy|5": {
237
+ "acc": 0.5986842105263158,
238
+ "acc_stderr": 0.039889037033362836,
239
+ "acc_norm": 0.5986842105263158,
240
+ "acc_norm_stderr": 0.039889037033362836
241
+ },
242
+ "harness|hendrycksTest-business_ethics|5": {
243
+ "acc": 0.62,
244
+ "acc_stderr": 0.048783173121456316,
245
+ "acc_norm": 0.62,
246
+ "acc_norm_stderr": 0.048783173121456316
247
+ },
248
+ "harness|hendrycksTest-clinical_knowledge|5": {
249
+ "acc": 0.7094339622641509,
250
+ "acc_stderr": 0.02794321998933714,
251
+ "acc_norm": 0.7094339622641509,
252
+ "acc_norm_stderr": 0.02794321998933714
253
+ }