kasim90 commited on
Commit
0f0fcd5
Β·
verified Β·
1 Parent(s): 68073b7

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +1 -1
app.py CHANGED
@@ -33,7 +33,7 @@ if os.path.exists(DATASET_PATH):
33
  else:
34
  print("🌍 Veri seti indiriliyor ve kaydediliyor...")
35
  dataset = load_dataset("oscar", "unshuffled_deduplicated_tr", split="train", streaming=True, trust_remote_code=True)
36
- dataset = dataset.shuffle(seed=42).select(take(10000)) # Küçük subset
37
  dataset.to_parquet(DATASET_PATH) # Δ°lk Γ§alışmada kaydediyoruz
38
 
39
  # === 4️⃣ TOKENLEŞTΔ°RME ===
 
33
  else:
34
  print("🌍 Veri seti indiriliyor ve kaydediliyor...")
35
  dataset = load_dataset("oscar", "unshuffled_deduplicated_tr", split="train", streaming=True, trust_remote_code=True)
36
+ dataset = dataset.shuffle(seed=42).take(10000) # Küçük subset
37
  dataset.to_parquet(DATASET_PATH) # Δ°lk Γ§alışmada kaydediyoruz
38
 
39
  # === 4️⃣ TOKENLEŞTΔ°RME ===