Spaces:
Runtime error
Runtime error
Update app.py
Browse files
app.py
CHANGED
@@ -33,7 +33,7 @@ if os.path.exists(DATASET_PATH):
|
|
33 |
else:
|
34 |
print("π Veri seti indiriliyor ve kaydediliyor...")
|
35 |
dataset = load_dataset("oscar", "unshuffled_deduplicated_tr", split="train", streaming=True, trust_remote_code=True)
|
36 |
-
dataset = dataset.shuffle(seed=42).
|
37 |
dataset.to_parquet(DATASET_PATH) # Δ°lk Γ§alΔ±Εmada kaydediyoruz
|
38 |
|
39 |
# === 4οΈβ£ TOKENLEΕTΔ°RME ===
|
|
|
33 |
else:
|
34 |
print("π Veri seti indiriliyor ve kaydediliyor...")
|
35 |
dataset = load_dataset("oscar", "unshuffled_deduplicated_tr", split="train", streaming=True, trust_remote_code=True)
|
36 |
+
dataset = dataset.shuffle(seed=42).take(10000) # Küçük subset
|
37 |
dataset.to_parquet(DATASET_PATH) # Δ°lk Γ§alΔ±Εmada kaydediyoruz
|
38 |
|
39 |
# === 4οΈβ£ TOKENLEΕTΔ°RME ===
|