Update app.py

app.py

@@ -1,10 +1,56 @@
-import os
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer
+from peft import LoraConfig, get_peft_model
+from datasets import load_dataset
 
-# GLIBCXX güncellemesi
-os.system("apt update && apt install -y libstdc++6")
+# === 1️⃣ MODEL VE TOKENIZER YÜKLEME ===
+MODEL_NAME = "mistralai/Mistral-7B-v0.1"  # Hugging Face model adı
+tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
 
-# bitsandbytes kütüphanesini tekrar yükleme
-os.system("pip install --upgrade bitsandbytes")
+# === 2️⃣ CPU OPTİMİZASYONU ===
+device = "cpu"  # CPU kullanıyoruz
+torch_dtype = torch.float32  # float32 seçtik çünkü CPU'da bf16 genelde yok
+model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, torch_dtype=torch_dtype)
 
-# PyTorch'u CUDA destekli yükleme (Hugging Face GPU için)
-os.system("pip install --upgrade --no-cache-dir torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118")
+# === 3️⃣ LoRA AYARLARI ===
+lora_config = LoraConfig(
+    r=8,              # Düşük rank LoRA kullanımı
+    lora_alpha=32,    # Alpha değeri
+    lora_dropout=0.1, # Dropout oranı
+    bias="none",
+    target_modules=["q_proj", "v_proj"],  # Sadece attention katmanlarına LoRA uygula
+)
+model = get_peft_model(model, lora_config)
+
+# === 4️⃣ VERİ SETİ ===
+dataset = load_dataset("oscar", "unshuffled_deduplicated_tr")  # OSCAR Türkçe veri seti
+train_data = dataset["train"].shuffle(seed=42).select(range(10000))  # Küçük subset
+
+# === 5️⃣ TOKENLEŞTİRME FONKSİYONU ===
+def tokenize_function(examples):
+    return tokenizer(examples["text"], truncation=True, padding="max_length", max_length=512)
+
+tokenized_datasets = train_data.map(tokenize_function, batched=True)
+
+# === 6️⃣ EĞİTİM AYARLARI ===
+training_args = TrainingArguments(
+    output_dir="./mistral_lora_cpu",
+    per_device_train_batch_size=1,  # Küçük batch size
+    gradient_accumulation_steps=16, # Daha büyük effective batch için
+    learning_rate=5e-4,  # AdamW yerine SGD kullanacağımız için yüksek LR
+    num_train_epochs=1,  # İlk deneme için sadece 1 epoch
+    save_steps=500,
+    save_total_limit=2,
+    logging_dir="./logs",
+    logging_steps=10,
+    optim="sgd",  # AdamW yerine SGD kullan
+)
+
+# === 7️⃣ MODEL EĞİTİMİ ===
+trainer = Trainer(
+    model=model,
+    args=training_args,
+    train_dataset=tokenized_datasets,
+)
+
+trainer.train()