Pomoć oko optimizacije LLM modela za precizniji prevod na srpski jezik
Pozdrav legendo,
Već neko vreme koristim LLM-ove, a pre nekoliko dana sam otkrio ovaj LLM, za koji sam čuo da je trenutno najbolji model treniran na srpskom, bosanskom i hrvatskom jeziku. Pre nego što sam naišao na ovu noviju verziju modela, isprobao sam model koji možete pronaći na sledećem linku: YugoGPT.
Međutim, ta verzija za mene nije radila kako treba – često bi davala odgovore koji su bili delimično na srpskom, a delimično na engleskom. Ova nova verzija koju ste vi podelili sa nama radi mnogo bolje i nema tih problema.
Sada, razlog zbog kojeg tražim vašu pomoć je sledeći: kada implementiram ovaj model u SubtitleEdit (model je pokrenut u LM Studiu i povezan sa SubtitleEdit aplikacijom preko servera) i pustim ga da radi, iako sam naglasio da prevod bude sa engleskog na srpski, on meša jezike i njegov prevod je kombinacija srpskog, hrvatskog i bosanskog jezika. Zanima me kako mogu da rešim ovaj problem i da li je to uopšte moguće. Takođe, da li postoji način da sa specifičnim sistemskim promptom dobijem još bolje i preciznije prevode?
Bio bih veoma zahvalan na vašoj pomoći u vezi s ovim. Hvala vam puno na vašem radu i nadam se da će ovaj model postati još bolji i da će mnogo više ljudi sa Balkana čuti za njega.
Srdačan pozdrav!
Pozdrav,
pomenuti model koji koristite je uradjen sa DPO optimizacijom *(usmeren je da odgovara na odredjen nacin). Pre nego sto nastavimo zamolio bih Vas da probate ovu verziju koja je bez DPO optimizacije. Pa ako Vam ne bude odgovaralo onda da se cujemo!
Evo linka ka modelu "Yugo55A":
https://huggingface.co/datatab/Yugo55A-GGUF
Hvala na odgovoru,
Ova verzija ne meša srpski, bosanski i hrvatski jezik. Kada mu naglasim da prevodi na srpski, to i uradi. Međutim, ponekad iz nekog razloga neke reči prevede na ruski, što mi se desilo tri puta do sada. Prevod ponekad deluje nelogično. Greške nisu strašne, ali povremeno ima problema, mada nije toliko ozbiljno. Na kraju dana, nije kao da koristim ChatGPT-4. Ipak, uzimajući u obzir ogromnu bazu podataka i broj parametara na kojima je ChatGPT-4 treniran, jasno je zašto su njegovi odgovori zadovoljniji i prirodniji.
U svakom slučaju, hvala puno na odgovoru i smernicama.
Nadam se da ćemo ovaj model dovesti na viši nivo.
Pozdrav!
Jos samo da naglasim da pripazite na prompt pogotovo u LMStudi-u. Probajte bez njega ako vec niste.
Nema nacemu, slobodno me kontaktirajte ako treba savet, pomoc...etc.
Takodje probajte sa Alpaca prompt formatom....
alpaca_prompt = """Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.
### Instruction:
{}
### Input:
{}
### Response:
{}"""
Cini mi se da sam tako uradio fine tune.
Takodje probajte sa Alpaca prompt formatom....
alpaca_prompt = """Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request. ### Instruction: {} ### Input: {} ### Response: {}"""
Sa ovim promptom prevod radi mnogo bolje. Iako još uvek postoje neke mane, čak i Google prevodilac ima veće probleme, tako da sam zadovoljan performansama.
Planiram da uradim fine-tuning i kombinaciju nekoliko modela čijim sam rezultatima veoma zadovoljan. Pogledao sam baze podataka koje ste objavili i pokušavam da napravim neke kombinacije. Trenutno mi je cilj da prikupim što više kvalitetnih baza podataka i na njima istreniram model.
Krajnji rezultat će pokazati svoje!
Hvala puno još jednom!