metadata

base_model: jerteh/Jerteh-355
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:11968
  - loss:MSELoss
widget:
  - source_sentence: >-
      Pazi, sanse za pune stipendije su uvek male, prvo razmisli da li kod nas
      mozes da ulises master na stipendiju, pa onda tek kod njih. Realno neces
      se kajati ako probas cak i da te odbiju.
    sentences:
      - >-
        Ako radis samo ux/ui onda mislim da ne bi trebao da imas problema sa
        7410. Ukoliko dodatno nesto petljas oko koda ili koristis neke CMS-ove
        onda 6201. Postavi ovo pitanje na dizajnzoni, moguce da je neko imao
        slicne nedoumice...
      - >-
        Polagao sam pre par meseci pa ovako: \n\n1. Od kada je korona polaže se
        isključivo na računaru, nema više papira, ali ne od kuće već u njihovim
        test centrima. Reading, writing i listening se rade uvek u test centru,
        dok se za speaking ide u prostorije kod kalemegdana gde pričaš. \n\n2.
        Cena je koliko se secam bila oko 20k \n\n3. Zavisi od tvog znanja, ja i
        par drugara smo polagali bez pripreme i svi smo imali 8, 8.5 ili 9 od 9,
        ali zato par ljudi nikako da položi. \n\n4. Ima dosta koji imaju istu
        težinu kao što su CAE, TOEFL itd. ali IELTS ti je najlakši.
      - >-
        Ključna reč je *classified as*. Pojam/klasifikacija "naroda Han" je u
        formulaciji iz 1911 - dovoljno govori to koliko jezika govore. Danas su
        u "narodu Han" i Mandžurijci, o kojima su kineski antropolozi pisali pre
        100 godina kao o drugoj rasi i isticali koliko su Mandžurijci "rasno
        inferiorni". Čak i da to zanemarimo, obrati pažnju koliki procenat
        kineske teritorije ima drugačiju kulturu - i koliko takvih regiona danas
        ima separatističke pokrete.\n\nAli čak i to da zanemarimo sve i uzmemo
        da je situacija takva kakvom je predstavljaš - dakle oblasti naroda Han
        su ubedljivo najrazvijenije i oni nemaju problema sa time, dok ostale
        teritorije predstavljaju nešto više od izvoznika sirovina. Da li takva
        treba i Srbija da bude - hoće li u Srbiji svođenje vlaških oblasti na
        izvoznika sirovina dovesti do pojave separatizma?\n\nU stvari, kako je
        ova situacija u Kini drastično drugačija od srpske - Beograd i njegovi
        produžeci danas nemaju nikakve separatističke namere. Da li bi ti
        pristao na Srbiju u kojoj skoro sva industrija biva u Vojvodini, a
        ostatak Srbije za nju proizvodi sirovine i radnu snagu - da li je to
        model ravnomernog razvoja koji promovišeš?
  - source_sentence: >-
      @user @user Pobogu, ljudi, pa zato što toliko kradu i dobijaju nezaslužena
      mesta sa lažnim diplomama, da im se ne isplati da se stvarno svađaju. Ove
      nameštene sukobe ne računam.
    sentences:
      - Kako nema veze?
      - >-
        Dokle će sve ovo trajati?,S obzirom da se bliže izbori, sve i da padne
        sadasnja vlast, šta mislite dal postoji osoba koja može bilo šta da
        učini da u ovoj državi bude bolje? Moje mišljenje da za najmanje 20
        godina ne postoji niko ko bi to mogao da učini jer su svo korumpirani i
        gladni para imoći, od trenutne vlasti pa sve do opozicije.
      - >-
        Sa obzirom da sam pohađao Matematičku gimnaziju u Beogradu moja
        mišljenja se prevashodno odnose na tu školu. Znam da već neko vreme
        postoje posebna odeljenja za matematiku u mnogim gradovima, ali ne znam
        previše o njima.\n\n Kod nas ima 5 odeljenja po generaciji od po 20
        učenika. Koliko ja znam, svaka druga (državna) srednja škola u Beogradu
        ima oko 30 učenika po odeljenju. Manja odeljenja znače da se svakom
        učeniku može posvetiti više pažnje tokom časa. Svi profesori koje sam
        pitao, a koji su radili u drugim školama, kažu da je daleko lakše
        predavati grupi od 20 učenika nego 30. \n\nOd ovih 5 odeljenja, jedno je
        specijalno i naziva se mentorsko odeljenje, u njega ide 20 najboljih
        učenika (određenih rang listom na upisu u prvi razred). Kasnije je
        moguće ući u ovo odeljenje sa dobrim uspehom (ukoliko učenik to želi).
        Razlika između ovog i ostalih odeljenja je što jedan dan u nedelji imamo
        mentorsku nastavu, kada se delimo u 4 grupe od po 5 ućenika i rotiramo
        između časova analize sa algebrom, geometrije, programiranja i fizike.
        Stvari koje se rade na mentorskoj nastavi su naprednije od regularnog
        programa, i ja sam lično dosta naučio ovakvim radom. \n\nPlan i program
        je napredniji nego u ostalim gimnazijama, ali škola je organizovana tako
        da svako može više da se posveti onome što ga najviše zanima. Tako su
        neki pratili dodatnu iz programiranja, neki iz matematike, a neki iz
        fizike. Ova dodatna nastava nije obavezna, već služi prevashodno kao
        priprema za takmičenja. Što se tiče regularne nastave, imali smo tokom 4
        godine školovanja 7-8 različitih matematičkih predmeta. Profesori koji
        predaju matematiku, fiziku i programiranje su 90% bivši učenici
        Matematičke gimnazije, i odnos između njih i učenika je daleko bolji
        nego u ostalim školama. Što se tiče ostalih predmeta (biologija,
        geografija...) oni su daleko lakši nego u ostalim gimnazijama.
        \n\nIskreno mislim da je Matematička gimnazija najveći uspeh naše
        prosvete. Jedna smo od najuspešnijih škola na međunarodnim takmičenjima
        na svetu. Više cenim kada mi neko kaže da je završio Matematičku
        gimnaziju nego npr. ETF. Moje iskustvo u ovoj školi je bilo u potpunosti
        pozitivno.\n\nŠto se stipendija tiče, smatram da su dobra stvar. Iznosi
        nisu preveliki, ali su dobri da pomognu pri kupovini prevashodno
        kompjuterske opreme, bez koje danas nema bavljenja naukom. Ovo mišljenje
        je možda malo pristrasno, sa obzirom da sam dobijao mnoge novčane
        stipendije tokom školovanja .\n\nAko imaš bilo kakva specifična pitanja
        što se tiče rada škole, ili što se tiče međunarodnih takmičenja,
        slobodno pitaj.
  - source_sentence: >-
      Hvala Bogu što si se nje otarasio pre braka i dece. Ti problemi bi ti bili
      puno veći kasnije u braku.
    sentences:
      - >-
        If I am a Christian Arab and I moved to Serbia (not as a refugee), will
        I be able to integrate Serbian society?,This is a very genuine question.
        I am not looking to offend anyone or upset an group of people. Thank you
        very much.
      - Nasi ljudi u svetu IT-ja
      - >-
        Usrana venogel reklama,Sa ponosom mogu da kažem da sam odgledao venogel
        reklamu 9000 puta (samo danas 62 puta) odrastao sam uz tu reklamu i
        mnogo mi znači. "Umro sam pre 4 godine ali nakon korišćenja venogel
        kreme, ostvario sam svoj san i učestvovao na ultramaratonu, HVALA
        VITALISU." \n\nJel može neko ko je koristio tu jebenu kremu da mi
        potvrdi da li je stvarno tako čudotvorna pa da umrem u miru.\n\nHvala
        vitalisu.
  - source_sentence: >-
      Mislio sam da se nikada neću složiti s Eskobarom, ali slažem se s ovom
      izjavom da neće biti rata u BiH, ako je tačno da je to izjavio. Ali neka
      kaže jasno ko podržava mir, a ko ne i ko u BiH prijeti ratom i prebrojava
      se,a mogli smo čuti da za to ima i podršku Islamske zajednice.
    sentences:
      - >-
        paa...po verskoj je ok, jer treba biti idiot pa biti vernik, a ako mrzis
        idiote...\n\nnacionalna mrznja...tu i tamo, cesto nacionalnost
        podrazumeva odredjene slicne ili iste elemente vaspitanja, sisteme
        vrednosti, predrasude. na osnovu toga, u teoriji, mozes mrzeti drugi
        narod. cesto ces sresti srbe koji mrze hrvate, a rodili su se nakon
        ratova, nisu direktno osteceni od strane hrvata. to je definicija
        nacije. ako ti i ja nemamo bas nijednu zajednicku tacku osim sto smo se
        slucajno radili unutar istih granica na nekoj mapi koju su crtali ljudi
        pre nas, da li smo mi deo iste nacije, istog plemena? tehnicki jesmo, a
        realno mozemo biti i amerikanac i rus, nema razlike.
      - >-
        Pitanje je vremena kada ce biti odnos prema nama kao prema drugim
        radnicima (nece skoro ali opet ce se i to desiti) , uzivaj dok mozes dok
        smo im toliko potebni. Nijednoj firmi nije stalo do tebe jer te vole
        nego jer im trebas. Da nas ima kao bankara, gazili bi po nama.
      - >-
        Meni je lično zbog te globalne kompromitacije demokratske ideje i prakse
        žao. Ali je to urušavanje činjenica. Nažalost, još jednom se ispostavilo
        da u međunarodnim odnosima vladaju samo sila i moć. I da je samo
        ravnoteža straha jedno vreme stvarala utisak i iluziju da je drugačije.
  - source_sentence: >-
      Kako brat "Komita" zamišlja stručni i demokratski dijalog) Ali, dobro.
      Nije mu lako. Imali su težak dan😃 http
    sentences:
      - >-
        Grafika se ne moze menjati. Na novijim laptopovima cuo sam da ni ram
        (nzm jel tacno ovo poslednje)
      - >-
        @user @user Ostaćeš upamćen u istoriji kao ostrašćeni vladar, a ne
        državnik. Kao onaj koji je naredio da se neistomišljenici batinaju. Živi
        sa tim teretom, sam si tako odlučio. Niko se neće sećati tvojih puteva i
        mostova, kao što se ne sećaju Tadićevih ... Sećaće se samo ovoga. http
      - >-
        Obnovljena prva godina na fakultetu,Imam 21 godinu i studiram
        stomatologiju. Obnovila sam prvu godinu (sada bih trebala da sam druga),
        i osećam se mnogo loše povodom toga. Prošle godine u ovom periodu sam se
        osećala mnogo depresivno, anksiozno, i usamljeno (i sada se tako osećam
        samo malo manje), nisam tražila pomoć jer sam mislila da ću uspeti da se
        izborim sa sobom i na kraju položim ispite koji su mi potrebni za drugu
        godinu, ali nisam. Osećala sam ogromnu krivicu jer to nije smelo da mi
        se desi. Jedino mi majka radi, ona je medicinska sestra i ona izdržava
        nas četvoro. Znam koliko oni trpe i žrtvuju se samo da bih ja mogla da
        idem na fakultet i obezbedim sebi bolju budućnost.\n\nVeć neko vreme
        imam blokadu što se tiče učenja. Ostao mi je još jedan ispit da očistim
        godinu, i to najteži (anatomija). I imam problem da ne mogu da nateram
        sebe da sednem da učim, tj. kad god sednem i krenem da učim učim malo i
        već posle nekog vremena moje misli se razlete na sve strane i počinjem
        da se vraćam u prošlost i razmišljam o svojim neuspesima. Imam utisak da
        se uopšte nisam snašla, jer sam upisala fakultet u drugom prijemnom roku
        (na prvom mi je falio poen), odmah krenula na fakultet posle tolikog
        stresa, kasnije korona i online predavanja i vežbe, nisam dovoljno
        učila, više sam bila pod stresom, ne znam ni sama.\n\nProšle godine kada
        sam tek obnovila godinu, htela sam što pre da položim sve ispite koji su
        mi ostali i zaposlim se i uštedim novac za drugu godinu, ali nisam
        uspela, mnogo sam se razvukla sam ispitima, nisam mogla lepo da učim.
        Inače sam uvek bila odličan đak i nisam imala problema što se učenja
        tiče, uvek sam mogla da učim, ali poslednje dve godine ne znam šta mi se
        dešava. Samopouzdanje mi je mnogo opalo, i mislim da sam mnogo glupa i
        da ništa ne mogu da uradim kako treba. \n\nHtela bih da vas zamolim za
        neki savet kako bih mogla ovo da prebrodim jer stvarno nemam više ni
        motivacije ni volje, svakog dana sam tužna i plačem, ne znam šta više da
        radim sa sobom.

SentenceTransformer based on jerteh/Jerteh-355

This is a sentence-transformers model finetuned from jerteh/Jerteh-355. It maps sentences & paragraphs to a 16-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: jerteh/Jerteh-355
Maximum Sequence Length: 512 tokens
Output Dimensionality: 16 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 1024, 'out_features': 16, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Kako brat "Komita" zamišlja stručni i demokratski dijalog) Ali, dobro. Nije mu lako. Imali su težak dan😃 http',
    'Obnovljena prva godina na fakultetu,Imam 21 godinu i studiram stomatologiju. Obnovila sam prvu godinu (sada bih trebala da sam druga), i osećam se mnogo loše povodom toga. Prošle godine u ovom periodu sam se osećala mnogo depresivno, anksiozno, i usamljeno (i sada se tako osećam samo malo manje), nisam tražila pomoć jer sam mislila da ću uspeti da se izborim sa sobom i na kraju položim ispite koji su mi potrebni za drugu godinu, ali nisam. Osećala sam ogromnu krivicu jer to nije smelo da mi se desi. Jedino mi majka radi, ona je medicinska sestra i ona izdržava nas četvoro. Znam koliko oni trpe i žrtvuju se samo da bih ja mogla da idem na fakultet i obezbedim sebi bolju budućnost.\\n\\nVeć neko vreme imam blokadu što se tiče učenja. Ostao mi je još jedan ispit da očistim godinu, i to najteži (anatomija). I imam problem da ne mogu da nateram sebe da sednem da učim, tj. kad god sednem i krenem da učim učim malo i već posle nekog vremena moje misli se razlete na sve strane i počinjem da se vraćam u prošlost i razmišljam o svojim neuspesima. Imam utisak da se uopšte nisam snašla, jer sam upisala fakultet u drugom prijemnom roku (na prvom mi je falio poen), odmah krenula na fakultet posle tolikog stresa, kasnije korona i online predavanja i vežbe, nisam dovoljno učila, više sam bila pod stresom, ne znam ni sama.\\n\\nProšle godine kada sam tek obnovila godinu, htela sam što pre da položim sve ispite koji su mi ostali i zaposlim se i uštedim novac za drugu godinu, ali nisam uspela, mnogo sam se razvukla sam ispitima, nisam mogla lepo da učim. Inače sam uvek bila odličan đak i nisam imala problema što se učenja tiče, uvek sam mogla da učim, ali poslednje dve godine ne znam šta mi se dešava. Samopouzdanje mi je mnogo opalo, i mislim da sam mnogo glupa i da ništa ne mogu da uradim kako treba. \\n\\nHtela bih da vas zamolim za neki savet kako bih mogla ovo da prebrodim jer stvarno nemam više ni motivacije ni volje, svakog dana sam tužna i plačem, ne znam šta više da radim sa sobom.',
    '@user @user Ostaćeš upamćen u istoriji kao ostrašćeni vladar, a ne državnik. Kao onaj koji je naredio da se neistomišljenici batinaju. Živi sa tim teretom, sam si tako odlučio. Niko se neće sećati tvojih puteva i mostova, kao što se ne sećaju Tadićevih ... Sećaće se samo ovoga. http',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 16]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
num_train_epochs: 1
warmup_ratio: 0.1
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 8
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	loss
0.2674	100	0.1507	0.1294
0.5348	200	0.1275	0.1217
0.8021	300	0.1205	0.1153

Framework Versions

Python: 3.12.7
Sentence Transformers: 3.1.1
Transformers: 4.45.2
PyTorch: 2.5.1+cu124
Accelerate: 1.0.1
Datasets: 3.0.2
Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MSELoss

@inproceedings{reimers-2020-multilingual-sentence-bert,
    title = "Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2020",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/2004.09813",
}