SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 8 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
7.0	'남도전통 우리맛 토종순대 천연돈장 1kg 4인분 우리맛 토종순대 1kg+1kg (2개) 주식회사 금호비앤디' '코스트코 커클랜드 시그니춰 크럼블스 베이컨 567g 최고의수준' '하림 아이로운 닭가슴살 팝콘치킨500g 1봉+1봉 팔레스티'
2.0	'청정원 안주야 매운곱창볶음 160g 4개 (주) 이카루스' '삼치기 쫄여먹는 쫄갈비 300g 1-2인분 물갈비 캠핑요리 음식 밀키트 고기 양념돼지갈비 쫄여먹는 쫄갈비 300g(1~2인분) 삼치기' '파티큐 귀족 통돼지바베큐 (5-10인분) 만화고기 캠핑음식 집들이 출장 부천종합버스터미널_1/6상체 주식회사 파티큐'
6.0	'송화단(화풍60g x10) 8개 식자재 업소용 대용량 일흥상회' '오리로스500gx4팩 고추오리불고기500gx1팩 선물용 마이다스' '춘천달갈비 국내산 즉석조리식품 안동 순살 찜닭 1kg / 3-4인분 주식회사 에프앤에프커머스'
0.0	'Espuna 스페인 전통 하몽 초리초슬라이스100g1개jamon 밀도상점' '목우촌 버터구이 치킨 봉 500gX2개 팔레스티몰' '우리맛 모듬국밥 머리고기+내장 2인분 (440g) 모듬국밥 4pack (800g) 주식회사 금호비앤디'
5.0	'[호주산] 양등뼈 1kg cj거성푸드' '양의나라 유기농 양고기 양갈비 양꼬치 프렌치렉 숄더랙 캠핑 냉장 냉동 양의 나라' '하이마블 프렌치랙 프랜치랙 양갈비 양고기 450g 램 미니 토마호크 프렌치랙 450g (냉동) 주식회사 하이마블'
1.0	'하림 치킨너겟(Ⅱ) 1kg 텐더스틱 1kg 주식회사 미담' '이종하작가 비법매실먹은 춘천닭갈비 올인원세트 3인분 (닭갈비 + 야채+떡+치즈 포함) 통다리살 간장바베큐 4개(1kg) 춘천맛식품' '국물닭발 700g 2팩 튤립 숯불 오돌뼈 술안주 혼술 야식 국내산 매운맛 제육볶음 오돌뼈 250g 2팩 주식회사 바르'
3.0	'미트홀 부채살 찹스테이크 부채 큐브 스테이크 1kg(200gX5팩) 짜파구리 미트홀' '[도착보장] 올반 소불고기 전골세트 (소불고기 4팩 + 전골육수 2팩) 저녁 국 탕 찌개 반찬 간편식 밀키트 소불고기 4팩+전골육수2팩 (주)신세계푸드' '에스푸드 바싹 불고기 1kg 주식회사 클릭몰'
4.0	'흥생농장 반숙란40구 촉촉한 부드러운 반숙계란 흥생농장' '에그트리 특란 90구 HACCP농장직송 날계란 에그트리농장' '중국 염장 오리알 야단 372g 유황 찐오리알 6개입 오너트리'

Evaluation

Metrics

Label	Metric
all	0.6435

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_fd20")
# Run inference
preds = model("송이 불닭발 280gX10팩/국내산, 원앙, 닭발, 매운  (주)천지농산")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	10.0318	24

Label	Training Sample Count
0.0	50
1.0	50
2.0	50
3.0	50
4.0	19
5.0	27
6.0	50
7.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0182	1	0.4004	-
0.9091	50	0.238	-
1.8182	100	0.1002	-
2.7273	150	0.0799	-
3.6364	200	0.063	-
4.5455	250	0.0301	-
5.4545	300	0.0261	-
6.3636	350	0.0128	-
7.2727	400	0.0054	-
8.1818	450	0.008	-
9.0909	500	0.004	-
10.0	550	0.0001	-
10.9091	600	0.002	-
11.8182	650	0.002	-
12.7273	700	0.0058	-
13.6364	750	0.0039	-
14.5455	800	0.0016	-
15.4545	850	0.0001	-
16.3636	900	0.0001	-
17.2727	950	0.0001	-
18.1818	1000	0.0001	-
19.0909	1050	0.0	-
20.0	1100	0.0001	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_fd20