SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 9 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
6.0	'사조해표 해표 고급유 2호 선물세트 풀문' 'CJ 백설 프리미엄 23호 형제종합물류' '노브랜드 카놀라유 1L 노브랜드 카놀라유2L 주식회사 유일글로벌'
3.0	'오타비오 아보카도오일 2L 이탈리아 코스트코 포시즌' '건강한오늘 아보카도오일 500ml 건강한오늘 아보카도오일 500ml 잇츠설렘' '아보퍼시픽 아보카도오일 1L 코스트코 1021670 굿데이'
4.0	'만능 올리브유 900ml 청정원 가을 식재료 추석 설날 제사 드레싱 샐러드 파스타 모두감동해' 'CJ제일제당 백설 압착 올리브유 900ml 준스토리' '오로바일렌 엑스트라버진 올리브오일 아르베키나 500ml 500ml (주)운우'
7.0	'사조 해표 포도씨유 250ML 주식회사 킴벌리마스타' '오뚜기 프레스코 포도씨유 900ml 주식회사 삼부' '대상 청정원 포도씨유 900ml 주식회사 당장만나'
2.0	'국산 저온압착 들기름 300ml 국내산 아기들기름 저온압착 저온들기름 300ml 농부창고 영농조합법인' '미식상회 생들기름 대용량 350ml 에프유니마켓' '오뚜기 향긋한 들기름 160ml 1개 (주)하우'
1.0	'대용량 업소용 식용유 해표 콩 식용유 18L 선택04)오뚜기 콩 식용유 18L 소유앳홈(SO:YOU@Home)' 'CJ 백설 식용유 1.8L 해표 식용유 1.8L 주식회사 경일종합식품 케이마트몰' 'CJ 해피스푼 콩식용유 18L 업소용 대용량 저가 식용유 광주 말통 주식회사 케이제이플러스'
0.0	'캘리포니아골드뉴트리션 슈퍼푸드 오가닉 엑스트라 버진 코코넛 오일 473ml 액상 코코넛기름 에스지샵(SGshop)' '참미정 파기름 1.8L 대파 맛기름 참미정 마늘기름 1.8L 주식회사 팜' '시아스 불맛기름 화유 500ml 시아스 불맛 고추기름 500ml (주) 식자재민족'
5.0	'50년전통 대현상회 저온압착 참기름 350ml 돌려따는 BIG 아빠의주스 양배추사과즙 180 네오카트' '오뚜기 고소한 참기름 450ml 오뚜기 고소한 참기름 320ml(병) 삼영유통' '국산 저온압착 참기름 180ml 선물세트 이삭방앗간 당일착유 국산 저온압착 참기름_250ml 이삭방앗간'
8.0	'백설 해바라기씨유 500ml 당일 출발 (주) 바쿰' '사조해표 해바라기유 500ml 1개 (주)해피상사' '사조 해표 해바라기유 500ml (유통기한 24.01까지) ★유통기한임박특가(24년1월까지) 주식회사 킴벌리마스타'

Evaluation

Metrics

Label	Metric
all	0.9927

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_fd12")
# Run inference
preds = model("올리타리아 엑스트라버진 올리브오일 1L  카비스")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	8.5356	22

Label	Training Sample Count
0.0	50
1.0	50
2.0	50
3.0	50
4.0	50
5.0	50
6.0	50
7.0	50
8.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0141	1	0.4844	-
0.7042	50	0.3408	-
1.4085	100	0.0769	-
2.1127	150	0.0298	-
2.8169	200	0.023	-
3.5211	250	0.0251	-
4.2254	300	0.0291	-
4.9296	350	0.0156	-
5.6338	400	0.0137	-
6.3380	450	0.0029	-
7.0423	500	0.0001	-
7.7465	550	0.0001	-
8.4507	600	0.0001	-
9.1549	650	0.0	-
9.8592	700	0.0	-
10.5634	750	0.0	-
11.2676	800	0.0	-
11.9718	850	0.0	-
12.6761	900	0.0	-
13.3803	950	0.0	-
14.0845	1000	0.0	-
14.7887	1050	0.0	-
15.4930	1100	0.0	-
16.1972	1150	0.0	-
16.9014	1200	0.0	-
17.6056	1250	0.0	-
18.3099	1300	0.0	-
19.0141	1350	0.0	-
19.7183	1400	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_fd12