SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 8 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
2.0	'이니스프리 샤워 볼 1ea 이니스프리' '3컬러 양면 귀이개 택1 TW51DC3F0 블랙 블루 블루 트리플도매' '프리미엄 실리콘 니플 가리개 여성 니플 패치 원형 알스상회'
0.0	'카페인 커피 샴푸바만들기 교육용 수제비누 키트 DIY 자원순환 업사이클링 옵션없음 처음(CHOEUM)' '플로럴워터 - 로즈마리워터 1 리터 옵션없음 주식회사 월터엔터프라이즈' '봄봄솝 바다 비누 만들기 DIY 조개 집콕 미술 (6개 완성, 조개몰드포함) 옵션없음 봄상회'
6.0	'고양이귀 세안 헤어밴드 5p세트 KD-8679 목욕용 세면 샤워용 극세사 옵션없음 초이스리테일 5' '긴머리 샤워캡 PEVA 방수 도트 헤어캡 핑크도트 허승호' '편리한 찍찍이타입 머리밴드 스카이 옵션없음 와이엠테크(YM tech)'
5.0	'에이브 면분첩 - 중형 옵션없음 하민하이' '마스크 2 TYPE NEW갸름마스크턱볼살용 얼굴 턱볼살 옵션없음 유남상사' '보정웨어 TYPE 턱볼살땡 몸매관리 2 마스크 얼굴 옵션없음 최상용'
7.0	'가루 파우더 케이스 30g 노세범 땀띠 파우더 소분 공병 (스푼 ) 30g 선데이베리베스트' '면봉보관함 화장솜 케이스 디스펜서 통 옵션없음 홍스지니몰' '실리콘공병 보틀 고리형 4종세트 추가금X 그루비스윔 수영장 여행 헬스장 캠핑용 소분용기 옵션없음 스퀘어오브에이치'
3.0	'눈썹 족집게 오렌지 C 1p 청결용품 눈관리 핀셋 옵션없음 비즈파크' '텐웨이브 쌍꺼풀테이프 레이스 티안나는 누드쌍테 단면쌍테 쌍커풀테이프 옵션없음 텐웨이브' '1+1+1 할인 일자형 눈썹정리 눈썹칼 3P 옵션없음 버닝365마켓'
4.0	'이레즈미 타투스티커 초대형 (여성용) 긴팔 옵션없음 알렉산더(ALEXANDER)' '미니 타투 스티커 헤나 도안 형광 야광 HC-016 컬러타투 CC시리즈_CC-028 블루밍마켓' '2주지속 리얼 문신 팔손가락 타투스티커 티안나는 반영구 방수 헤나 문신 나비 세트 A6 ( 2장세트 ) 에테르넬'
1.0	'립펜슬 실버 고급립솔 화장브러쉬 옵션없음 엔에이티글로벌' '아이라인붓 애교살브러쉬 눈썹브러쉬 1100-5 아이라인브러시 옵션없음 동묘야시장' '아이브로우브러쉬 8pcs Cardcaptor 세트 파운데이션 섀도우 브로우 Pincel 8pcs_CHINA 드림비정선'

Evaluation

Metrics

Label	Accuracy
all	0.6376

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_bt5_test")
# Run inference
preds = model("립브러쉬 실리콘 립스머지 휴대용 투명 미리")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	10.0538	20

Label	Training Sample Count
0.0	12
1.0	12
2.0	12
3.0	19
4.0	20
5.0	27
6.0	13
7.0	15

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (50, 50)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 60
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0625	1	0.4921	-
3.125	50	0.2813	-
6.25	100	0.0272	-
9.375	150	0.0167	-
12.5	200	0.002	-
15.625	250	0.0001	-
18.75	300	0.0001	-
21.875	350	0.0001	-
25.0	400	0.0001	-
28.125	450	0.0001	-
31.25	500	0.0001	-
34.375	550	0.0001	-
37.5	600	0.0001	-
40.625	650	0.0001	-
43.75	700	0.0001	-
46.875	750	0.0001	-
50.0	800	0.0001	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0
Sentence Transformers: 3.3.1
Transformers: 4.44.2
PyTorch: 2.2.0a0+81ea7a4
Datasets: 3.2.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_bt5_test