SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 12 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
10.0	'설탕대신 스테비아 1.2kg 주식회사 더 골든트리' '자연지애 에리스리톨 1:1 눈꽃 스테비아 1kg 설탕대체 당뇨설탕 당류 제로 2. 1kg x 2개 주식회사 닥터스랩' '바이오믹스 설탕대신 자일리톨 180g 주식회사 와식자재마트(민락지점)'
8.0	'커클랜드 발사믹 식초 1L 코스트코 ▶▶▶전국 초완벽 뽁뽁이 택배◀◀◀ 브라이튼' '롯데 미림 18L 말통 (맛술, 요리용 요리주) 와사비푸드' '롯데 미림 1.8L 맛술 요리용 요리주 1개 블레스(Bless)'
5.0	'정경아 생강 조청 550g 무설탕 생강청 차 즙 엿 속쓰림 수제조청 엿기름 쌀조청 답례품 2. 스틱형 생강조청 33개 (1만원 할인) 정드림' 'CJ 백설 요리당 2.45kg 조림 무침 구이 에스비푸드시스템' '오뚜기 옛날 물엿 5kg 솔브이트코리아'
0.0	'태산식품 일회용 맛미 겨자소스 3g 200개 미니간장200개입 다온' '오뚜기 오쉐프 연겨자 480g 튜브 주식회사 두위드(Do With)' '오뚜기 오쉐프 연겨자 480g 주식회사 데일즈'
6.0	'［DA85］큐원 하얀설탕(실온 3Kg) 기화유통' 'CJ제일제당 백설 브라운 자일로스설탕 5kg 오늘의 컨셉' 'CJ 백설 하얀설탕 1kg 매실 대용량 청 제빵용 에스비푸드시스템'
11.0	'흑후추가루(서원 200g)/강황가루/후추1kg/가루쌀빵/햇고추가루/후추그라인더/후추가루1KG/tnsgncn/todnrkfn (주)큐원상사' '오뚜기 직접갈아먹는 통후추(리필용) 소스 조미료 고기 삼겹살 목살 통후추 스테이크 35G 1세트 청주그릇주방설비' '청정원 향신료 잡내제거 천연 순후추 100g 육류요리 생선요리 알싸한풍미 지니마켓'
2.0	'경상북도 영양 명가 고추가루 매운맛 1kg (2023년산) -인증 시안무역' '델라미코 크러쉬드 레드페퍼 크러쉬드 레드페퍼 370g 두두유통' '청정식품 23년 국산 고운 햇 고춧가루 1kg CJA001-99_(청양)고운 고추가루 1kg 유한킴벌리 에스와이'
9.0	'한라식품 프리미엄참치액500ml 11203420 프리미엄참치액 세론세론' 'CJ제일제당 백설 참치액 진 더 풍부한 맛 900g 둘레푸드' '티파로스 피쉬소스 700ml (태국 멸치액젓 남쁠라 느억맘소스) 팝스이엔티'
1.0	'움트리 705 고추냉이 700g 청비 알맹이 생고추냉이 700g 주식회사 팜' '청비 생고추냉이 700g 생와사비 와사비 청비 뿌리갈은 생고추냉이 700g 주식회사 팜' '삼광999 생와사비 750g 제루통상'
4.0	'[나가타니엔] 오토나노 후리카케 미니 2종 컬리' '일본 후리카케 밥 주먹밥 혼가쓰오 나가타니엔 일본 오차즈케가루 매크로온' '마루미야 노리타마 후리카케 28g 오차즈케 1초재팬'
3.0	'코스트코 맥코믹 몬트리얼 스테이크 시즈닝 822g 1개 주식회사베이비또' '샘표 연두 요리에센스 순 860ml 달달구리' '해통령 육수한알 진한맛 25입 100g 트레이더스 스마일유통'
7.0	'CJ제일제당 백설 허브맛 솔트 매콤한맛 50g 허브솔트매콤한맛 화진유통' '백설 허브맛솔트시즈닝 매콤한맛 50g 주식회사 팩앤폴스' '[백설]오천년의 신비 명품 천일염 (가는 입자) 250g (영등포점) 주식회사 에스에스지닷컴'

Evaluation

Metrics

Label	Metric
all	0.9504

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_fd18")
# Run inference
preds = model("마이노멀 알룰로스 485g  메인루트")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	9.1646	29

Label	Training Sample Count
0.0	50
1.0	50
2.0	50
3.0	50
4.0	21
5.0	50
6.0	50
7.0	50
8.0	50
9.0	50
10.0	50
11.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0111	1	0.4135	-
0.5556	50	0.3821	-
1.1111	100	0.0967	-
1.6667	150	0.0493	-
2.2222	200	0.0399	-
2.7778	250	0.0149	-
3.3333	300	0.0107	-
3.8889	350	0.01	-
4.4444	400	0.0116	-
5.0	450	0.0078	-
5.5556	500	0.0001	-
6.1111	550	0.0001	-
6.6667	600	0.0001	-
7.2222	650	0.0001	-
7.7778	700	0.0001	-
8.3333	750	0.0001	-
8.8889	800	0.0001	-
9.4444	850	0.0001	-
10.0	900	0.0001	-
10.5556	950	0.0	-
11.1111	1000	0.0	-
11.6667	1050	0.0	-
12.2222	1100	0.0	-
12.7778	1150	0.0	-
13.3333	1200	0.0	-
13.8889	1250	0.0	-
14.4444	1300	0.0	-
15.0	1350	0.0	-
15.5556	1400	0.0	-
16.1111	1450	0.0	-
16.6667	1500	0.0	-
17.2222	1550	0.0	-
17.7778	1600	0.0	-
18.3333	1650	0.0	-
18.8889	1700	0.0	-
19.4444	1750	0.0	-
20.0	1800	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_fd18