SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 10 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
9.0	'선반형 스텐 점보롤 디스펜서 폰 거치 케이스 유광실버 04_CNDH-03 스텐점보 유광 골드선반 (주)엘에스트레이드' '하이브리드 쓰리킹 미트페이퍼 해동지 2롤 선택04.크록스 위생멸균 흡수지 2롤 찐텐마켓' '크리넥스 클린케어 아쿠아 메가롤 3겹 50m 30롤 클린소프트 3겹 데코 30m 30롤 메리앤'
2.0	'애경 로얄 프로폴리스 에디션 선물세트 추석 선물세트 명절선물세트 샴푸 린스 강성수' '로얄 프로폴리스 셀렉션 29호 X 1개 고기능 에디션으로 행복 선물 MinSellAmount 현둘마마' '대림바스 카카오 라이언 선물세트 GIFT BOX (샤워기+샤워줄+필터4P+염소제거볼1P) 카카오 선물세트 GIFT BOX [라이언] 바스템'
0.0	'초소형 카메라 CCTV 무선 미니 감시 초소형 카메라 + 128GB SD카드_(리뷰약속)SD카드 32GB+방수케이스+거치대2종 일레닉' '지르콘 멀티 탐지기 HD70 멀티탐색기 ZIRCON 멀티탐지 프랑스달' '메모리선택 티피링크 Tapo TC70 200만화소 360도회전 실내무선카메라 홈CCTV 야간흑백전환 선택4 Tapo TC70+메모리카드128G 삼성디앤씨주식회사'
4.0	'바운스 건조기 드라이시트 아웃도어후레쉬 160매 1개 에너저틱' '피죤 핑크로즈 3.1L 피죤 비앙카 3100ml 1입 주식회사 드림쇼핑' '다우니 엑스퍼트 실내건조 섬유유연제 1L 생화향기 코튼퓨어 용기 1L (주)모던컴퍼니'
8.0	'엔젤가드 특허 90도 회전 전기모기채 충전식전자파리채 건전지대 01. 특허받은 led회전모기채(충전식 대) 핑크 WOOD파크' 'ODF169432해피홈 에어넷 걸이형 제이엘 코리아(JL KOREA)' '초강력해충킬러전기모기채(특대) 비트테크노'
6.0	'헨켈 퍼실 파워젤 라벤더 드럼용 리필 1.8L 퍼실 파워젤 드럼용 1.8L(일반/드럼 겸용) 누리플러스' '다우니 프리미엄 엑스퍼트 실내건조 세탁세제 액체형 1.9L 08_다우니 코튼 퓨어러브 1L (주)넥스트월드코퍼레이션' '애경산업 스파크 찬물에 잘녹는 세탁세제 리필 9.5kg 1개 쇼킹(SHOW KING)'
3.0	'쇼핑카트 바퀴달린장바구니 시장바구니캐리어 접이식 손수레 핸드 카트 마트 베이지체크패턴 (타입07) 소형 패턴 8종_체크 곤색 에이오더스(A Orders)' '스테인레스 가정용 소형 원형 스퀘어 스탠드 방지 재 01.락 구형 블랙 라지 에이미어블' '1초완성 원터치모기장 텐트 침대 사각 아기 대형 창문 2_베이직 블루 2~3인용(200X150) 다샵몰'
5.0	'금비 겉기저귀 프리미엄 와이드매직 실속형 대형 10p+10p(총 2팩) 팬티기저귀 대형 10p+10p 나루(NARU)리테일' '디펜드 스타일 언더웨어 슬림 라이트핏 중형 여성용 10개입x8팩/요실금팬티 성인기저귀 송광물류' '유한킴벌리 디펜드 안심플러스 중형 9매 -1개 주식회사 민영'
7.0	'말표 신발 탈취제 100ml 발냄새 신발냄새 제거 MinSellAmount 대코아' '슈즈쿨 빨강색 신발건조탈취제 냄새 습기제거 MinSellAmount SMH만물상회' '페브리즈 포맨 쿨아쿠아향 리필 320ml 포맨 쿨아쿠아향 리필 320ml 지기샵'
1.0	'좋은느낌 입는 오버나이트 중형 8매 x 1팩 주식회사 다올연구소' '닉스컵 내몸을 생각하는 안전한 실리콘 생리컵 소형 luckytiger3' '화이트 수퍼흡수 중형 (30+6)개입 (주) 삼성 에이치엔씨'

Evaluation

Metrics

Label	Metric
all	0.7297

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_lh12")
# Run inference
preds = model("이글루캠 S3플러스 2K 300만화소 가정용 CCTV 홈 카메라 홈캠  (주) 트루엔")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	9.964	24

Label	Training Sample Count
0.0	50
1.0	50
2.0	50
3.0	50
4.0	50
5.0	50
6.0	50
7.0	50
8.0	50
9.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0127	1	0.3941	-
0.6329	50	0.3041	-
1.2658	100	0.1323	-
1.8987	150	0.0705	-
2.5316	200	0.0185	-
3.1646	250	0.021	-
3.7975	300	0.0292	-
4.4304	350	0.0158	-
5.0633	400	0.0176	-
5.6962	450	0.0001	-
6.3291	500	0.0079	-
6.9620	550	0.0004	-
7.5949	600	0.0001	-
8.2278	650	0.0001	-
8.8608	700	0.0001	-
9.4937	750	0.0001	-
10.1266	800	0.0001	-
10.7595	850	0.0001	-
11.3924	900	0.0001	-
12.0253	950	0.0001	-
12.6582	1000	0.0	-
13.2911	1050	0.0	-
13.9241	1100	0.0001	-
14.5570	1150	0.0	-
15.1899	1200	0.0	-
15.8228	1250	0.0	-
16.4557	1300	0.0001	-
17.0886	1350	0.0	-
17.7215	1400	0.0	-
18.3544	1450	0.0	-
18.9873	1500	0.0	-
19.6203	1550	0.0001	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_lh12