SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 15 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
0.0	'5파이 발광다이오드 고휘도LED 5파이 화이트 와이어용 3V 5파이 화이트 올파츠' '5파이 발광다이오드 고휘도LED 5파이 화이트 와이어용 3V 5파이 옐로우 올파츠' '3M PPF 보호필름 블루/레드 무황변 자가복원 61cmX10cm 3M PPF필름-블루 30cm x 10cm 케미칼멘토'
8.0	'[메이튼] 차량용 목쿠션 목베개 목받침 헤드레스트 메모리폼 프리미엄 메모리폼 목쿠션 블랙 1P 우파몰' '테슬라 모델X S 3 Y 전기 마사지 허리 쿠션 USB 포트 요추 진동 기계 경추 머리받침 진동 마사지 타입 - 연두색머리베개+허리등 라인써클' '1+1 핫딜 M4U 맘스포유 패브릭 유모차 안전벨트+안전바 커버 M(18.5x21cm) 곰이_토니 이케이원'
4.0	'핏테라 불고 빨고 365 무선 차량용 청소기 강력 에어건 흡입력 디이브' '[불스원] 레인OK 유막제거 이지그립+발수코팅 이지그립 SET (주)불스원' '더클래스 안티포그 김서림방지제 100ml 주식회사 엔공구'
11.0	'전국장착가능 245 50 20 펠리세이드 미쉐린 프라이머시 투어 AS 2455020_미쉐린 프라이머시 투어 AS_티스테이션 홈플러스송도점 방문 장착 티앤에이 주식회사' '피렐리 뉴PZ4 255/35R20 , 2553520 PZERO PZ4 NCS VOL 여름용 아트휠' 'Xmomx 범용 가죽 핸들 커버 38.1cm(15인치) 통기성 자동 커버409028 Beige 피치상사'
13.0	'대용량 USB 침실 2L 거실 3구 가습기 무드등 저소음 해피함피' '2L USB 가습기 저소음 거실 3구 대용량 무드등 침실 스마일쓰리' 'r600a 냉매 프레온 셀프 자동차 충전 에어컨 인버터 냉장고 R600A 5kg 작은매력소'
10.0	'차키케이스 TPU키케이스 커버 자동차 키링 기아3 기아_기아10_실버라인_스카이블루 유니버스 파라' '잇츠 자동차 진공 청소기 독일제 휴대용 무선 미니 핸디 A3 15000PA 1. 화이트 20000pa 2. 블랙 20000pa 잇츠컴퍼니' '[카버샵 더컵 더컵박스] 자동차 디지털 스마트키 스마트폰 핸드폰 차키 오토도어 현대_A 더컵박스_지프_B 주식회사 카버샵'
12.0	'그랜져TG 3.3 373003C120 373003C125 알터네이터 재생 발전기 회수불가 오토풀리 타입 (택배착불) 파츠원' 'K&N 99-5000 99-5050 에어필터 크리너 크리닝 키트 세척 및 오일링 단품:99-0606 파워크린 일도산업주식회사' '로드 전기 번호키 자전거 자물쇠 로드자전거자물쇠 아리기획'
1.0	'불스원 그라스 디퓨저 블랙베리&체리 105ml 그린팩토리' '벨르아망 차량용방향제 리필키트 에어도넛 차량용방향제 블랙체리(향강도5) (주)디에스엔티' '벤볼릭 명품 차량용 방향제 송풍구 차량 석고 고급 자동차 클린코튼 실버1세트 블랙＋실버 （50%할인）_블랙체리_헤스페리데스 벤볼릭'
3.0	'쏠라이트 자동차배터리 CMF40L 차량용 공구대여 올뉴모닝배터리 교체 반납 델코 (DF/DIN)_DF60L_②공구대여안함+폐전지반납 대성 밧데리' '델코 DF90L 반납조건 공구대여
14.0	'케이엠모터스 충잘 무선충전 거치대 충잘ver.3 무선충전 거치대(패키지형)_LED화이트+사은품 3종+3.0고속충전기 (주)케이지트러스트' '전기 자전거용 납산 배터리 충전기 스쿠터 휠체어 GX16 커넥터 36V 2A 41.4V UK 원템하우스' '아이엠듀 차량용 핸드폰 거치대 무중력 중력 거치대 호환 차량용 무중력 핸드폰 거치대+숏크래들 아이킨'
7.0	'Rhino-Rack 어댑터 브래킷 파이오니어 크로스바 코뿔소 공병 삽 브래킷 위즈덤홀릭' '블랙(BK-01) 네오가드 싱글패키지 (4도어 1대분) 블랙(BK-01) (주)가디언' '하마몰/ 비발디 더블룸 다기세트 (주)하마토라인터내셔널'
9.0	'코일 어셈블리－이그니션 2730123900 주식회사 송암씨앤씨' 'Powstation-20/60/80 cm 자동차 타이어 공기 주입 호스, 수축 핸드 에어 펌프 연장 튜브 어댑터 01 Not deflate 즐거운유하' '망치 야크 (Tsuchiya Yac) 차내 용품 커튼 러너 후소 2 15 개들이 CV-203 03 의자 용 영원테크'
2.0	'면발광LED COBLED바 스트립 플렉시블 줄조명 5M롤 AW B(5V COB LED)_B(블루) 마니LED' '면발광LED COBLED바 스트립 플렉시블 줄조명 5M롤 AW A(12V COB LED)_RGB 마니LED' '[튜닝인증]합법 크리스탈 LED S25 방향지시등 후진등 정지등 레드_SUPER RED(정지등)_BA15S(인증) 주식회사 엔바이어스'
5.0	'블랙슈트 자동차재떨이 재털이 블랙 건강랩' '메이튼 토레스 용품 70도 트렁크 히든 정리함 A타입 70도 히든 트렁크 정리함 A타입 (주)메이튼' '와인 프레스티지 재떨이 차량용재떨이 주식회사 퍼스트에스'
6.0	'토탈 플루이드 매틱 LV MV 20L 오토미션오일 베스트 SHOP' '탕게 폴리탱크 블랙 등유통 캠핑 기름통 10L_어스 그레이 포스트욘' 'SK엔무브 지크 X10 0W-20 1L (ZIC X10) (주)플레이그라운드코리아'

Evaluation

Metrics

Label	Metric
all	0.5645

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_lh20")
# Run inference
preds = model("아임반 자동차 사각 허깅 쿠션 차량용 다용도 허그 쿠션 피칸브라운 주식회사 아임반")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	11.108	30

Label	Training Sample Count
0.0	50
1.0	50
2.0	50
3.0	50
4.0	50
5.0	50
6.0	50
7.0	50
8.0	50
9.0	50
10.0	50
11.0	50
12.0	50
13.0	50
14.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0085	1	0.3868	-
0.4237	50	0.3164	-
0.8475	100	0.2453	-
1.2712	150	0.1471	-
1.6949	200	0.0782	-
2.1186	250	0.0675	-
2.5424	300	0.0429	-
2.9661	350	0.0257	-
3.3898	400	0.019	-
3.8136	450	0.0175	-
4.2373	500	0.0275	-
4.6610	550	0.0118	-
5.0847	600	0.0068	-
5.5085	650	0.0046	-
5.9322	700	0.0067	-
6.3559	750	0.0041	-
6.7797	800	0.0044	-
7.2034	850	0.0025	-
7.6271	900	0.0004	-
8.0508	950	0.0002	-
8.4746	1000	0.0001	-
8.8983	1050	0.0002	-
9.3220	1100	0.0001	-
9.7458	1150	0.0001	-
10.1695	1200	0.0001	-
10.5932	1250	0.0001	-
11.0169	1300	0.0001	-
11.4407	1350	0.0001	-
11.8644	1400	0.0001	-
12.2881	1450	0.0001	-
12.7119	1500	0.0001	-
13.1356	1550	0.0001	-
13.5593	1600	0.0001	-
13.9831	1650	0.0001	-
14.4068	1700	0.0001	-
14.8305	1750	0.0001	-
15.2542	1800	0.0001	-
15.6780	1850	0.0001	-
16.1017	1900	0.0001	-
16.5254	1950	0.0001	-
16.9492	2000	0.0001	-
17.3729	2050	0.0001	-
17.7966	2100	0.0001	-
18.2203	2150	0.0001	-
18.6441	2200	0.0	-
19.0678	2250	0.0	-
19.4915	2300	0.0001	-
19.9153	2350	0.0001	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_lh20