SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 7 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
6.0	'BROWN 프리미엄 옐로우 물티슈 휴대 캡형 20매 출산/육아 > 물티슈 > 휴대용' '쪼꼬미 휴대용 물티슈 30팩 미니형 소형 미니 여행용 쪼꼬미물티슈_90팩 출산/육아 > 물티슈 > 휴대용' '자연속에 업소용 물티슈 64g(그린) x1 박스(400개) 1매물 음식점 물수건 휴대용 출산/육아 > 물티슈 > 휴대용'
4.0	'미니무지A 600매 개별포장 대용량 배달용 식당용 업소용 판촉 1회용 일회용 물티슈 출산/육아 > 물티슈 > 코인티슈/업소용' '베지터블 압축 코인 티슈 300 코스트코 압축티슈 동전티슈 출산/육아 > 물티슈 > 코인티슈/업소용' '하트민 130T 520매 일회용 식당물티슈 업소용 물수건 두툼한 식당용 고급 1회용물티슈 낱개 80g 800매 출산/육아 > 물티슈 > 코인티슈/업소용'
3.0	'달곰이 노블레스 아기물티슈 크로스엠보싱 72매x10팩 캡형 72매 10팩 캡형 출산/육아 > 물티슈 > 캡형' '지크린텍 미엘 클래식 물티슈 캡형 100매 x 10매 캡형 100매 20매 출산/육아 > 물티슈 > 캡형' '리꼬베이비 안전한 신생아 유아 대용량 캡형 10팩 20팩 도톰한 두꺼운 아기물티슈 모음전 11.시그니처 70매 10팩 캡 65g 출산/육아 > 물티슈 > 캡형'
1.0	'설랩수 온천 건티슈 전용 멸균온천수 떼르말 스프링 리필 스틱20ml 출산/육아 > 물티슈 > 리필형' '우리집 건티슈 대용량 2.5kg 1500매 대량구매 두툼한원단 플레인 엠보싱 선택1.소프트 건티슈 2.5kg 플레인_1~2박스구매시 1박스가격 출산/육아 > 물티슈 > 리필형' '베베솜 무표백 건티슈 순면 신생아건티슈 아기물티슈 리필형 퓨어_10매x15팩(150매) 출산/육아 > 물티슈 > 리필형'
0.0	'보람씨앤에치 붕어빵 패밀리 비데 물티슈 캡형 50매 10팩 출산/육아 > 물티슈 > 기능성물티슈 > 비데용' '유한킴벌리 크리넥스 마이비데 클린케어 물티슈 캡형 46매 x 10팩 + 휴대용 10매 x 3팩 03.밸런스캡40매x5팩+밸런스휴대10매x8팩 출산/육아 > 물티슈 > 기능성물티슈 > 비데용' '깨끗한나라 클린 손소독티슈 휴대용 10매 5팩 출산/육아 > 물티슈 > 기능성물티슈 > 손소독용'
5.0	'오리지널 플레인 휴대용 리필형 30매[12팩] 출산/육아 > 물티슈 > 혼합세트' '신상품 물티슈 오리지널 휴대용 30매 출산/육아 > 물티슈 > 혼합세트' '(물티슈 100매 모음) 그린터치 더플로라 하늘선물 캡형 리필 (최소 구매 10개) 하늘선물 물티슈 캡형 출산/육아 > 물티슈 > 혼합세트'
2.0	'아기 물티슈워머 물티슈보온 USB 네모 따뜻한 아기 물티슈워머 물티슈보온 USB 출산/육아 > 물티슈 > 물티슈워머/물티슈캡' '베베숲 시그니처 위드블루 캡형 아기물티슈 저자극 70매 20개 70매 20개 출산/육아 > 물티슈 > 물티슈워머/물티슈캡' '앙블랑 아기물티슈 민트 캡형 72매 x 10팩 출산/육아 > 물티슈 > 물티슈워머/물티슈캡'

Evaluation

Metrics

Label	Accuracy
all	0.9978

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_bc5")
# Run inference
preds = model("네이쳐러브메레 건티슈 15매  출산/육아 > 물티슈 > 리필형")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	7	15.1388	30

Label	Training Sample Count
0.0	70
1.0	70
2.0	70
3.0	70
4.0	70
5.0	70
6.0	70

Training Hyperparameters

batch_size: (256, 256)
num_epochs: (30, 30)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 50
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0104	1	0.4945	-
0.5208	50	0.4632	-
1.0417	100	0.2302	-
1.5625	150	0.0215	-
2.0833	200	0.0003	-
2.6042	250	0.0001	-
3.125	300	0.0001	-
3.6458	350	0.0	-
4.1667	400	0.0	-
4.6875	450	0.0	-
5.2083	500	0.0	-
5.7292	550	0.0	-
6.25	600	0.0	-
6.7708	650	0.0	-
7.2917	700	0.0	-
7.8125	750	0.0	-
8.3333	800	0.0	-
8.8542	850	0.0	-
9.375	900	0.0	-
9.8958	950	0.0	-
10.4167	1000	0.0	-
10.9375	1050	0.0	-
11.4583	1100	0.0	-
11.9792	1150	0.0	-
12.5	1200	0.0	-
13.0208	1250	0.0	-
13.5417	1300	0.0	-
14.0625	1350	0.0	-
14.5833	1400	0.0	-
15.1042	1450	0.0	-
15.625	1500	0.0	-
16.1458	1550	0.0	-
16.6667	1600	0.0	-
17.1875	1650	0.0	-
17.7083	1700	0.0	-
18.2292	1750	0.0	-
18.75	1800	0.0	-
19.2708	1850	0.0	-
19.7917	1900	0.0	-
20.3125	1950	0.0	-
20.8333	2000	0.0	-
21.3542	2050	0.0	-
21.875	2100	0.0	-
22.3958	2150	0.0	-
22.9167	2200	0.0	-
23.4375	2250	0.0	-
23.9583	2300	0.0	-
24.4792	2350	0.0	-
25.0	2400	0.0	-
25.5208	2450	0.0	-
26.0417	2500	0.0	-
26.5625	2550	0.0	-
27.0833	2600	0.0	-
27.6042	2650	0.0	-
28.125	2700	0.0	-
28.6458	2750	0.0	-
29.1667	2800	0.0	-
29.6875	2850	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0
Sentence Transformers: 3.3.1
Transformers: 4.44.2
PyTorch: 2.2.0a0+81ea7a4
Datasets: 3.2.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_bc5