SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 8 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
1.0	'리쥬란 마스크팩 리쥬란힐러 마스크 2박스 총10개입 (병원용) MKSISTER' '폴리머 수화겔 하이드로겔 마스크 팩세트 35gx4P 주식회사 에이에이앤티' '바이오던스 바이오 콜라겐 리얼 딥 마스크 4매 콜라겐마스크팩 저분자 블망몰'
6.0	'블랙헤드 아웃 시트 35개입 3개 옵션없음 건강드림' 'CNP 차앤박 안티 포어 블렉헤드 클리어 키트 10매세트 옵션없음 구메구메' '아이스 얼음팩 쿨링 마스크 피부 자극 붓기 열 진정 자외선 옵션없음 삼성메디원'
5.0	'이즈앤트리 머그워트 카밍 클레이 마스크 100ml 1개 옵션없음 비래유통' '정품 정케이스 설화수 백삼팩 120ml 옵션없음 맥스베스트' '마미케어 들깨 워시오프 팩 100g 옵션없음 주식회사 올리브인터내셔널'
4.0	'메노킨 30초 퀵 버블 마스크_브라이트 옵션없음 주식회사 포레스트에비뉴' '아비브 라이스 프로바이오틱스 오버나이트 마스크 배리어 젤리 80ml 옵션없음 주식회사 지에스원(GS ONE CO.,LTD.)' '[갤러리아] [GL]슈퍼 나이츠 - 클리어 수딩 마스크 점보 120ml(한화갤러리아㈜ 센터시티) 옵션없음 한화갤러리아(주)'
7.0	'끌레드벨 원킬 브이 리프팅 마스크 옵션없음 아이앤에이 (INA)' '루미너스 쿨링팩 4개 쿨링팩 4개 히얼위아' '메디필 콜라겐 마스크 2+1 옵션없음 성원아토'
2.0	'골프 피부진정 패치 5매 아이패치 하이드로겔 등산 옵션없음 아이템코리아주식회사(Item KOREA Inc.)' '13 에어뮤즈 멜라이드 패치스탠다드 아이패치 야외 5매 옵션없음 네이비몰' '퍼스트랩 프로바이오틱 마스크 시즌4 25g 1매 옵션없음 다사다 유한책임회사'
3.0	'볼라욘 스피넴 파우더 스피루리나 모델링팩 500g+팩도구+샘플 옵션없음 라플레르' '데쌍브르 골드 필 오프 모델링팩 1kg 데쌍브르 골드 필 오프 모델링팩 1kg 마가렛스킨' '데쌍브르 골드 모델링 마스크 1000g + 고무볼,스파츌라,앰플 골드 모델링마스크 반하다'
0.0	'IS-SA 오이 바이탈라이징 마사지크림 500g 옵션없음 우리의쇼핑' 'MSM글루코사민크림 핫 120ml 맛사지크림 뉴나노웰제약 옵션없음 운호' '더후 공진향 인양 넥앤페이스 탄력 리페어75ml 옵션없음 씨플랩'

Evaluation

Metrics

Label	Accuracy
all	0.6112

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_bt2_test")
# Run inference
preds = model("히든올가 히아루론산 마스크 400g 옵션없음 판타시아")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	9.7453	23

Label	Training Sample Count
0.0	16
1.0	10
2.0	42
3.0	21
4.0	20
5.0	19
6.0	15
7.0	18

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (50, 50)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 60
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0526	1	0.4875	-
2.6316	50	0.3322	-
5.2632	100	0.0442	-
7.8947	150	0.0025	-
10.5263	200	0.0002	-
13.1579	250	0.0001	-
15.7895	300	0.0001	-
18.4211	350	0.0001	-
21.0526	400	0.0001	-
23.6842	450	0.0001	-
26.3158	500	0.0001	-
28.9474	550	0.0001	-
31.5789	600	0.0001	-
34.2105	650	0.0001	-
36.8421	700	0.0001	-
39.4737	750	0.0001	-
42.1053	800	0.0001	-
44.7368	850	0.0001	-
47.3684	900	0.0001	-
50.0	950	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0
Sentence Transformers: 3.3.1
Transformers: 4.44.2
PyTorch: 2.2.0a0+81ea7a4
Datasets: 3.2.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_bt2_test