SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 5 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
4.0	'아식스 배구화 미들컷 브이 스위프트 V-SWIFT FF MT21053A018 100 스포츠/레저>배구>배구화' '아식스 스카이 엘리트 FF MT 인도어화 21051A065103 스포츠/레저>배구>배구화' '미즈노 아식스 배구화 젤 로켓10 남여공용 1073A047-100 스포츠/레저>배구>배구화'
0.0	'의자 농구 코트 야외 휴식 좌석 학교 놀이터 관람석 의자 경기장 15177N30166 스포츠/레저>배구>기타배구용품' '스포츠 심판대 심판 감시대 족구 의자 심판석 안전 분리형 시합 스포츠/레저>배구>기타배구용품' '닛타쿠 홀츠 시벤 탁구라켓 ST 19812 NE-6112 스포츠/레저>배구>기타배구용품'
3.0	'밀리언웨이브 24 단체 배구 전사 유니폼 - 옵티머스 스포츠/레저>배구>배구의류' '스타스포츠 스타 전사 유니폼 상하의세트 Model S124 족구 배구 축구 등 활용가능 원하는로고 팀명 이름 번호 추가 스포츠/레저>배구>배구의류' '뱃저바스켓 Alleson Athletic - 반소매 배구 MA 108603 829VSJW 스포츠/레저>배구>배구의류'
1.0	'미카사 배구공 4호 초등학생용 V400W 스포츠/레저>배구>배구공' '스타스포츠 폼 발리볼 피구볼 CB834 스포츠/레저>배구>배구공' '스타스포츠 S 배구공 그랜드챔피언 2 4호 5호 생활체육 시합용 VB224-34S VB225-34S 스포츠/레저>배구>배구공'
2.0	'스타스포츠 배구네트 6인제 VN320H 스포츠/레저>배구>배구네트' '스타 스타스포츠 배구 네트 9인제 (경기용) VN371H 스포츠/레저>배구>배구네트' '스타 스타스포츠 배구 네트 9인제 (경기용) VN380 스포츠/레저>배구>배구네트'

Evaluation

Metrics

Label	Accuracy
all	1.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_sl11")
# Run inference
preds = model("스타스포츠 비치 발리볼 소프트 4호 CB814 스포츠/레저>배구>배구공")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	4	8.8833	18

Label	Training Sample Count
0.0	70
1.0	70
2.0	20
3.0	70
4.0	70

Training Hyperparameters

batch_size: (256, 256)
num_epochs: (30, 30)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 50
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0169	1	0.461	-
0.8475	50	0.478	-
1.6949	100	0.1412	-
2.5424	150	0.0009	-
3.3898	200	0.0	-
4.2373	250	0.0	-
5.0847	300	0.0	-
5.9322	350	0.0001	-
6.7797	400	0.0	-
7.6271	450	0.0	-
8.4746	500	0.0	-
9.3220	550	0.0	-
10.1695	600	0.0	-
11.0169	650	0.0	-
11.8644	700	0.0	-
12.7119	750	0.0	-
13.5593	800	0.0	-
14.4068	850	0.0	-
15.2542	900	0.0	-
16.1017	950	0.0	-
16.9492	1000	0.0	-
17.7966	1050	0.0	-
18.6441	1100	0.0	-
19.4915	1150	0.0	-
20.3390	1200	0.0	-
21.1864	1250	0.0	-
22.0339	1300	0.0	-
22.8814	1350	0.0	-
23.7288	1400	0.0	-
24.5763	1450	0.0	-
25.4237	1500	0.0	-
26.2712	1550	0.0	-
27.1186	1600	0.0	-
27.9661	1650	0.0	-
28.8136	1700	0.0	-
29.6610	1750	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0
Sentence Transformers: 3.3.1
Transformers: 4.44.2
PyTorch: 2.2.0a0+81ea7a4
Datasets: 3.2.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_sl11