SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

  1. Fine-tuning a Sentence Transformer with contrastive learning.
  2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Sources

Model Labels

Label Examples
6.0
  • '스텐파이프 4M 지름 12 두께 0 9T STS304 가구/인테리어>DIY자재/용품>반제품'
  • '필립스2100 에그 미니 보풀제거기 충전식 강력 6중날 가구/인테리어>DIY자재/용품>반제품'
  • '피카소 벽지벽면용 4L 칼라메이트 7인치 도구세트 제르니 노루페인트 DP5020 가구/인테리어>DIY자재/용품>반제품'
4.0
  • '굽도리 걸레받이 천정 몰딩 16색 노본 6m 12m 25m 기본형 광폭 와이드굽도리 가구/인테리어>DIY자재/용품>몰딩'
  • '깨끗 선정리 몰딩 신형고강도 2호 1박스 100개 걸레받이 선가리개 전선몰드 바닥 전기선 쫄대 가구/인테리어>DIY자재/용품>몰딩'
  • '전선몰딩 사각 3호 가구/인테리어>DIY자재/용품>몰딩'
9.0
  • '방수벽 시트지 접착식 스티커 부엌 타일 인테리어 내화성 가구/인테리어>DIY자재/용품>시트지>타일시트지'
  • '토리시트 x 5M 무광 연분홍 컬러시트지 단색시트 실루엣카메오4 실루엣포트레이트 사용가능 가구/인테리어>DIY자재/용품>시트지>단색시트지'
  • '타일 은박 시트지 10M 대용량 주방 싱크대 가구/인테리어>DIY자재/용품>시트지>타일시트지'
13.0
  • '영림임업 월판넬 아트월 오브제 템바보드 직각 대형 1200x2400x15T 구직각템바 주문재 영림161 1개 가구/인테리어>DIY자재/용품>패널'
  • '나무아트월 벽 패널 유럽 인테리어 나무벽지 마감재 장식 3D 보드 디자인 DIY 판넬 가구/인테리어>DIY자재/용품>패널'
  • '투명 패널 보드 3장 세트 플라스틱 지붕 선샤인 캐노피 FRP 아크릴 야외 판넬 가구/인테리어>DIY자재/용품>패널'
7.0
  • '도배 벽지 풀 바르는 기계 시공 롤러 접착 풀칠 셀프 스테인리스 가구/인테리어>DIY자재/용품>벽지>기타벽지'
  • '방수 실크벽지 1mX10m 스티커 천정 인테리어 셀프도배 로제 접착식벽지 광폭합지 부분 가구/인테리어>DIY자재/용품>벽지>뮤럴벽지'
  • 'LX하우시스 테라피 따스한화이트 1롤 5평 친환경 실크벽지 7043-01 가구/인테리어>DIY자재/용품>벽지>실크벽지'
11.0
  • '욕실천정재 화장실 천창 마감재 리빙보드-L 브라운안티화이트0 8래커 300x600mm 표준 액세서리 300X600 가구/인테리어>DIY자재/용품>타일>도기질타일'
  • '원형거울 스테인글라스 거울 모로코 스타일 인테리어 수제 모자이크 가구/인테리어>DIY자재/용품>타일>유리타일'
  • '금장 타일 육각 현관 300각 은장 주방 화장실 패턴 300X300 가구/인테리어>DIY자재/용품>타일>자기질타일'
3.0
  • '목재나라 멀바우 집성목 판재 책상 식탁 원목상판 선반 가구/인테리어>DIY자재/용품>목재'
  • '목재나라 방킬라이 데크 천연데크 울타리 펜스 가구/인테리어>DIY자재/용품>목재'
  • 'PB 파티클보드 목재구입 가구/인테리어>DIY자재/용품>목재'
12.0
  • '속빈 콘크리트 블럭 시멘트 큐 공간디자인 PU 구성 요소 경량 중공 벽돌 붓는 예술 장식 가구/인테리어>DIY자재/용품>파벽돌'
  • '3D 돌 효과 벽지 DIY 거실 가벽 스티커 PVC벽 가정용 방수 접착 시트지 가구/인테리어>DIY자재/용품>파벽돌'
  • '에코스톤볼마커 4개세트 나비 4개 가구/인테리어>DIY자재/용품>파벽돌'
0.0
  • '접시머리 외날피스 철판피스 4x65 10개입 TYF093 가구/인테리어>DIY자재/용품>가구부속품>나사/못'
  • '만능 가구다리 높이조절받침대 소음방지 4개입 가구/인테리어>DIY자재/용품>가구부속품>가구바퀴'
  • '가구용 황동 주물 두줄 장식장다리 가구/인테리어>DIY자재/용품>가구부속품>가구다리'
5.0
  • '조립식 데크 타일 초콜릿 가구/인테리어>DIY자재/용품>바닥재>마루'
  • 'LG 데코타일 에코노 600 mm 9장 1평 1Box 엘지 테코타일 셀프시공 DTE6262-A3 3TX600X600 가구/인테리어>DIY자재/용품>바닥재>기타바닥재'
  • 'LX하우시스 렉스코트 6 5T 기능성 시트 상업용 바닥재 솔리드 1롤 15M SPF6403 가구/인테리어>DIY자재/용품>바닥재>장판'
1.0
  • '스티커 그래픽s 커피타임 GDT-967 가구/인테리어>DIY자재/용품>데코스티커'
  • '오버그로우 스마일동물캐릭터 아동방 벽장식 포인트스티커 벽인테리어B 가구/인테리어>DIY자재/용품>데코스티커'
  • 'INNOTECH 금연구역 스티커 금연 축광 야광 형광 위치표시 안전 소방 5800C01 4800C1 가구/인테리어>DIY자재/용품>데코스티커'
2.0
  • '대림비앤코 디움 멜로우데이지 플러스 거실욕실 리모델링 가구/인테리어>DIY자재/용품>리모델링>욕실/바스'
  • '화이트 카우보이문 카페 스윙도어 화장실 입구 중문 가구/인테리어>DIY자재/용품>리모델링>중문'
  • '국산 턱없는 신주평 호차 롤러 창문로라 문바퀴 문틀교체 슬라이딩 가구/인테리어>DIY자재/용품>리모델링>창문/창호/새시'
10.0
  • '가죽 가구 보수 리폼 패치 수선 시트지 스티커 가구/인테리어>DIY자재/용품>접착제/보수용품'
  • '마루 가구 보수재 크레용 연성컬러 네오스틱 7번 가구/인테리어>DIY자재/용품>접착제/보수용품'
  • '가죽 보수스티커120x60 대형 쇼파 의자 셀프수리 리폼 패치 가구/인테리어>DIY자재/용품>접착제/보수용품'
8.0
  • 'DP 5B AL 주물손잡이 빈티지 레트로 엔틱 중문 문손잡이 전면고정 가구/인테리어>DIY자재/용품>손잡이'
  • '가구손잡이 싱크대 신발장 서랍장 엔틱 가구손잡이 가구/인테리어>DIY자재/용품>손잡이'
  • 'SJB 방문손잡이 방문고리 문고리 문 손잡이 DIY AL920 가구/인테리어>DIY자재/용품>손잡이'

Evaluation

Metrics

Label Accuracy
all 1.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_fi0")
# Run inference
preds = model("다용도 방수 알미늄 시트지 방유 주방 가구/인테리어>DIY자재/용품>시트지>타일시트지")

Training Details

Training Set Metrics

Training set Min Median Max
Word count 2 9.0153 20
Label Training Sample Count
0.0 70
1.0 70
2.0 70
3.0 70
4.0 70
5.0 70
6.0 70
7.0 70
8.0 70
9.0 70
10.0 70
11.0 70
12.0 70
13.0 70

Training Hyperparameters

  • batch_size: (256, 256)
  • num_epochs: (30, 30)
  • max_steps: -1
  • sampling_strategy: oversampling
  • num_iterations: 50
  • body_learning_rate: (2e-05, 1e-05)
  • head_learning_rate: 0.01
  • loss: CosineSimilarityLoss
  • distance_metric: cosine_distance
  • margin: 0.25
  • end_to_end: False
  • use_amp: False
  • warmup_proportion: 0.1
  • l2_weight: 0.01
  • seed: 42
  • eval_max_steps: -1
  • load_best_model_at_end: False

Training Results

Epoch Step Training Loss Validation Loss
0.0052 1 0.4943 -
0.2604 50 0.497 -
0.5208 100 0.4938 -
0.7812 150 0.454 -
1.0417 200 0.31 -
1.3021 250 0.0825 -
1.5625 300 0.0174 -
1.8229 350 0.0104 -
2.0833 400 0.0018 -
2.3438 450 0.0002 -
2.6042 500 0.0001 -
2.8646 550 0.0001 -
3.125 600 0.0001 -
3.3854 650 0.0001 -
3.6458 700 0.0001 -
3.9062 750 0.0 -
4.1667 800 0.0 -
4.4271 850 0.0 -
4.6875 900 0.0 -
4.9479 950 0.0 -
5.2083 1000 0.0 -
5.4688 1050 0.0 -
5.7292 1100 0.0 -
5.9896 1150 0.0 -
6.25 1200 0.0 -
6.5104 1250 0.0 -
6.7708 1300 0.0 -
7.0312 1350 0.0 -
7.2917 1400 0.0 -
7.5521 1450 0.0 -
7.8125 1500 0.0 -
8.0729 1550 0.0 -
8.3333 1600 0.0 -
8.5938 1650 0.0 -
8.8542 1700 0.0 -
9.1146 1750 0.0 -
9.375 1800 0.0 -
9.6354 1850 0.0 -
9.8958 1900 0.0 -
10.1562 1950 0.0 -
10.4167 2000 0.0 -
10.6771 2050 0.0 -
10.9375 2100 0.0 -
11.1979 2150 0.0 -
11.4583 2200 0.0 -
11.7188 2250 0.0 -
11.9792 2300 0.0 -
12.2396 2350 0.0 -
12.5 2400 0.0 -
12.7604 2450 0.0 -
13.0208 2500 0.0 -
13.2812 2550 0.0 -
13.5417 2600 0.0 -
13.8021 2650 0.0 -
14.0625 2700 0.0 -
14.3229 2750 0.0 -
14.5833 2800 0.0 -
14.8438 2850 0.0 -
15.1042 2900 0.0 -
15.3646 2950 0.0 -
15.625 3000 0.0 -
15.8854 3050 0.0 -
16.1458 3100 0.0 -
16.4062 3150 0.0 -
16.6667 3200 0.0 -
16.9271 3250 0.0 -
17.1875 3300 0.0 -
17.4479 3350 0.0 -
17.7083 3400 0.0 -
17.9688 3450 0.0 -
18.2292 3500 0.0 -
18.4896 3550 0.0 -
18.75 3600 0.0 -
19.0104 3650 0.0 -
19.2708 3700 0.0 -
19.5312 3750 0.0 -
19.7917 3800 0.0 -
20.0521 3850 0.0 -
20.3125 3900 0.0 -
20.5729 3950 0.0 -
20.8333 4000 0.0 -
21.0938 4050 0.0 -
21.3542 4100 0.0 -
21.6146 4150 0.0 -
21.875 4200 0.0 -
22.1354 4250 0.0 -
22.3958 4300 0.0 -
22.6562 4350 0.0 -
22.9167 4400 0.0 -
23.1771 4450 0.0 -
23.4375 4500 0.0 -
23.6979 4550 0.0 -
23.9583 4600 0.0 -
24.2188 4650 0.0 -
24.4792 4700 0.0 -
24.7396 4750 0.0 -
25.0 4800 0.0 -
25.2604 4850 0.0 -
25.5208 4900 0.0 -
25.7812 4950 0.0 -
26.0417 5000 0.0 -
26.3021 5050 0.0 -
26.5625 5100 0.0 -
26.8229 5150 0.0 -
27.0833 5200 0.0 -
27.3438 5250 0.0 -
27.6042 5300 0.0 -
27.8646 5350 0.0 -
28.125 5400 0.0 -
28.3854 5450 0.0 -
28.6458 5500 0.0 -
28.9062 5550 0.0 -
29.1667 5600 0.0 -
29.4271 5650 0.0 -
29.6875 5700 0.0 -
29.9479 5750 0.0 -

Framework Versions

  • Python: 3.10.12
  • SetFit: 1.1.0
  • Sentence Transformers: 3.3.1
  • Transformers: 4.44.2
  • PyTorch: 2.2.0a0+81ea7a4
  • Datasets: 3.2.0
  • Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}
Downloads last month
1,128
Safetensors
Model size
111M params
Tensor type
F32
·
Inference Providers NEW
This model is not currently available via any of the supported third-party Inference Providers, and the model is not deployed on the HF Inference API.

Model tree for mini1013/master_cate_fi0

Base model

klue/roberta-base
Finetuned
(213)
this model

Evaluation results