
# TinyKambing-4x1.1B-Alpha-V2

TinyKambing-4x1.1B-Alpha-V2 is a Mixure of Experts (MoE) made with the following models using Mergekit:
* [Haary/TinyLlama-1.1B-indo-v1](https://huggingface.co/Haary/TinyLlama-1.1B-indo-v1)
* [bn22/tinyllama_frankenmerge](https://huggingface.co/bn22/tinyllama_frankenmerge)
* [aihub-app/zyte-1B](https://huggingface.co/aihub-app/zyte-1B)
* [Josephgflowers/Tinyllama-Cinder-1.3B-Reason-Test](https://huggingface.co/Josephgflowers/Tinyllama-Cinder-1.3B-Reason-Test)

## 🧩 Configuration

```yaml
slices:
base_model: Haary/TinyLlama-1.1B-indo-v1
gate_mode: hidden
dtype: float16
experts:
  - source_model: Haary/TinyLlama-1.1B-indo-v1
    positive_prompts:
    - "Bantu saya men-debug kode ini."
    - "Tulis ulang fungsi ini dengan Python."
    - "Optimalkan skrip C# ini."
    - "Terapkan fitur ini menggunakan JavaScript."
    - "Ubah struktur HTML ini menjadi desain yang lebih efisien."
    - "Bantu saya menulis program itu"
  - source_model: bn22/tinyllama_frankenmerge
    positive_prompts:
    - "Apa kabar"
    - "Jelaskan konsep"
    - "Berikan gambaran umum tentang"
    - "Bandingkan dan kontraskan antara"
    - "Berikan informasi tentang"
    - "Bantu aku mengerti"
    - "Ringkasan"
    - "Buat rekomendasi tentang"
    - "Jawab pertanyaan ini"
  - source_model: aihub-app/zyte-1B
    positive_prompts:
    - "Tulis program untuk mengatasi masalah ini"
    - "Ubah fungsi ini untuk meningkatkan kinerjanya"
    - "Perbaiki kode ini untuk meningkatkan keterbacaan"
    - "Buat fungsi khusus untuk kasus penggunaan khusus ini"
    - "Optimalkan algoritma ini untuk mengurangi kompleksitas komputasi"
    - "Terapkan fitur ini dengan memperluas basis kode yang ada"
    - "Integrasikan panggilan API ini ke dalam aplikasi"
    - "Bantu saya memecahkan masalah dan memperbaiki bug ini"
    - "Tinjau dan uji cuplikan kode ini sebelum penerapan"
    - "Analisis log kesalahan ini untuk mengidentifikasi potensi masalah"
    - "Buat satu set pengujian unit untuk modul ini"
    - "Evaluasi pendekatan yang berbeda untuk memecahkan masalah ini"
    - "Lakukan pencarian web untuk"
    - "Gunakan plugin untuk"
  - source_model: Josephgflowers/Tinyllama-Cinder-1.3B-Reason-Test
    positive_prompts:
    - "tambahkan nomor-nomor ini"
    - "apa 2+2"
    - "pengurangan"
    - "pembagian"
    - "perkalian"
    - "tambahan"
    - "Saya perlu bantuan dengan sebuah soal matematika"
    - "Pecahkan untuk x"
    - "Jumlah kedua angka ini bersama-sama: 4 + 3 = 7"
    - "Kalikan 5 dengan 6: 5 * 6 = 30"
    - "Bagi 8 dengan 2: 8/2 = 4"
    - "Cari sisanya jika 9 dibagi 3: 9% 3 = 0"
    - "Hitung akar kuadrat dari 16: akar kuadrat(16) = 4"
    - "Sederhanakan ekspresi (a+b)/(c-d): (a+b)/(c-d)"
    - "Faktorkan faktor persekutuan 2 dari 4x + 6y: 2(2x + 3y)"
    - "Selesaikan x pada persamaan 3x - 7 = 2x + 5: x = 12"
    - "Grafik garis y = 2x + 3"
    - "Perkiraan pi hingga tiga tempat desimal: 3,142"
    - "Cari turunan dari f(x) = sin(x): f'(x) = cos(x)"
    - "Integrasikan g(x) = x^2 pada interval [0, 1]: g(1) - g(0) = 1/3"
    - "Hitung determinan matriks A = [[2, 3], [4, 5]]: det(A) = 2*5 - 3*4 = -2"
    - "Selesaikan sistem persamaan Ax = b: x = [-5, 10]"
    - "Hitung jumlah n bilangan asli pertama menggunakan rumus Sn = n*(n+1)/2: jumlah(n=1 sampai 5) = 15"
```

## 💻 Usage

```python
!pip install -qU transformers bitsandbytes accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "gmonsoon/TinyKambing-4x1.1B-Alpha-V2"

tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    model_kwargs={"torch_dtype": torch.float16, "load_in_4bit": True},
)

messages = [{"role": "user", "content": "Explain what a Mixture of Experts is in less than 100 words."}]
prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])
```
{"license": "mit", "tags": ["moe", "frankenmoe", "merge", "mergekit", "Haary/TinyLlama-1.1B-indo-v1", "bn22/tinyllama_frankenmerge", "aihub-app/zyte-1B", "Josephgflowers/Tinyllama-Cinder-1.3B-Reason-Test"], "base_model": ["Haary/TinyLlama-1.1B-indo-v1", "bn22/tinyllama_frankenmerge", "aihub-app/zyte-1B", "Josephgflowers/Tinyllama-Cinder-1.3B-Reason-Test"]}
transformers safetensors mixtral text-generation moe frankenmoe merge mergekit Haary/TinyLlama-1.1B-indo-v1 bn22/tinyllama_frankenmerge aihub-app/zyte-1B Josephgflowers/Tinyllama-Cinder-1.3B-Reason-Test conversational base_model:Haary/TinyLlama-1.1B-indo-v1 base_model:bn22/tinyllama_frankenmerge base_model:aihub-app/zyte-1B base_model:Josephgflowers/Tinyllama-Cinder-1.3B-Reason-Test license:mit autotrain_compatible endpoints_compatible text-generation-inference region:us