Update README.md
Browse files
README.md
CHANGED
|
@@ -23,20 +23,50 @@ library_name: llama.cpp
|
|
| 23 |
# Model Card for lianghsun/Llama-3.2-Taiwan-3B-Instruct-GGUF
|
| 24 |
|
| 25 |
<!-- Provide a quick summary of what the model is/does. -->
|
| 26 |
-
<a href="https://discord.gg/EAWvwDdwpP" target="_blank">[
|
| 27 |
|
| 28 |
|
|
|
|
|
|
|
| 29 |
|
| 30 |
-
圖像後製來自 [VisuaParadigm](https://online.visual-paradigm.com/)：被量化的 🦙 。
|
| 31 |
|
| 32 |
透過 [llama.cpp](https://github.com/ggerganov/llama.cpp) 將 [lianghsun/Llama-3.2-Taiwan-3B-Instruct](https://huggingface.co/lianghsun/Llama-3.2-Taiwan-3B-Instruct) 版本轉成 `.gguf` 和各種量化版本模型。
|
| 33 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 34 |
|
| 35 |
## More Information
|
| 36 |
|
| 37 |
請參考不同 tag 選擇對照的原始非量化的版本，最新的 main 分支對映的是 `v2025.01.01` 版本，有關原始非量化版本請參考原始模型 [lianghsun/Llama-3.2-Taiwan-3B-Instruct](https://huggingface.co/lianghsun/Llama-3.2-Taiwan-3B-Instruct) 介紹。
|
|
|
|
| 38 |
**已知問題：** 量化後的模型會有機率輸出全部簡體中文的情況，此問題目前尚未深入研究原因。
|
| 39 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 40 |
## Model Card Authors
|
| 41 |
|
| 42 |
[Huang Liang Hsun](https://www.linkedin.com/in/lianghsunhuang)
|
|
|
|
| 23 |
# Model Card for lianghsun/Llama-3.2-Taiwan-3B-Instruct-GGUF
|
| 24 |
|
| 25 |
<!-- Provide a quick summary of what the model is/does. -->
|
| 26 |
+
<a href="https://discord.gg/EAWvwDdwpP" target="_blank">[👋 歡迎加入 Discord 討論 🎉]</a>
|
| 27 |
|
| 28 |
|
| 29 |
+
<div align="center">圖像後製來自 [VisuaParadigm](https://online.visual-paradigm.com/)：被量化的 🦙 。
|
| 30 |
+
</div>
|
| 31 |
|
|
|
|
| 32 |
|
| 33 |
透過 [llama.cpp](https://github.com/ggerganov/llama.cpp) 將 [lianghsun/Llama-3.2-Taiwan-3B-Instruct](https://huggingface.co/lianghsun/Llama-3.2-Taiwan-3B-Instruct) 版本轉成 `.gguf` 和各種量化版本模型。
|
| 34 |
|
| 35 |
+
<details>
|
| 36 |
+
<summary><b>Model Change Log</b></summary>
|
| 37 |
+
|
| 38 |
+
| Update Date | Model Version | Key Changes |
|
| 39 |
+
|--------------|-----------------------|-------------------------------------|
|
| 40 |
+
| 2025-01-01 | v2025.01.01 | This version corresponds to the `v2025.01.01` release of [lianghsun/Llama-3.2-Taiwan-3B-Instruct](https://huggingface.co/lianghsun/Llama-3.2-Taiwan-3B-Instruct). |
|
| 41 |
+
| 2024-12-11 | v2024.12.11 | This version corresponds to the `v2024.11.27` release of [lianghsun/Llama-3.2-Taiwan-3B-Instruct](https://huggingface.co/lianghsun/Llama-3.2-Taiwan-3B-Instruct). |
|
| 42 |
+
|
| 43 |
+
</details>
|
| 44 |
|
| 45 |
## More Information
|
| 46 |
|
| 47 |
請參考不同 tag 選擇對照的原始非量化的版本，最新的 main 分支對映的是 `v2025.01.01` 版本，有關原始非量化版本請參考原始模型 [lianghsun/Llama-3.2-Taiwan-3B-Instruct](https://huggingface.co/lianghsun/Llama-3.2-Taiwan-3B-Instruct) 介紹。
|
| 48 |
+
|
| 49 |
**已知問題：** 量化後的模型會有機率輸出全部簡體中文的情況，此問題目前尚未深入研究原因。
|
| 50 |
|
| 51 |
+
## How to use in Ollama
|
| 52 |
+
|
| 53 |
+
根據 [Issue：ollama 直接run gguf會跑出文不對題](https://discord.com/channels/1310544431983759450/1327811803085799534) 討論串， [@k1dave6412](https://huggingface.co/k1dave6412) 查出原因是要調整預設的對話模板（chat template），請照著以下步驟啟用 Ollama：
|
| 54 |
+
|
| 55 |
+
```yaml
|
| 56 |
+
# Step 1:
|
| 57 |
+
# 請將 repo 內的 modelfile 下載到您的資料夾內，
|
| 58 |
+
# 然後修改第一行的 FROM，這裡請指定你要用的量化版本，比如：
|
| 59 |
+
FROM hf.co/lianghsun/Llama-3.2-Taiwan-3B-Instruct-GGUF:Q6_K
|
| 60 |
+
|
| 61 |
+
# Step 2:
|
| 62 |
+
> ollama create myllama32 -f ./modelfile
|
| 63 |
+
|
| 64 |
+
# Step 3:
|
| 65 |
+
> ollama run myllama32
|
| 66 |
+
```
|
| 67 |
+
|
| 68 |
+
更多關於 Ollama 的 Modelfile 設定，請參考 https://github.com/ollama/ollama/blob/main/docs/modelfile.md
|
| 69 |
+
|
| 70 |
## Model Card Authors
|
| 71 |
|
| 72 |
[Huang Liang Hsun](https://www.linkedin.com/in/lianghsunhuang)
|