# OrionStarAI-Orion-14B-LongChat-gguf
[OrionStarAIさんが公開しているOrion-14B-LongChat](https://huggingface.co/OrionStarAI/Orion-14B-LongChat)のggufフォーマット変換版です。

## Licence
元モデルのライセンス項目をご確認ください。   
[orion-14b-series-models-community-license](https://huggingface.co/mmnga/OrionStarAI-Orion-14B-LongChat-gguf/blob/main/LICENSE)

他のモデル  
[mmnga/OrionStarAI-Orion-14B-LongChat-gguf](https://huggingface.co/mmnga/OrionStarAI-Orion-14B-LongChat-gguf)  
[mmnga/OrionStarAI-Orion-14B-Chat-RAG-gguf](https://huggingface.co/mmnga/OrionStarAI-Orion-14B-Chat-RAG-gguf)  
  

## Usage

```
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'OrionStarAI-Orion-14B-LongChat-q4_0.gguf' -p "User: 今晩の夕食のレシピを考えて \n Orion-14B: " -n 128 --frequency-penalty 0.5 --frequency-penalty 0.5 --top-k 5 --top-p 0.9 -e 
```
{"license": "other", "license_name": "orion-14b-series-models-community-license", "license_link": "LICENSE"}
gguf license:other region:us