
[youri-7b-instruction](https://huggingface.co/rinna/youri-7b-instruction) を元に SFT で Q&amp;A + コンテキスト形式を学習しAutoAWQで量子化したモデルです。詳しくは以下を参照ください。

- [Q&A + RAG に特化したLLMをSFTで学習させ4bit量子化モデルを作り、GPT3.5以上の性能を7Bモデルで達成する](https://secon.dev/entry/2023/12/15/080000-qa-rag-llm-sft/)
- [学習コードや評価コード、サンプルコードなど](https://github.com/hotchpotch/youri-7b-sft-qa-context-jaqket/)
- [hotchpotch/youri-7b-sft-qa-context-jaqket-gptq](https://huggingface.co/hotchpotch/youri-7b-sft-qa-context-jaqket-gptq)
  - AutoGPTQ で量子化したモデル
- [hotchpotch/youri-7b-sft-qa-context-jaqket-awq](https://huggingface.co/hotchpotch/youri-7b-sft-qa-context-jaqket-awq)
  - AutoAWQ で量子化したモデル

{"language": ["ja"], "license": "llama2", "datasets": ["hotchpotch/jaqket_v1_qa_wikija_context"], "pipeline_tag": "text-generation", "inference": false}
transformers safetensors llama text-generation ja dataset:hotchpotch/jaqket_v1_qa_wikija_context license:llama2 autotrain_compatible text-generation-inference 4-bit region:us