transformers safetensors llama text-generation license:apache-2.0 autotrain_compatible endpoints_compatible text-generation-inference region:us
---
license: apache-2.0
---

使用我自己转换的

* chenshake/Llama-2-7b-chat-hf,
* mlabonne/guanaco-llama2-1k

  colab，进行微调。使用了QLoRA，可以在16G的T4，进行微调。

  colab notebook分享

  [Practical Introduction to Llama 2 Fine-Tuning](https://gist.github.com/shake/aa485a82d92d3d9712941f5efba90b9e)

colab 来自多个互联网朋友分享，我做了一点很小调整。大模型保存的格式为safetensors 格式，这是主流格式，而不是默认的pickle格式。

单独下载微调大模型进行测试。

[模型推理测试，notebook分享](https://gist.github.com/shake/cfaa59553bb746f03a3582fe08bc5ecc)


这是我看到的另外一个notebook，里面多了处理llama的chat的模板。需要好好理解
[数据集处理和微调过程](https://gist.github.com/shake/cc48640ead56c327f0f7541b63570348)

