transformers safetensors llama text-generation license:apache-2.0 autotrain_compatible endpoints_compatible text-generation-inference region:us
---
license: apache-2.0
---
使用官方提供的Llama-2-7b-chat，通过colab，进行HF格式转换。目的是为了自己学习使用。

只需要修改Llama-2 的不同版本，就可以进行格式转换，并且上传到huggingface上。对比官方的转换结果，会有所不同，官方的HF版本提供2种格式，pickle和safetensors 格式。pickle有安全隐患，所以就只转换成safetensors 格式


[Llama_2原始模型转换HF格式.ipynb](https://gist.github.com/shake/bfd68fa8a54f7880db71644004ef2a99)

大家使用和测试的时候，需要更换你的hugingface的token。如果上传大模型，需要token有写入权限。

无需GPU，但是需要High memery。

官方提供的转换脚本，转换保存的文件格式是pickle格式， 这种格式不安全，需要修改脚本，直接转换成safetensors 格式。上面colab，已经进行了修改。

[HF转换脚本](https://github.com/huggingface/transformers/blob/main/src/transformers/models/llama/convert_llama_weights_to_hf.py)


