File size: 643 Bytes
9732bb8 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
# 使用 ties 方法进行模型合并的配置文件
base_model: "safe049/ParuMaid-Llama3-Chinese-8B" # 设置 ParuMaid-Llama3-Chinese-8B 作为基础模型
models:
- model: "safe049/ParuMaid-Llama3-Chinese-8B"
- model: "Undi95/Meta-Llama-3.1-8B-Claude"
parameters:
density: 0.5 # 控制合并中的稀疏度
weight: 0.5 # 合并权重，控制该模型对输出的影响
merge_method: ties # 选择 ties 作为合并方法
parameters:
normalize: false # 是否进行归一化处理
int8_mask: true # 使用 int8 掩码以降低内存占用
dtype: float16 # 设置为半精度浮点数以减少显存需求
|