请教下模型蒸馏的问题
#1
by
rookiez
- opened
你好，想请教一两个关于LLM模型蒸馏的问题：
- 蒸馏的时候，student 模型是全参数的，还是用lora 训练的， 想问下用Lora 训练的话会不会影响效果
2.蒸馏的logits 的时候，是对样本中每个token的logits 都蒸馏，还是只对label 中的token蒸馏？
抱歉这么晚回复，蒸馏的时候student 模型是全参数的，第二个问题我没理解你的意思，什么叫只对只对label 中的token蒸馏？
感谢，因为我是SFT 的任务，当时想问蒸馏的时候，是不是只 用response 部分的token计算损失， 还是整个句子上的token 计算损失，我已经都尝试过了，SFT 还是 response 部分计算损失效果更好