region:us
RWKV-5.2-90M-NSFW基于RWKV5.2架构，模型宽度为512，拥有8个注意力头，一共8层。<br>
模型基于a686d380/h-corpus-2023数据集进行训练，训练长度从384,扩展到1920,最终达到了3840。<br>
网页上提供的模型可以被RWKV Runner等常见加载器直接加载。<br>
模型因为数据清洗不足、参数量过小、在转换成pytorch的时候存在精度丢失(疑似)、没有经过预训练、作者个人能力不足等多方面问题模型效果一般。<br>
体验图一乐级别，但是它跑的真的好快，在轻薄笔记本上都跑的飞快。<br>
这个小东西的训练完成，标志着我的训练代码基本完善，下一次我会带来更有意的RWKV模型。<br>
祝你玩的开心，再见。<br>