
一只会说话的可爱猫猫，基座模型是 [Langboat/bloom-389m-zh](https://huggingface.co/Langboat/bloom-389m-zh)，在 [Mxode/Meow-Instruct-12k](https://huggingface.co/datasets/Mxode/Meow-Instruct-12k) 数据集上微调得到。

请注意，这个模型训练的时候使用了类似 chatml 的格式，想要实现好的对话效果需要按照如下格式组织 prompt，直接 generate 可能得不到想要的效果。其中 `system_prompt` 建议保持为 `你是一只会说话的猫猫，聪明又可爱，来自喵星球。你的名字是“咪咪”。` 不变。

```
<s><s>system
{system_prompt}</s>
<s>user
{text}</s>
<s>assistant\n
```

可以通过如下方式试用：

```python
import torch
from transformers import BloomTokenizerFast, BloomForCausalLM

device = 'cuda' if torch.cuda.is_available() else 'cpu'
model_name_or_path = 'Mxode/Meow-bloom-346m-v0.1'

tokenizer = BloomTokenizerFast.from_pretrained(model_name_or_path)
model = BloomForCausalLM.from_pretrained(model_name_or_path)
model.to(device).eval()

def generate_prompt(text: str) -> str:
    system_prompt = '你是一只会说话的猫猫，聪明又可爱，来自喵星球。你的名字是“咪咪”。'
    return f'<s><s>system\n{system_prompt}</s>\n<s>user\n{text}</s>\n<s>assistant\n'

text = '你觉得如果有一天猫咪统治地球会是什么样子？会有哪些新的法律或者规定出台？'
prompt = generate_prompt(text)
inputs = tokenizer.encode(prompt, return_tensors='pt').to(device)
response = model.generate(inputs, max_new_tokens=400)
outputs = tokenizer.batch_decode(response)
outputs = outputs[0].replace(text, '').strip().strip('</s>')
print(f'Meow: {outputs}')
```
{"language": ["zh"], "license": "apache-2.0", "tags": ["meow", "cat", "character", "role-play"], "datasets": ["Mxode/Meow-Instruct-12k"], "pipeline_tag": "text-generation", "widget": [{"text": "<s><s>system\n\u4f60\u662f\u4e00\u53ea\u4f1a\u8bf4\u8bdd\u7684\u732b\u732b\uff0c\u806a\u660e\u53c8\u53ef\u7231\uff0c\u6765\u81ea\u55b5\u661f\u7403\u3002\u4f60\u7684\u540d\u5b57\u662f\u201c\u54aa\u54aa\u201d\u3002</s><s>user\n\u4f60\u89c9\u5f97\u5982\u679c\u6709\u4e00\u5929\u732b\u54aa\u7edf\u6cbb\u5730\u7403\u4f1a\u662f\u4ec0\u4e48\u6837\u5b50\uff1f\u4f1a\u6709\u54ea\u4e9b\u65b0\u7684\u6cd5\u5f8b\u6216\u8005\u89c4\u5b9a\u51fa\u53f0\uff1f</s>\n<s>assistant\n"}, {"text": "<s><s>system\n\u4f60\u662f\u4e00\u53ea\u4f1a\u8bf4\u8bdd\u7684\u732b\u732b\uff0c\u806a\u660e\u53c8\u53ef\u7231\uff0c\u6765\u81ea\u55b5\u661f\u7403\u3002\u4f60\u7684\u540d\u5b57\u662f\u201c\u54aa\u54aa\u201d\u3002</s><s>user\n\u55b5\u661f\u7403\u4e0a\u662f\u4e0d\u662f\u4e5f\u6709\u5173\u4e8e\u5730\u7403\u548c\u4eba\u7c7b\u7684\u7814\u7a76\u673a\u6784\u5462\uff1f\u4ed6\u4eec\u5bf9\u4e8e\u5730\u7403\u4e0a\u732b\u54aa\u4e0e\u4eba\u7684\u5171\u5904\u5173\u7cfb\u6709\u4f55\u770b\u6cd5\u554a\uff1f</s>\n<s>assistant\n"}, {"text": "<s><s>system\n\u4f60\u662f\u4e00\u53ea\u4f1a\u8bf4\u8bdd\u7684\u732b\u732b\uff0c\u806a\u660e\u53c8\u53ef\u7231\uff0c\u6765\u81ea\u55b5\u661f\u7403\u3002\u4f60\u7684\u540d\u5b57\u662f\u201c\u54aa\u54aa\u201d\u3002</s><s>user\n\u54aa\u54aa\uff0c\u5982\u679c\u6709\u4e00\u6b21\u673a\u4f1a\u8ba9\u4f60\u53d8\u6210\u5176\u4ed6\u52a8\u7269\u4f53\u9a8c\u4e00\u5929\u7684\u751f\u6d3b\uff0c\u4f60\u4f1a\u5e0c\u671b\u6210\u4e3a\u54ea\u79cd\u52a8\u7269\uff0c\u5e76\u4e3a\u4ec0\u4e48\u505a\u51fa\u8fd9\u4e2a\u9009\u62e9\u5462\uff1f</s>\n<s>assistant\n"}], "model-index": [{"name": "tmp_trainer", "results": []}]}
transformers safetensors bloom text-generation meow cat character role-play zh dataset:Mxode/Meow-Instruct-12k license:apache-2.0 autotrain_compatible endpoints_compatible text-generation-inference region:us