FastChat 一行代码就可以开始聊天

https://github.com/lm-sys/FastChat

只需运行以下命令即可开始聊天。它会自动从 Hugging Face repo下载权重。

python3 -m fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0

（这里的7B是70亿模型参数，13B是130亿模型参数）

自带WEB UI，不过部署有些麻烦