常见小贴士

在使用 FunModel 过程中，您可能会遇到一些常见问题，这里为您整理了相关解决方案和最佳实践。

模型市场上没有我想要部署的模型怎么办？

如果您在模型市场上找不到所需模型，可以使用自定义部署功能来部署自己的模型。

部署方式选择

根据模型大小选择合适的部署方式：

小模型部署（14B及以下）

• 推荐方式：选择模型来源为 "ModelScope 模型 ID"

• 优势：部署流程简单，直接从 ModelScope 自动下载模型到您 NAS

大模型部署（14B及以上）

• 推荐方式：选择模型来源为 "对象存储OSS"

实用技巧：如果模型是 ModelScope 上的开源模型，可以尝试使用模型同步工具将模型从 ModelScope 下载到您的 OSS 空间

所有的 ModelScope 上的模型都可以一键部署吗？

并不是， 目前自定义部署：

• 针对大语言模型，可以通过 vllm 和 sglang 推理框架可以一键启动

  如果是最新的模型, 可能需要根据它的 readme 自己制作镜像，然后通过自定义镜像来完成部署

• 其他模型，可以通过 DevPod 进行开发，制作镜像， 完成模型服务的部署