合肥工业大学DeepSeek私有化服务快速部署

合肥工业大学作为一所致力于创新发展的高等学府，在教育教学、科研以及管理服务等领域对前沿技术有着强烈的需求。随着人工智能技术的快速发展，开源的DeepSeek大模型凭借其卓越的技术实力和广泛的应用前景，迅速吸引了众多科研机构和高校的关注。学校希望通过本地化部署DeepSeek大模型，为全校师生提供高效的科研辅助工具，推动教学模式创新，提升教育质量。

新学期伊始，学校面临在短时间内完成DeepSeek大模型部署的迫切任务，以确保师生能够尽早使用这一先进技术。然而，传统的技术获取与部署方式存在诸多挑战，例如：

• 部署流程复杂，技术实施难度高；
• 资源调配困难，难以满足多机多卡的计算需求；
• 响应速度慢，难以在短时间内完成上线，尤其是服务全校师生时，从零开始部署难以满足时间要求。

幸运的是，学校此前已部署了EaaS高性能计算云平台，这一平台为AI大模型的快速部署提供了有力支持，极大地简化了技术实施的复杂性，为学校实现快速部署提供了技术保障。

• 自主可控的平台：需要一个学校能够自主管理和控制的计算环境，确保数据安全与隐私。
• 快速部署能力：支持DeepSeek等大模型的快速上线，缩短从需求提出到实际应用的时间。
• 高性能计算支持：提供灵活的计算资源调度，既能满足模型训练的高性能需求，又能支持高效的推理任务。
• 多样化访问：考虑到师生的不同使用习惯和场景，需要提供多种访问调用方式，满足不同用户在不同环境下的使用需求。
• 灵活扩展性：具备良好的适应性，能够随着技术进步快速扩展功能，快速添加各类AI大模型。

• 快速部署与稳定运行：通过公司技术团队的努力，1天完成 DeepSeek 系列大模型包括 DeepSeek R1 32B、70B 和 671B 等版本的本地化部署。经过一段时间的运行监测，系统稳定性良好，有效保障了师生的正常使用。
• 多样化访问满足需求：提供网页访问、个人实例、公共集群三种调用方式。网页访问面向全校，简单便捷，适合轻度使用用户；公共集群支持多机多卡，可交互式访问和API 接口调用，适合需要较大参数或对速度要求较高的用户；个人实例支持网页访问、chatbox 访问、API 接口调用，适合个人使用。全方位满足了师生的多样化使用需求。
• 灵活的资源分配：EaaS平台支持弹性伸缩，用户可以根据不同的AI模型和任务需求，动态调整计算资源，例如GPU、CPU和内存等。这种灵活性确保学校能够快速响应新技术对计算能力的要求。当新的AI模型需要更高的算力时，学校无需采购新硬件，只需通过平台即时分配相应资源即可。同时避免了传统硬件资源闲置浪费的问题，降低了资源管理的复杂性。
• 数据安全保障：学校实现对数据的自主管理，确保数据安全与隐私，避免外部泄露风险，符合高校对数据隐私的高标准要求。
• 高可用性：通过分布式多机部署和API的智能负载均衡，确保API服务的高可用性和稳定性，满足高并发请求。
• 降低 IT 运维成本：EaaS 平台的集中化管理和运维特性，降低了学校 集群的运维成本。学校无需投入大量人力物力进行软件更新，可以将更多资源投入到核心的教学和科研工作中。