合肥工业大学DeepSeek私有化服务快速部署

DeepSeek 人工智能 快速部署
项目背景

项目背景 项目背景

合肥工业大学作为一所致力于创新发展的高等学府,在教育教学、科研以及管理服务等领域对前沿技术有着强烈的需求。随着人工智能技术的快速发展,开源的DeepSeek大模型凭借其卓越的技术实力和广泛的应用前景,迅速吸引了众多科研机构和高校的关注。学校希望通过本地化部署DeepSeek大模型,为全校师生提供高效的科研辅助工具,推动教学模式创新,提升教育质量。

新学期伊始,学校面临在短时间内完成DeepSeek大模型部署的迫切任务,以确保师生能够尽早使用这一先进技术。然而,传统的技术获取与部署方式存在诸多挑战,例如:

  • 部署流程复杂,技术实施难度高;
  • 资源调配困难,难以满足多机多卡的计算需求;
  • 响应速度慢,难以在短时间内完成上线,尤其是服务全校师生时,从零开始部署难以满足时间要求。

幸运的是,学校此前已部署了EaaS高性能计算云平台,这一平台为AI大模型的快速部署提供了有力支持,极大地简化了技术实施的复杂性,为学校实现快速部署提供了技术保障。


客户需求

客户需求 客户需求

  • 自主可控的平台:需要一个学校能够自主管理和控制的计算环境,确保数据安全与隐私。
  • 快速部署能力:支持DeepSeek等大模型的快速上线,缩短从需求提出到实际应用的时间。
  • 高性能计算支持:提供灵活的计算资源调度,既能满足模型训练的高性能需求,又能支持高效的推理任务。
  • 多样化访问:考虑到师生的不同使用习惯和场景,需要提供多种访问调用方式,满足不同用户在不同环境下的使用需求。
  • 灵活扩展性:具备良好的适应性,能够随着技术进步快速扩展功能,快速添加各类AI大模型。
客户收益

客户收益 客户收益

  • 快速部署与稳定运行:通过公司技术团队的努力,1天完成 DeepSeek 系列大模型包括 DeepSeek R1 32B、70B 和 671B 等版本的本地化部署。经过一段时间的运行监测,系统稳定性良好,有效保障了师生的正常使用。
  • 多样化访问满足需求:提供网页访问、个人实例、公共集群三种调用方式。网页访问面向全校,简单便捷,适合轻度使用用户;公共集群支持多机多卡,可交互式访问和API 接口调用,适合需要较大参数或对速度要求较高的用户;个人实例支持网页访问、chatbox 访问、API 接口调用,适合个人使用。全方位满足了师生的多样化使用需求。
  • 灵活的资源分配:EaaS平台支持弹性伸缩,用户可以根据不同的AI模型和任务需求,动态调整计算资源,例如GPU、CPU和内存等。这种灵活性确保学校能够快速响应新技术对计算能力的要求。当新的AI模型需要更高的算力时,学校无需采购新硬件,只需通过平台即时分配相应资源即可。同时避免了传统硬件资源闲置浪费的问题,降低了资源管理的复杂性。
  • 数据安全保障:学校实现对数据的自主管理,确保数据安全与隐私,避免外部泄露风险,符合高校对数据隐私的高标准要求。
  • 高可用性:通过分布式多机部署和API的智能负载均衡,确保API服务的高可用性和稳定性,满足高并发请求。
  • 降低 IT 运维成本:EaaS 平台的集中化管理和运维特性,降低了学校 集群的运维成本。学校无需投入大量人力物力进行软件更新,可以将更多资源投入到核心的教学和科研工作中。

更多案例推荐

天文气象
国际合作

某天文台HPC平台

AIGC
影视渲染
算力平台

上海科技影都影视行业专属算力平台

校级平台
电子支付
统一纳管

华中科技大学校级算力平台

生物信息
Alphafold

复旦大学上海医学院医学科研数据中心

超算项目
教学实训
AI

北京邮电大学教学实训平台

超算项目
校级平台
科研计算
信创

兰州大学超算平台

获取
方案
公众号
抖音
bilibili