浪潮信息发布了一个新的AIStation人工智能推理服务平台，这是一种专门为企业级AI生产环境设计的计算能力调度软件。通过支持多源模型的统一调度，它可以支持推理服务资源的敏捷部署，并将模型部署的时间从两到三天减少到几分钟。它将有效帮助企业轻松部署AI推理服务，从而大大提高AI交付和生产效率。
目前，在生产部署阶段，AI模型的开发面临多重困难和挑战。在部署AI模型之前，需要进行大量的调试和测试，通常需要2-3天。人工智能在线服务计算资源大部分是固定的，导致对紧急需求的响应速度缓慢，并且业务扩展困难。由于AI模型的来源不同，因此很难实现统一管理。企业希望将AI模型培训开发和推理部署无缝链接，执行有效的资源调度和模型管理，并缩短业务启动时间。
浪潮最新发布的AIStation推理平台可帮助企业有效利用AI计算资源，并通过重要的技术创新(例如灵活和可扩展的体系结构，低延迟和轻量级设计，A / B测试和多模型加权评估)快速部署AI模型。一键式部署，日志监视，资源管理和控制以及数据处理等功能使推理平台成为全面而强大的AI资源平台。
通过支持本地部署和云部署，推理平台可在从开发到生产和部署的整个复杂过程中实现AI模型的快速自动化操作，并将模型部署时间从2-3天减少到几分钟。
在计算资源调度方面，推理平台能够为模型服务分配资源。得益于创新的灵活和可扩展的体系结构，可以根据推理服务资源需求的变化及时调整资源分配，从而将实例部署时间从几小时缩短为几分钟，以响应意外需求。还支持在发布新模型之前进行A / B测试，以在实际业务场景中验证模型，从而确保推理服务的安全性和可靠性，同时避免了由流量切换引起的集群负载压力。
在模型管理方面，推理平台实现了多源模型的统一调度。多源，多场景模型的推理服务通过统一的平台进行管理，可以实现对全局资源的实时控制以及模型服务的全面调度和动态部署。同一资源池支持多种模型服务，从而将资源利用率从40%提高到80%。还启用了多模型加权评估。可以为不同的模型设置权重，有效地提高实际业务场景中预测的可靠性，构建健壮且可靠的智能系统，并降低错误率。
浪潮信息以前曾启动过AIStation培训平台，该平台已被广泛使用。它采用了诸如计算资源的细粒度调度，训练数据的缓存加速以及分布式训练任务的自动调度等机制，将AI计算资源的利用率提高到90%以上，从而大大缩短了模型开发周期。随着浪潮AIStation推理平台的发布，AIStation资源平台完全支持培训和推理的两个主要场景，并能够有效地一站式交付整个AI开发过程，从模型开发到培训，部署，测试，发布和服务。
浪潮信息是人工智能计算解决方案的领先提供商。浪潮信息拥有跨AI计算，资源和算法三个主要平台的全栈产品功能，可帮助AI客户在语音，语义，图像，视频，搜索，网络和其他AI领域显着提高应用程序性能，并加速实施AI工业应用。
标签：
免责声明：本文由用户上传，如有侵权请联系删除！