人工智能技术的迅猛发展，推动了AI推理应用的落地。然而GPU等AI算力成本高昂、大模型参数越来越大、多模态模型让推理成本翻倍等一系列现实问题，成为制约AI应用广泛落地的关键因素。

“熊猫AI法律数智平台” 由广州睿律智能科技有限公司依托中国著名律师集团和专家团队研发的中国高质量法律知识图谱、海量数据库为基础，使用法律行业内领先的大模型技术，经过多年研发而成。对外提供连续智能问答、法律检索、问题研究、案件预测、法律文书和合同的写作、审查、翻译、比对等丰富专业功能。

为降低部署成本，优化使用效果，满足熊猫AI法律顾问场景的业务需求，超聚变提供基于英特尔^®至强^®可扩展处理器的AI推理一体机解决方案。

该解决方案基于超聚变高性能服务器，搭载第五代英特尔®至强®可扩展处理器，每个CPU具备8个通道DDR5内存，围绕大模型推理计算流程进行多重技术深度改造，可充分发挥CPU算力以满足20B以内大模型推理应用。让通用服务器也可以运行AI大模型推理应用，有效降低AI应用的起建成本，为客户提供普惠式AI推理应用机会。

充分利用AMX加速：充分发挥英特尔AMX向量化指令集和矩阵计算指令集的加速能力，实现AI高性能推理。

优化CPU和内存配置关系：根据模型参数量、CPU算力、内存带宽等信息设计最优的CPU和内存配置方案，充分匹配并发挥各环节资源优势，在模型推理过程中提供最优的读写带宽。

模型极致部署，提升推理并行能力：优化模型的部署策略，减少CPU之间的通信开销，提升推理任务执行时的并行处理能力，充分释放多核CPU的利用率。

创新的推理框架设计，智能精调推理调度策略：采用创新的推理框架设计，结合用户输入数据特征的智能精细化调度策略，提升推理任务的调度和执行效率，满足实时性要求。

此次应用实践，超聚变为熊猫AI提供基于英特尔®至强®可扩展处理器的2路和4路服务器。

在服务器稳定性方面：实践表明，2路和4路CPU推理服务器，能稳定运行熊猫AI法律顾问业务模型，确保业务连续性和性能要求。

在推理响应能力方面：服务器配置充分满足熊猫AI法律顾问业务大模型的推理响应需求，确保了业务处理的高效率和准确性，能够满足熊猫AI的业务并发访问需求。