云老大 TG @yunlaoda360

阿里云 Confidential AI 通过多种方式保证机密计算的性能，具体如下：

采用先进硬件架构与技术：阿里云 ECS g8i 实例采用 CIPU + 飞天技术架构，搭载最新的 Intel 第五代至强可扩展处理器，内置 AMX AI 专用加速器，能够大幅提高深度学习和推理性能，AI 推理性能最高提升 7 倍，深度学习场景性能最大提升 2 倍。同时，ECS g8i 实例支持 eRDMA 网络架构，具有大规模弹性 RDMA 加速能力，网络延时最低 8 微秒，为数据库、AI、大数据等常见应用带来进一步的性能跃升。

优化软件与架构设计：阿里云 Confidential AI 在架构设计上进行了优化，如在推理环境中运用 CPU TEE 和 GPU TEE，实现内存加密安全隔离，确保执行环境的安全性。同时，Confidential AI 能够无缝适配主流的 AI 推理框架，业务无需修改任何代码，就能轻松为用户部署安全可信的端到端模型部署、训练和推理框架，减少了因架构不兼容或代码修改带来的性能损耗。

实现组件缓存与复用：在用户使用 Confidential AI 进行推理时，如果因为负载均衡在多个节点拉同一个模型做推理，第二个节点拉同样模型时会利用缓存，可带来大概 23% 的性能提升。

支持多种机密计算平台：Confidential AI 技术内置在阿里云服务器操作系统 Alinux 中，率先实现了 Confidential AI Infra 的全栈升级覆盖，可广泛支持包括 Intel TDX、AMD SEV、海光 CSV 在内的多种机密计算平台及 NVIDIA Hopper 机密 GPU，用户可根据自身需求和硬件条件选择合适的平台，以保证机密计算的性能。