伴随人工智能技术迅猛发展，从大型语言模型直至图像生成系统，各类复杂AI应用不断涌现。支撑这些应用高效运转的核心基础资源，乃是AI算力。领会AI算力的基本概念、构成要素以及发展现状，对于把握技术趋势、规划相关项目具备重要参考价值。

相关服务：香港CN2 GIA服务器租用

算力，简单来讲，是计算设备处理数据、执行指令的那种能力。在人工智能这个领域当中，AI算力专门指用于执行机器学习算法——特别要是深度学习模型训练以及推理任务所需要的计算能力，其衡量标准一般是以每秒执行的浮点运算次数也就是FLOPS来进行表示。比如说，一张在2022年发布的消费级显卡 RTX 4090，它的理论单精度浮点性能大概是83万亿次浮点运算每秒也就是83 。用于数据中心的高性能加速卡，像 H100，其FP8张量核心性能每秒超过1979万亿次浮点运算（1.979 ）。当下最先进的AI大模型，其训练过程常常要耗费数千乃至数万张这样的加速卡持续工作数周乃至数月，累计的算力消耗能达到10^25 FLOPS量级，等同于数千台高性能服务器全年无间断运行的总和。

早期，AI 算力的硬件载体主要依赖通用中央处理器，也就是 CPU。不过，深度学习涉及大量矩阵乘法以及卷积运算，而这些操作具备高度地并行性。所以，图形处理器，即 GPU ，因其具备大规模并行计算架构而成为主流选择。除了 GPU 以外，专为 AI 计算设计的张量处理单元，也就是 TPU ，以及神经网络处理单元，即 NPU 等专用芯片也变得日益重要。这些专用硬件，通过对数据流予以优化，以及对计算精度进行优化，比如支持混合精度训练，在能效比方面往往更具优势，在特定任务性能方面也往往更具优势，进而构成了当前多元异构的AI算力基础设施。

AI算力

先从部署模式这个角度来讲，能够获取AI算力的途径大概可以划分成三种类型。其中的第一种类型是自己搭建算力中心。企业或者机构依靠自身力量去采购服务器、加速卡以及与之配套的网络、存储、制冷等设备，并且组建专门的团队来开展运维工作。采用这种方式在前期的时候资本支出数额巨大，单单一台配备了8张高端加速卡的服务器其成本就有可能超过百万元人民币，而且建设周期一般情况下需要长达数月时间。除此之外，还需要持续不断地投入电力（单机柜的功耗能够达到10千瓦以上）、机房空间以及至少3至5人的专业运维团队，平均每年的人力成本大约为百万元。依行业调研所得数据来看，自建的算力中心，因业务负载存在波动情况，所以其计算资源在日均状态下的闲置率，有极大可能会高达60%以上，如此便致使总体拥有成本也就是TCO处于较高水平。

其中第二类为公有云算力服务，用户借助云服务商按自身需求来租用虚拟化的计算实例，像含有特定型号GPU的虚拟机或者容器，通过这种方式避免了重资产投入，开通时间能够缩短到晚分钟级别，而且通常支持按秒或者按小时计费，达成了成本的弹性化，主流云服务商在全球范围内部署了大规模数据中心，能够提供丰富的算力型号选择，然而，在业务流量处于高峰时段的时候，有可能会碰到资源争抢或者供应紧张的状况，并且长期稳定使用的租赁成本需要展开精细测算。

近年来兴起的边缘算力与分布式算力平台模式属于第三类，这种模式冀望联合前两者的优势，借助整合分布于不同地理位置的异构算力资源（边缘节点、区域数据中心等）来构筑统一的资源池，运用智能调度技术依照用户任务的需求（诸如延迟敏感型或计算密集型）把计算负载动态分配至最为合适的节点上加以执行。在理想的状况之下，这般的模式是能够达成好几个目标的哟：其一，是依靠资源的聚合以及复用，进而提升整体的算力利用率，借此把用户端的单位算力成本给降低下来；其二，是凭借广泛的节点覆盖，使得计算能够更贴近数据的源头抑或是终端用户，如此一来就能够把端到端的网络传输延迟降低超过80%，这对于实时推理、交互式AI应用来说是相当关键重要的；其三，是维持灵活的付费方式，用户是不需要为闲置的资源去付费的。就得达成高效调度，得有强盛的底层网络互联以及智能路由优化能力来作支撑，往往规定骨干网络拥有Tbps级那般的带宽调度能力。

AI算力

AI算力发展面临着诸多挑战，首先是能耗方面的挑战，大规模AI训练耗电量极为惊人，进而推动了对绿色计算以及更高效冷却技术（像液冷）的需求，依据部分公开数据，一些大型AI算力中心的功率密度已达到每机柜20至30千瓦，其年耗电量可与中小型城市相媲美，其次是硬件供应链的稳定性以及技术进步的速度，先进制程芯片制造具备复杂性，地缘政治因素有可能影响全球算力资源的分布与获取，最后是软件栈和生态的成熟度。采取怎样的方式，才可以使得复杂的异构算力资源，可以被上层应用便捷地调用，并且能够高效地调用，进而降低开发者的使用门槛，这依旧是一个重要的技术课题。

AI算力会持续朝着规模更大的方向演进，朝着能效更高的方向演进，朝着获取更便捷的方向演进，朝着调度更智能的方向演进。量子计算、光计算等新型计算范式，有望在将来为AI算力带来革命性突破。对于企业进而对于技术团队讲，理解不同各种算力供给模式的特点，结合自身业务在成本、性能、延迟、安全合规等方面的具体需求，做出合理理性化的算力基础设施选型呀以及架构设计，这会是成功部署并运营AI应用的关键前提之一。于技术迅速迭代的背景状况之下，维持架构的灵活特性与可拓展性能，借以面对未来算力需求以及技术的不断延续变化，这同样具备至关重要的意义。