什么是Cerebras
Cerebras Systems 成立于 2015 年,是一家总部位于桑尼维尔的美国人工智能公司,在圣地亚哥、多伦多和班加罗尔设有办事处。该公司专门开发用于复杂深度学习应用的革命性晶圆级计算机芯片和 AI 系统。他们的旗舰产品 Cerebras 晶圆级引擎(WSE)是有史以来最大的计算机芯片,大约有一个餐盘的大小,包含超过 1.2 万亿个晶体管。该公司最近已申请 IPO,估值超过 40 亿美元,标志着其在 AI 硬件市场的重要地位。
Cerebras 如何运作?
Cerebras 的技术核心是其晶圆级引擎(WSE)和 CS 系统,这些系统将计算、内存和互连结构集成到一个巨大的芯片中。与传统 GPU 在内存和计算核心之间移动数据时遇到的困难不同,Cerebras 的架构将所有模型层直接存储在芯片上,从而实现更快的处理。最新的 WSE-3 芯片提供 125 petaflops 的计算能力,具有 44GB 的片上 SRAM 内存和 21 PB/s 的带宽。通过他们的 Cerebras 推理服务,他们通过 API 提供对其技术的访问,使开发人员能够以高达每秒 2,100 个 token 的速度运行 AI 模型,如 Meta 的 LLaMA 3.1 - 显著快于基于 GPU 的解决方案。
Cerebras 的优势
Cerebras 的解决方案提供了几个关键优势:它比基于 GPU 的替代方案快 20 倍,同时仅消耗六分之一的功率;它通过在 16 位域中进行推理来保持最先进的准确性;它消除了分布式计算的复杂性,因为整个模型可以放在一个芯片上;并且它提供了具有成本效益的解决方案,推理成本据报道仅为传统云平台的三分之一。这些优势使其特别吸引从事实时或高容量 AI 应用的开发人员,尤其是在医疗保健、能源和科学计算等领域。
查看更多