AI领域的新速度之王Samba-1 Turbo：每秒1084 个token

AI 芯片厂商 SambaNovaAI最新推出的 AI 芯片 Samba-1Turbo 表现出色，被称为 AI 领域的新速度之王。据外部机构 Artificial Analysis 独立测试结果显示，Samba-1Turbo 在 Llama3Instruct（8B）上的输出速度达到每秒 1，084 个 token，创下了目前为止最快的记录。这一速度比 MetaAI 的 Llama3Instruct(8B)API 提供商的中位速度快 8 倍以上，甚至超越了之前推理速度最快的 Groq。

Samba-1Turbo 芯片是 SambaNova 的第四代设计，采用台积电的 5nm 工艺制造，具有支持更大模型的潜力，例如 Llama3400B+。Artificial Analysis 还验证了在 Samba-1Turbo 上运行的 Llama3Instruct（8B）通过 MMLU 基准测试，质量得分与全 FP16 精度一致。

Samba-1Turbo 的出现引发了业界的关注和讨论，被称为 AI 领域的新宠。该款 AI 芯片的性能表现令人惊叹，有望为人工智能应用带来全新的发展可能性。AI 领域的竞争愈发激烈，Samba-1Turbo 的问世必将为 SambaNovaAI 赢得更多市场份额。

SambaNova 目前尚未公开提供无服务器 API，但您可以通过他们的聊天界面试用他们的系统。