SemiAnalysis的行业专家对最近爆火的Groq推理系统进行了像素级的拆解,测算出其持有成本依然高达现有H100的10倍,看来要赶上老黄的步伐,初创公司还有很多要做。
最近爆火的AI初创公司Groq,推出了比目前常见GPU推理系统快4倍,成本低70%的大模型推理解决方案。
他们提供的运行Mistral Mixtral 8x7b的API演示,让大部分习惯了其他LLM‘娓娓道来’的用户直呼,简直是魔法!
Groq在处理单个数据序列方面展现出了惊人的性能优势,这可能使得‘思维链’等技术在现实世界中变得更加实用。