芯东西（公众号：aichip001）

作家 |  程茜

剪辑 |  Panken

芯东西2月24日音信，2月20日，加拿大好意思妙AI芯片创企Taalas浮出水面：秘书总融资额已超2亿好意思元（约合东说念主民币14亿元）、推出首款可为纵情模子定制芯片的平台HC1，首款居品由24东说念主团队打造，共破耗3000万好意思元（约合东说念主民币2.1亿元）。

Taalas建设于2023年8月，那时代阶梯特立独行：无需软件而是将模子结构、参数与权重深度径直固化于硬件之中。其推出的居品便是集成了Meta Llama 3.1 8B模子的HC1平台。

整夜之间，Taalas的居品刷屏硅谷，应酬平台网友纷纷开启实测，并称其性能惊东说念主、将给英伟达GPU带来雄伟挑战。

HC1收受台积电6nm制程，芯单方面积与英伟达H100芯片超过，为815相同毫米。HC1芯片不错将通盘这个词8B版块的Llama 3.1模子集成到单个芯片上。

Taalas还模拟了DeepSeek R1-671B的多芯片经管决策，其存储通盘这个词671B模子收受了或者30个定制芯片，模拟收尾标明，DeepSeek R1-671B每用户每秒可生成约12000个token；Llama 3.1单个用户的生成速率可达17000 token/秒，速率接近Cerebras推理平台的10倍，英伟达H200的73倍、B200的48倍，构建成本为Cerebras现有决策的1/20、功耗仅为1/10。

Taalas首创东说念主兼CEO柳比萨·巴吉克（Ljubisa Bajic）曾任职AMD集成电路设想与架构总监、英伟达高等架构师。他2016年创立AI芯片公司Tenstorrent，2023年将其吩咐给Jim Keller（吉姆·凯勒）后，又创办了Taalas。

Taalas的另外两位首创东说念主是巴吉克的夫人、曾在AMD担任系统工程高等司理的莱拉·巴吉克（Lejla Bajic）以及曾在AMD担任高等设想工程师、在Tenstorrent担任工程师的德拉贡·伊格（Drago Ignjatovic）。

不外在应酬平台上，有不少用户吐槽：Taalas的居品照实快，但诞妄率过高。芯东西发问了“9.9和9.11比大小”以及经典的鸡兔同笼题目，该模子区别在0.001秒、0.017秒内给出了诞妄谜底。

▲应酬平台X上网友驳倒（左、中），芯东西推行体验截图（右）

巴吉克称，Taalas的极点决策可能很合适某些特定运用，本色是找到追求经济效益和速率而捐躯天真性的设施。

Taalas还泄漏了下一步相关，他们将基于HC1为第二款中等范畴的推理模子打造芯片，该模子瞻望于本年春季在实验室完成流片，并很快集成至其推理工作中；随后，该公司将基于第二代芯片平台HC2推出新大谈话模子，HC2将提供更高的算力密度与更快的践诺速率，相关在本年冬季肃穆部署。

体验地址：https://chatjimmy.ai/chats/648a53af-eb3f-4f81-a604-69e3dcec69ae

2月20日，Taalas肃穆推出首款芯片平台HC1，该平台已集成Meta Llama 3.1 8B模子，用于聊天机器东说念主演示与推理API工作。

其官方博客提到，基于HC1，Llama 3.1单个用户的生成速率可达17000个token/秒，速率接近Cerebras推理平台的10倍，构建成本为Cerebras现有决策的1/20，功耗为1/10。

Taalas发布了HC1集成Llama 3.1 8B的免费试用聚首。芯东西提议的需求是“请详备提供1960年至1972年阿波罗相关逐年的完好历史，包括任务宗旨、时代挑战、中枢东说念主员、翱游里程碑与科学发现。”Llama 3.1仅0.078秒就输出了谜底，每秒可输出15694个token，其输出内容对要津分类进行了摆列。

凭证Taalas发布的成本与蔓延对比数据，基于Taalas的芯片决策，Llama 3.1 8B的推理查询成本为每百万token 0.75好意思分（约合东说念主民币0.052元），DeepSeek R1的成本为每百万token 7.6好意思分（约合东说念主民币0.53元）。

不错看出，Taalas在token生成成本、蔓延上相较英伟达GPU收尾皆更好，尤其在参数范畴更小的模子上更是已毕了数目级的提高。

该公司的第一代芯片平台HC1收受了自界说的3位基础数据类型，这是因为他们在进行研发设想时，低精度参数阵势尚未形成尺度。

集成Llama时，Taalas还收受了激进的量化决策，混杂使用3位与6位参数，相较于GPU基准测试，会带来一定的精度耗费。

Taalas的收入开端将分为两块，推理即工作、HC硬件。在官宣博客中，Taalas将基于Llama 3.1 8B的HC1称作测试版工作，其宗旨是让路发者体验大模子推理已毕亚毫秒级速率、且成本近乎为零的同期，探索更多新运用。这一工作瞻望不会产生显贵收入。

一般而言，幸运五星彩手机官方app下载关于更新的模子，Taalas能在不到两个月内完成芯片定制。

巴吉克对此的发挥是，由于Taalas的芯片高度专科化，其设想比英伟达的同类居品更浅显，因此坐褥速率更快。举例一块Taalas芯片就能容纳一个完好的大谈话模子，将模子偏激权重硬编码到HC1中，然后将通盘这个词模子镶嵌到定制的专用芯片中，而无需像英伟达和其他公司那样依赖外部高带宽内存。

这也曾过中，该公司除名三个原则。

第一是绝对定制化（Total specialization）：其团队合计，在贪图机发展史上，深度专科化一直是让要津使命负载以极高效能脱手的最可靠门路之一。

因此，Taalas会为每个单独的模子坐褥最好芯片，也便是将特定的模子神经相聚映射到芯片自己，从而针对每个模子优化基础标准。

第二是已毕有储与贪图会通：此前，AI推理芯片架构设想入网算与存储互相分离，且二者脱手速率存在显贵差异，这径直导致现时AI推理硬件架构日趋复杂。系统不仅需要依赖先进封装、HBM堆栈与超高I/O带宽，再加上单芯片功耗攀升，只怕必须依靠液冷决策智商富厚脱手。

其博客提到，Taalas的冲突性就在于，将存储和贪图和洽在单个芯片上，并达到DRAM级别的密度，以此来经管此前贪图和内存分家的痛点。

第三是极致简化（Radical simplification）：在会通存储与贪图，并针对每个模子定制芯片的基础上，Taalas不错从压根上再行设想通盘这个词硬件堆栈。其最终得到的系统不依赖于复杂或突出的时代，不需要HBM、先进封装、3D堆叠、液冷等。

HC在设想时还进一步裁减了AI部署中的能耗和成本。HC系统每个机架的能耗为12-15千瓦，GPU每个机架的能耗则高达120-600千瓦。再加上Taalas的机架可收受风冷散热，从而进一步裁减数据中心的改形成本。

此外，Taalas HC1 PCIe卡确切不错安设在职何工作器中，并复旧英特尔和AMD的CPU。

凭借HC1的性能和极低成本，Taalas近期赢得了不少关心，但业界仍提议了反对办法。

其上风可想而知。即便云工作商每次模子更新时皆要更换数千颗加快芯片，在四年的可比使用周期内，Taalas决策的本钱支拨（CAPEX）仍能比其他AI加快决策从简60%–75%，同期还能为用户提供大家最快的AI推理工作。

企业担忧的要津之一在于，Taalas的决策清冷天真性。

使用其决策的企业将不得不永久适配团结固化模子的多个迭代版块，同期还要部署不同的芯片版底本脱手各别的模子。如斯繁荣的版块，会加剧数据中心的运营复杂度。

但《福布斯》合计，即便如斯这套决策依然相等合算。因为淌若一片系据中心只好少数几个模子，却占用了坐褥环境中绝大部分AI推理算力，那用这种专用芯片的性价比会很高。

企业缅思的另一个点是Taalas机架的使用寿命较短。

当今，英伟达和AMD的更新周期皆所以年为单元，但Taalas的方式就意味着，每个模子皆要随着更新。大模子基本1～1.5年就会迭代一次，而新一代芯片的研发相同需要2～3年。

针对这一隐忧，Taalas的粗心政策是，通过对两层金属层进行改造来升级基础逻辑层，无需透澈再行设想。《福布斯》臆想，Taalas很可能让台积电事前存储未完成的晶圆，以便添加这两层金属互连层，从良友毕在两个月内完成录用。

外媒Wccftech合计，当今Taalas的主要制约要素在于阛阓接受度和交易方式，其收受的固定编码决策，硬件照实会针对特定的大模子生进行定制，无法革新模子权重，但商量到其惊东说念主的生成速率与成本效益，这可能会让企业忽略其清冷天真性的不及。

Taalas已经已毕了单芯片部署Llama 3.1 8B，以及得胜用30颗芯片模拟部署DeepSeek R1模子，这也进一步展现了其收受集群式决策的后劲。关于改日的交易化探索，巴吉克称，他们但愿与诱骗者合营，并构建Taalas我方的基础标准来脱手开源模子，并提供API接口、销售芯片。

开端：《福布斯》、Taalas官网、EE Times

• 念主
• AI
• 打造
• 6nm