
开yun体育网
作家 | 张子怡
裁剪 | 袁斯来
AI硬件赛谈,似乎通宵之间跨入新寰球。
上一个月,投资东谈主还在探询硬件大厂高P创举东谈主,这一个月,他们依然启动寻觅“下一个Mac mini”。
狂欢的起初,来自开源智能体框架OpenClaw(圈子里称为:龙虾)。从抢购大内存的Mac mini到各样软硬大厂的联名主机,FOMO畏怯症席卷着统共东谈主。承载AI的硬件,如今成了不行错失的进口。
此前更多在极客圈子里风行的Agent Box忽然被推到前台。浮浅说,Agent Box即是⼀台面向个东谈主用户的AI专用建造,其存在的唯⼀筹划是在土产货运行大模子和自主代理。
市面上依然罕有家推出Agent Box的公司,包括Pamir、Violoop、Tiiny等等。Pamir估值提高2500万好意思元,而Tiiny AI推出的首款产物Tiiny AI Pocket Lab,在Kickstarter上众筹金额已达280万好意思金。有行业东谈主士瞻望其最终众筹金额可能会超400万好意思金。
Tiiny AI Pocket Lab分量约300克,尺寸约一部手机大小,早鸟众筹价为1399好意思元,支执一键部署大模子(最高支执120B)不依赖云霄、行状器或高端GPU,也不产生罕见的Token蹧跶用度。
Tiiny AI无疑踩中风口,毕竟用户只需要花单次硬件的钱,便能无穷量地使用“龙虾”。
不外,Tiiny AI副总裁兼买卖化郑重东谈主Eco Lee在采访中曾反复强调:Tiiny AI Pocket Lab不是特意为Open claw遐想,它是为个东谈主遐想的AI基础方法建造。
这听起来很迷东谈主,以致有些难以置信。东谈主们必须伸开新的遐想,agent原生意味着什么,要实现什么?当制约咱们使用AI的只剩下立志的Token用度,咱们又若何突破这一轨则?
Tiiny AI尝试给出一个谜底。
01 何谓Agent Box在连结Tiiny AI之前,需要厘清一个新的产物想法——到底什么是Agent Box(智能体盒子)?
在夙昔一年里,为了在土产货运行开源大模子,东谈主们们尝试过各式决策:有东谈主用淘汰的旧电脑,有东谈主抢购顶配的Mac mini。
这笔硬插足十分立志。倘若用户想在土产货端运行提高120B的大模子,购买PC电脑要凑近80GB的显存,整机本钱提高5万元;即便选择苹果的Mac Studio(选配96GB和洽内存版),也要破耗提高2万元。
“你是否吹法螺买台电脑,只用来跑大模子?目下许多几万元的AI电脑,一朝启动土产货大模子的时刻,内存与算力就被过度占用,你以致连一个网页齐打不开。更别提打游戏或者看视频。”Eco说到。
除了建造自己支拨以外,跟着Token价钱水长船高,立志的执续使用本钱,也让“土产货化部署”成为行业刚需。
因此,在Tiiny AI的产物构想里,其产物必须是台特意的AI建造,大要支执土产货大模子和智能体7×24小时后台运行。其遐想逻辑并非替代用户的个东谈主电脑,而是行为外接孤苦建造,供手机、PC、平板或机器东谈主等末端建造接入调用。系统默许将用户数据、把柄和责任流保存在土产货,明锐操作无需上传云霄,除非明确条目调用更强的云霄模子。
在软件生态方面,建造将内置Agent Store,目下已适配OpenAI OSS、Qwen、GLM 等50余款开源大模子,以及 OpenClaw、n8n 等超百款智能体拓荒器具。
为构建丰富的端侧生态,Tiiny AI绸缪于本年7月推出模子风光转机器具,除了Tiiny官方支执的SOTA开源模子外,用户也可自行从Hugging Face等开源社区下载、转机并导入其他开源模子和用户我方的微调模子,并能上传共享给其他Tiiny用户。
“我频频给用户打个比喻,云霄的大模子就像瓶装矿泉水,好喝也要喝,但无为用户有大齐高频、疏导、迫临个东谈主民风、又不需要顶级才能的AI需求,就像用矿泉水洗手耽溺就太奢侈了。Tiiny的存在就像属于用户的‘AI水龙头’,你不错粗略使用、token旯旮本钱为0。”Eco告诉硬氪。
在Eco看来,云霄大模子专注处理高才能、高精度、要道性任务,土产货大模子则聚焦平淡高频、个性化、带用户弥远追想的执续交互场景——这种“端云协同”模式,恰是Tiiny AI,亦然Agent Box最中枢的价值场所。
在期待、掌声与绵绵握住的投资东谈主邀约中,Tiiny AI不免要濒临质疑。它必须文牍的第一个问题,就所以并不立志的售价,若何实现前沿的产物理念,以及120B的参数模子?
02 是玩物照旧器具在国外reddit论坛上,对Tiiny AI Pocket Lab的评价南北极分化。有东谈主说这只会是玩物,以致有东谈主通过宣传照逆向工程了Tiiny AI的产物,认为其所声称的功能很难果然实现。
他们质疑的点在于,Tiiny AI并未公布其所用的SoC(系统芯片)品牌,也莫得使用高端的GPU,却能在土产货运行120B的大模子。
这令东谈主以为不行想议。
“咱们是一家AI Infra公司,中枢是通过系统性底层优化,把有限硬件的每一分算力与资源,一齐聚焦于LLM推理与Agent运行,这与其他作念硬件的想路有内容不同。”Eco默示。
Tiiny AI Pocket Lab里使用的芯片是一颗SoC外加一颗dNPU,并通过Tiiny AI最中枢的本领PowerInfer来实现忘形Nvidia、AMD等高端GPU芯片的土产货模子推理才智。
PowerInfer是用于端侧的异构算力推理加快本领,Tiiny AI团队通过大齐的数据测算和语料践诺发现,大模子推理经过中,参数激活模式分为两类:“热激活参数”(每次与模子交互齐会调用的中枢参数,约占20%)和“冷激活参数”(仅在用户问到医学、法律等特定界限问题时激活,约占80%)。这种冷热激活的特质,偶然稳健在端侧异构算力架构下优化分派。团队开源过PowerInfer的示例:用单个NVIDIA RTX 4090 GPU,运行参数目175B的大模子,速率能达到传统决策的11倍。
这些齐属于AI Infra层面的本领积存。从芯片层到Agent诊疗层,再到模子践诺层,齐需要深厚的knowhow支执。
在具体的落地场景中,Tiinny AI团队从Kickstarter的留言区中发现,其用户主淌若使用如OpenClaw一类开源利用的无为用户、对数据隐特有刚需的专科东谈主士和AI极客。即使在断网的离线环境下,该建造依然不错运行多步推理、Agent责任流、内容生成以及针对明锐数据的安全计较。“傻瓜式”的开箱即用、0token费的24/7 Agent和统统的自主轨则权是这些东谈主选择Tiiny的核激情由。
而况,该建造在系统内引入了弥远追想功能。用户的交互偏好、历史文献与对话记载,均能通过加密形势径直存储在土产货硬件中。
“诡秘是Agent Box的加分项,但中枢在于土产货模子的部署,它大要邻接你的弥远追想主动作念事情,这件事最伏击。”Eco告诉硬氪。
Tiiny AI的产物瞻望在2026年8月录用。需要闪耀,Tiiny是AI Agent设置的团队,其最终产物呈现仍然是硬件。他们有相助供应商,但也需要唐突量产中的突发情况。
硬件坐褥有太多需要趟过的河流,磨真金不怕火团队的并非融资,而是果然已毕诱东谈主的答应:在一个300克的盒子上开yun体育网,实现土产货算力解放、不受Token价钱经管、统统高深。
