什么？大模子终于也启动减肥针了？阜新铁皮保温

这可不是我胡说，据 CNBC 报说念，苹果正在磋议初创公司 PrismML，后者以其近出的模子压缩工夫而著称，苹果但愿借此评估在 iPhone 上平直运行大鸿沟 AI 模子的可行。

（图源：CNBC）

要知说念这些年，每凯旋机发布会的 AI 顺次，我般王人会下坚决提起水杯。

倒也不是我和厂商有啥矛盾，实在是这套进程多量太熟了。先让 AI 挂念屏幕上的各式东西，再用各式图像编订去作念点个化调，或者是消掉相片里的路东说念主，然后本年还遍及加了个面目，叫出个语音助手帮你点杯咖啡。

但这倒不可全怪手机厂商，目下的主流大模子照实塞不进手机里，编订后的端侧模子，才调又实在不太够。到头来，大能宣传的也只消云霄新的东西，你看豆包了个 AI 播客，主流厂商基本上三个月内一说念跟进了。

问题来了，若是竣工大模子瘦凯旋机装得下，端侧 AI 助手就的确能转正吗？

54GB 降到 4GB，

模子压缩工夫要普及？

先，随着雷科技（ID：leitech）起来望望这两个问题：

PrismML 是谁？

凭证官网先容，PrismML 是攻模子压缩的初创公司，它脱胎于加州理工学院研究团队，背后有 Khosla Ventures、Cerberus 和 Google 解救，研究便是奈何在尽量不把模子压傻的前提下，把体积和运行老本狠狠干下来。

（图源：PrismML）

他们作念了什么？

PrismML 的念念路和 BitNet 这类低比特模子阶梯有同样之处，它通过大幅简化东说念主工智能模子里面信息的存储式来松开模子体积，将模子中的每个权重限制为二值或三值抒发，著裁汰存储和运行模子所需的内存。

具体来说，传统大模子的个参数，常常需要 16bit 以致 32bit 来保存。

（图源：HuggingFace）

在这种情况下，若是个 270 亿参数模子继承 FP16 精度，270 亿 ×2 Byte≈54GB，这便是 Qwen3.6-27B 在 FP16 下的大致体积。

别说智妙手机了，好多谗谄 PC 也很难竣工跑起来。

而在 PrismML 的念念路下，1-bit 版的参数王人会被简化为 {-1, +1} ，就像往时相片上的每个像素会保存 16 灰度，目下只需要保存黑、白两种灰度，天然信息蚀本巨大，可是体积能压缩到原版的 1/14，并能通过考试式还旨趣能。

（图源：PrismML）

在这个工夫的基础上，他们在 7 月 15 日老成出了 Bonsai-27B 模子，基于 Qwen3.6-27B 模子微调，在保留竣工高下文的基础上，将该模子从约 54GB 缩减至不及 4GB，使其可以在 12GB 内存的 iPhone 上原生运行。

要知说念，谷歌面向手机和边际成就出的 Gemma 4 E4B 约 3.65GB，PrismML 等于用差未几的"占大地积"，塞进了格式上 270 亿参数的密集模子。

使用体验先不盘考，硬件厂商看完细目两眼放光。

（图源：PrismML）

是以苹果会对这玩意儿感兴味，点王人不奇怪。

要知说念，苹果我方的端侧模子约莫是 30 亿参数，也用了 2 位量化、缓存分享这些技能，却只可负责手机上的及时翻译、相册搜索和邮件摘记这些，基本莫得 Agent 相关的履行能力。

而 Bonsai-27B 模子，仍保留了 Qwen3.6-27B 的部分 Agent 能力。

天然，能蚀本照旧有的。在 PrismML 我方的测试里，三值版笼统收获约莫保留全精度模子的 95，1-bit 版约 90，至于器具调用这些 Agent 很垂青的面目，蚀本会明。

社区测试也有东说念主反馈：PrismML 三值版块比较 Q4_K_XL 仍存在幻觉、Agent 轮回等问题，不外势是体积小，基本作念到了以 5.9GB 比好意思 17.9GB 的果。

（图源：Reddit）

但无论奈何说，能用便是比不可用要强。

从物理羡慕羡慕上的塞不下，到推行体验能不可经受，链接这么进下去，我以为后头就有得卷了。

AI 手机爆发在即，

端侧 AI 能力亟待训导

真谛的是，7 月 15 日，苹果智能、华为小艺、OPPO、小米、vivo 等七款提供手机端侧生成式东说念主工智能的模子工作，均已在网信部门完成备案。

你别说，这名单看着挺吵杂，铁皮保温明本年手机厂商王人启动雅致安排端侧 AI 了。

（图源：网信办）

原因也不难瓦解，像是见告摘记、通话整理、相册搜索、图片识别这些事情，根底没必要每次王人跑去云霄列队。

迥殊是聊天记载、相片和文献这种私东说念主信息，能在我方手机里管理天然好，酌量到 Grok 近爆发的秘籍门，我能瓦解大不但愿我方的信息在互联网上传来传去的热沈。

（图源：雷科技）

问题是，从我个东说念主的体验来看，目下各手机 AI 照旧以云霄为主，大部分断网以后就法使用了。

为什么会出现这种情况？目下手机的端侧 AI 又发展到了什么水平呢？

碰巧，我近也在 Google AI Edge Gallery 里试了 Gemma 4 E4B，可以给大分享下使用体验。

（图源：谷歌）

先，大要小心，Gemma 4 E4B 照旧算手机端侧模子里卓越能的款，翰墨、图片、音频王人能处理；模子下载好以后，断网照样能聊。

比如Ask Image，就达成了以往好多手机端侧 AI 很难作念好的多模态输入。

实测下来，Gemma 4 有着可以的图片识别能力。天然它对动漫角依然不太熟，可是关于画面里的特征捕捉作念得很可以，比较常见的食品、硬件、花草也王人能识别出来。

（图源：雷科技）

还有Ask Audio，多可上传 30s 音频并进行转写、挂念等。

这个就比较逊了，可能是因为我的灌音比较婉曲的起因，语音转翰墨出来的内容和原音频简直没联系系，目下可用挺般的，照旧老老重大用豆包或者千问来去顾比较好。

（图源：雷科技）

至于文本处理嘛 ...

我给几个能在手机端部署的模子喂了篇 2500 字傍边的著述，但愿它们给出对应的著述挂念。

终，只消 Gemma 3n E4B 和 Gemma 4 E4B 能完成任务，可是前者耗时快要两分钟，况兼给出的谜底持不住，后者给出的谜底加只言片语，主要信息点基本王人持到了，拿来快速扫云尔够用。

以致就连些过往管理不了的逻辑题，Gemma 4 E4B 也能通过万古候念念考拿下，仅仅念念考时候远在线大模子的反馈时候隔断。

在雷科技看来，Gemma 4 E4B 照旧解释，手机土产货模子照实颖慧活。

但只消在拿它作念摘记、改写、通俗识图，我得志用；可任务稍许复杂点，尤其触及长汉文、细节判断和内容创作时，它和在线大模子之间的差距依然很明，就别说 Agent 调用类的任务了。

要知说念，从压缩率和上看，Gemma 4 照旧是目下强的手机端侧 AI 了。

想要冲破这个果，苹果只可铁心现存的压缩式，通过在交流的空间内塞入大参数目的模子，大略才能让手机领有个不那么容易犯傻的大脑。

参数鸿沟不弥留，

率才是模子诈欺的要道

往时大谈大模子，总以为参数越多越有排面。

百亿仅仅起步，万亿也不嫌多，在发布会上报数字像菜阛阓称重，主个"我萝卜，又大又壮"。

看起来没问题，可是推走运行起来便是另回事了。

凭证 Jordan Hoffmann 团队的 Chinchilla scaling law 研究，在交流考试算力下，考试数据充分的 70B 模子能够过欠考试的 280B、530B 模子，哪怕是万亿参数的 MoE 模子，存占用和内存带宽依然是不小的问题。

（图源：arxiv）

弥留的是，参数如斯雄壮的模子，天然不可能参预谗谄末端。

端侧模子想要常驻手机，就得训导率，直面内存、功耗和散热问题。PrismML 的压缩算法，算是给各硬件厂商指明了条路，再加上千问、百度与苹果的土产货化配合，也算是让苹果三年前欢喜的"苹果智能"距离的确落地又进了步。

以后大模子的跳跃，巧合还要靠参数数字吓东说念主。

能在不大的存储空间里牢固责任，少犯傻，少发烧，要道时候真能帮上忙，这才是端侧 AI 下阶段该卷的东西。联系人：何经理相关词条:罐体保温施工     异型材设备     锚索    玻璃棉    保温护角专用胶

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。