贝有科技

BEIYOO·AI 简报:35B 模型挤进 3GB 内存,端侧 AI 开始学会精打细算

返回 AI 简报#3952026-10-14
BEIYOO·AI 简报:35B 模型挤进 3GB 内存,端侧 AI 开始学会精打细算 封面图

Share

分享本期简报

手机端可调起系统分享;桌面端可复制链接或扫码后转发。

本期重点
  • 面壁智能发布 MiniCPM-V 4.7,35B-A3B MoE 在 iPhone 17 Pro Max 上仅占约 3GB 内存,解码速度超过 13 token/s。
  • 1688 全面接入 Accio,把寻源、比价、谈单和多平台店铺运营交给同一套电商 AI 工作台。
  • 微软为 Excel Copilot 推出交互式画布,工作簿数据可以通过一句话生成随源数据更新的决策报告。
  • 千问澄清 Personal Agent 并非独立 App,而是嵌入千问应用并分批开放体验。
  • Anthropic 的受控实验显示,9B 模型已能在 9 类硬件中的 8 类上配置推理,但完整自主复制仍不可靠。
  • Character.AI 进入 Chapter 11,迪士尼 2000 万美元报价只是部分知识产权的起始竞标,并非收购整个平台。

今天的两条主线看似相反:MiniCPM-V 4.7 把更大的模型压进更小的设备,1688、Excel 和千问则把智能体铺进更大的业务入口。它们共同指向同一件事——AI 的竞争开始从模型参数转向运行位置与流程控制。端侧部署能降低延迟和数据外传,却也让更新、权限与设备安全更分散;企业需要同时管理云端工作流和端侧模型生命周期。

Deep Read

今日深读

35B 模型跑进手机后,端侧 AI 不再只是“小模型专区”

MiniCPM-V 4.7 的关键不在于把全部 35B 参数同时塞进内存,而是用稀疏 MoE、前瞻专家调度、量化和存储优化,只在需要时加载专家权重。官方称其在 iPhone 17 Pro Max 上以约 3GB 内存达到 13+ token/s。

这让端侧多模态模型能够承担更复杂的文档、图像与视频理解,同时减少持续上传数据的需求。但性能数据来自厂商测试,真实设备上的发热、耗电、存储读取和长时间稳定性仍需单独验证。

当模型分布到手机、PC 与物联网设备,企业治理也会从一个云端 API 扩展到大量终端:版本升级、模型来源、数据留存、撤回机制和被攻破后的隔离能力,都必须纳入设备管理。

By The Numbers

数字看板

3GB

运行内存

MiniCPM-V 4.7 35B-A3B 在 iPhone 17 Pro Max 的官方测试占用

13+

token/s

官方披露的端侧解码速度

1 亿+

年度活跃买家

1688 宣布可直接开通 Accio 的买家规模

Action Item

企业能抄的作业

为端侧 AI 建一张真实成本表

  1. 1选择一个含敏感图片或文档的任务,在同一设备上测试速度、内存、耗电和连续运行温度。
  2. 2分别记录纯端侧、云端和混合方案的完成率、单次成本与数据传输范围。
  3. 3建立模型版本、来源校验、远程停用和设备丢失后的数据清除机制。

News Briefing

今日快讯

今日快讯

1. MiniCPM-V 4.7 把 35B MoE 挤进约 3GB 内存,端侧多模态跨过新门槛【中国】

标签:端侧模型 / 多模态 / 开源

摘要:面壁智能发布 MiniCPM-V 4.7,提供 35B-A3B MoE 与 1B 两种规格。官方称 35B-A3B 借助 LES 前瞻专家调度、量化和存储布局优化,在 iPhone 17 Pro Max 上仅占约 3GB 内存,解码速度达到 13+ token/s,并支持 iOS、Android、鸿蒙及多类芯片平台。这个结果来自厂商测试,企业仍应在自己的设备上验证发热、耗电、持续运行和能力损失。

来源:OpenBMB 官方项目 · AIbase 产品报道

2. 1688 全面接入 Accio,超 1 亿买家和百万源头厂商可直接开通【中国】

标签:电商智能体 / B2B / 工作台

摘要:1688 宣布全面接入阿里全球电商 AI 工作台 Accio,覆盖超 1 亿年度活跃买家与 100 万源头厂商。买家侧可使用寻源、比价、谈单和多平台店铺管理能力,厂商侧则获得面向现货、定制与跨境场景的生意助手。AI 的价值由“生成一段商品文案”进一步延伸到采购和经营决策,但报价、库存与合同信息仍需人工确认。

来源:扬子晚报行业报道 · AIbase 产品报道

3. Excel Copilot 推出交互式画布,一句话把工作簿变成动态决策报告

标签:Microsoft 365 / Excel / 数据分析

摘要:微软为 Excel Copilot 推出交互式画布,用户可以用自然语言把工作簿数据生成可交互、可自动刷新的报告。画布与源数据保持连接,微软同时推进数据获取、清洗、Skill Builder 与 Skill Recorder,让重复分析流程能够被记录和复用。企业使用时应锁定指标口径与数据权限,避免漂亮画布掩盖底层公式或来源错误。

来源:微软 Excel 官方博客 · AIbase 产品报道

4. 千问 Personal Agent 开放申请,但不会另做一个独立 App【中国】

标签:个人智能体 / 千问 / 产品入口

摘要:千问团队澄清,外界所称“千问 Go!”实际是嵌入千问 App 的 Personal Agent,而非单独上架的新应用。体验申请入口已经开放,权限将分批放量;产品方向是让智能体在一个既有入口中持续理解用户并推进任务。相比再造一个 App,嵌入主应用能降低获客成本,但长期记忆、跨服务授权与误操作撤回需要更清晰的控制界面。

来源:潮新闻产品报道 · AIbase 产品报道

5. 字节 Seed 单设对齐与准备部门,大模型安全进入独立组织层级【中国】

标签:模型安全 / 组织治理 / 字节跳动

摘要:字节跳动 Seed 被报道成立“Seed Model - Alignment & Preparedness”部门,由严林负责并直接向 Seed 负责人吴永辉汇报。把对齐与前沿风险准备从通用研发中独立出来,说明安全工作开始拥有更明确的责任人与汇报链。组织架构本身不等于风险已经解决,后续仍要看评测门槛、发布否决权和事故披露机制。

来源:第一财经转述 · AIbase 行业报道

6. Anthropic 测试小模型跨设备复制:会“搬家”,还不会可靠地独立扩散

标签:AI 安全 / 自主复制 / 物联网

摘要:Anthropic Frontier Red Team 的受控实验显示,一个 9B 模型能够在 9 类测试硬件中的 8 类上配置推理,30B 以下模型也已能完成复制流程中的多个单独步骤,但端到端串联仍频繁出错。研究据能力趋势推测,小模型可能在数月内接近更完整的自主复制能力;这不是已经发生的互联网“数字蠕虫”,而是一项前瞻风险评估。企业应优先限制模型下载、执行和横向移动权限,并监测异常设备部署行为。

来源:Anthropic 官方研究 · AIbase 研究报道

7. IDC 数据显示英伟达中国 AI 芯片份额降至 34%,华为升至 28%【中国】

标签:AI 芯片 / 算力供应链 / 中国市场

摘要:IDC 数据经多家媒体披露,2026 年上半年英伟达在中国数据中心 AI 加速器市场的份额降至 34%,华为升至 28%,差距缩小到 6 个百分点。报道还称英伟达同期出货约 67.8 万颗,同比下降 44%,华为出货约 57.2 万颗。对模型团队而言,硬件结构变化会把兼容性、推理框架和迁移成本推到采购决策前台。

来源:AIbase 市场报道 · IDC 数据转述

8. Character.AI 进入 Chapter 11,迪士尼 2000 万美元只是部分 IP 的起始报价

标签:消费 AI / 破产重组 / 内容版权

摘要:Character.AI 已申请美国 Chapter 11 破产保护,并启动法院监督下的资产出售程序。迪士尼提出的 2000 万美元报价针对部分知识产权的非独占永久许可,并作为起始竞标价,并不等于已经收购整个平台;服务目前仍在运行。事件提醒消费级 AI 产品,用户规模之外还必须同时承担算力、内容版权、未成年人安全和可持续付费的压力。

来源:Ars Technica 报道 · AIbase 行业报道

9. 可灵预告 Kling 4.0,并把新一代视频模型带到洛杉矶科技周【中国】

标签:视频生成 / 出海 / 创作工具

摘要:可灵 AI 将在洛杉矶科技周举办 Kling 4.0 相关活动,并预告新一代视频模型即将上线。当前公开信息更多是活动预告,运动连贯性、指令服从和长镜头叙事是否提升,需要等待正式模型与可重复测试。对内容团队来说,版本升级的验收应包含人物一致性、镜头连续性、版权素材与单位成片成本。

来源:洛杉矶科技周官方日程 · AIbase 产品报道

10. Ambi 融资 2600 万美元,全天候上下文助手把隐私问题推到台前

标签:环境智能 / 语音助手 / 隐私

摘要:前 Plaud 高管 Peter Mo 创办的 Ambi 完成累计 2600 万美元融资,并在 iPhone、Mac 与 Apple Watch 推出应用。它可以选择持续收集环境对话,在会议进行中主动给出建议或调取知识;公司称功能默认关闭、不保存录音并加密数据,但第三方是否明确知情仍是未解决的问题。企业启用此类工具前,应要求显著录音提示、最小化留存和可审计的删除机制。

来源:TechCrunch 产品与融资报道 · AIbase 行业报道

11. WindBorne 用 700 颗自主气球提供气象数据,拿下最高 4900 万美元空军合同

标签:AI for Science / 气象数据 / 政府采购

摘要:WindBorne Systems 获得美国空军一份最高价值 4900 万美元的数据采购合同,军方将按需购买其自主气球网络采集的全球大气数据。公司目前约有 700 颗无引擎气球持续漂流并回传观测,用于改进天气预测与任务规划。这里的商业化重点不是卖一个模型,而是用独有传感网络持续供应高价值训练与决策数据。

来源:TechCrunch 行业报道 · AIbase 行业报道

12. 苹果吸收 Huxe AI 部分团队,以人才与技术许可补强个性化音频

标签:AI 人才 / 音频产品 / 苹果

摘要:苹果向欧盟委员会提交的信息显示,公司可以向 Huxe AI 的部分员工发出聘用邀请,并获得相关知识产权的非独占许可。交易属于常见的“人才收购加技术授权”,而非完整收购公司;Huxe 的个性化音频能力可能为 Podcasts 等产品提供新的推荐与生成空间。对 AI 初创公司而言,核心团队和可授权技术正在成为比公司整体更灵活的交易单元。

来源:欧盟委员会交易披露清单 · AIbase 行业报道

BEIYOO 判断

35B 模型在手机上以约 3GB 内存运行,说明端侧 AI 的上限正在被稀疏架构、调度和量化重新定义;1688、Excel 与千问则说明,智能体正在被嵌进采购、分析和个人工作入口。模型不再只分“大”和“小”,而要按任务把推理放到最合适的位置:隐私敏感、低延迟的步骤留在本地,重计算与共享知识交给云端。

这种分工也会增加治理复杂度。Anthropic 的复制实验提醒我们,一旦模型具备下载、执行和跨设备配置能力,终端就不能只被当作普通客户端。企业必须把模型版本、来源签名、权限和远程撤回纳入设备治理,同时用统一任务集比较端侧与云端的真实成本。

今日深读:端侧 AI 为什么开始摆脱“小模型”标签

传统端侧部署往往通过缩小参数量换取速度,模型能力也随之下降。MiniCPM-V 4.7 选择了另一条路:总参数规模达到 35B,但每次只激活约 3B 参数,并用前瞻专家调度提前加载下一层可能需要的权重。

这种方法把计算、内存和存储读取重新组合,让手机有机会运行更强的多模态模型。它特别适合图片理解、文档识别和需要隐私保护的现场任务,但厂商样机数据不能直接等同于所有设备的真实体验,长时间运行的温度、耗电和闪存寿命都需要验证。

对企业来说,端侧模型的意义不是完全抛弃云端,而是重新划分数据边界。最稳妥的架构通常是让本地完成敏感信息预处理与即时交互,再把经过授权的结果交给云端完成重推理和协作。

企业能抄的作业

  1. 选一个含敏感图片或文档的真实任务,在三台目标设备上连续运行 30 分钟,记录速度、内存、温度与耗电。
  2. 用同一组样例比较纯端侧、纯云端和混合方案的完成率、总时长、成本及数据外传范围。
  3. 为模型文件启用来源签名与版本清单,限制应用自行下载、执行或向其他设备复制模型。
  4. 设计远程停用和设备丢失后的清除流程,确保旧版本模型与本地缓存能够被撤回。

有类似的场景想推进?

先把目标、边界和验收方式聊清楚,再决定怎么开始。