小米开源8亿参数全能文档模型，轻量OCR解锁手机智能解析新功能

01.发布与开源细节

10月30日当天的晚间时刻, 小米公司向外界正式做出了公布决定, 并且把Xiaomi-OCR-0这个模型的源代码进行了开源。该模型是基于Qwen3.5-0.8B-Base来进行构建工作的。公司方面完整无缺地公开了相关的模型权重文件。

同时推理代码也完全对外公示。浏览器交互式演示环境以及MCP服务都被列在了公开范围之内。就连Agent Skill工具包也没有例外。广大开发者们现在可以直接将上述资源进行调用操作。在此基础上开发者的后续步骤就是直接部署使用。

在训练阶段, 累计使用了大约1.7亿条高质量OCR和文档理解样本, 采用了三阶段的渐进式策略来操作, 先是从文本锚定开始搞起, 之后进入多任务预训练环节, 最后再到混合任务强化学习, 就这么一步一步地推进去进行相关工作的处理, 以此来确保对于底层解析能力能够逐渐地进行夯实操作。

02.三合一能力架构

Xiaomi-OCR-0这个能力, 把文档解析、关键信息抽取, 以及视觉问答这三类功能, 进行了统一模型的处理。在做文档解析的时候, 能够把正文内容, 还有复杂的表格结构, 加上公式部分都给还原出来。它输出的格式可以是Markdown样式, 也可以是LaTeX样式。

针对关键信息抽取这块工作来说, 它会面向发票, 比如像银行卡之类的证件材料, 去把这些需要的字段给提取出来, 最终的结果是以JSON格式存在的。至于视觉问答这个环节, 它是支持进行跨区域的查找检索工作的, 同时也具备对数值进行推理的 capabilities。

这套设计方案让模型能够做到识别文字, 同时也能拆解文档结构、提取关键字段以及回答相关问题, 这样一来就把从底层感知能力到高层认知能力的整个过程给覆盖住了, 于是就能够直接解决那些嵌套表格和密集的公式在结构化解析时遇到的难题。

03.权威基准实测成绩

在综合文档解析的那个基准评测项目里面,名字叫做OmniDocBench v1.6的那个版本上面龙南市就业服务平台, Xiaomi-OCR-0这个模型的得分是96.83。因为这个分数, 它排在所有拥有小于1B参数的模型的第一名位置上。

还有五个OCR视觉问答的基准任务, 这里面包括DocVQA、InfoVQA、ChartQA、OCRBench和TextVQA。这五个任务的平均得分结果是83.2。

更有说服力的一点是Real5-OmniDocBench这个测试。它是基于1355页的文档生成的。这些图像是通过扫描、弯曲、翻拍、光照变化以及倾斜这五种方式制得的。这样的操作一共生成了6775张图像。这种方式能够模拟出真实情况下的拍摄场景。在这些条件下, 模型依然保持了较高的解析精度。

04.训练方法创新点

训练的方式是采用一种异构的专家之间的共识机制, 这个机制要针对正文这种区域、表格这种区域以及公式这种区域来进行处理, 会联合多个OCR的专家模型来进行交叉校验的工作, 会通过三元组的共识投票的方式来滤除掉单一模型的偏见情况, 与此同时还要引入预测环节和重渲染环节还有视觉比对环节来形成一个闭环修正机制, 以此来修补行列错位这样的结构缺陷。

团队在考察了关于课程学习方面的相关规律后发现, 如果在基本解析内容尚未稳固之前, 就过早地引入更高层面的理解任务, 那么这会分散注意力, 而当基本功底扎实之后再加入用于视觉监督的OCR信号时, 还能够在纯解析基准上再多带来0.64分的增益提升。

05.手机端落地场景

这个模型已经被融入进小米手机的超级小爱这个功能里面去了, 用户只要短按AI键、三指上滑, 或者说是说出记一下这样的话, 系统就可以识别屏幕上的核心字段并且提炼出相应的信息放到岛上面去, 在需要的时候一触即达就可以使用了, 这将会把体验从之前被动地截屏转向一种主动的理解服务。

用户拿纸质发票、身份证和银行卡进行拍照, 系统就可以把这些内容直接变成结构化的字段, 这个工作就做好了。然后是收到航班号之后, 就直接去问还有多久才到机场, 这时候系统会联动着去查那些关于起飞和降落的实时动态信息。这样一来, 就让不同的应用之间的信息给串联起来了, 并且也能做到立刻就有了反应。

06.开源生态与产业影响

小米把完整模型的权重还有代码全都开源出来了, 这就让大家在端侧和智能体里集成文档理解能力的时候, 门槛变低了。现在大家竞争文档智能的重点, 已经从单纯堆砌参数数量, 转向去关注参数的使用效率以及在真实场景里面的鲁棒性了。这种0.8B规模的模型, 给中小企业还有边缘设备提供了一种确实可行的解决方案。

OCR现在正从单个的点状的识别工具, 变作可以被Agent调用的那种基础性的能力。小米这次选择开源, 它在生态圈里占据关键位置这个意义上的重要性, 远远大于那单次评测得到的那个排名情况。这种行为或者趋势, 很可能将会加速文档理解这种能力, 向着终端侧以及智能体生态这两个方向进行下沉和普及。

你觉得那个有0.8B参数的模型在手机本地运行的那个表现, 它能持续多长时间? 还是要被那些更大的那个模型给很快地追平了? 欢迎大家去那个评论区里来好好地聊聊这个问题, 如果你觉得这条内容还蛮有用的话, 就去点赞, 再去收藏它, 然后分享给你身边的那些正在做AI的那个朋友。