上个月产品经理提了个需求:"用户上传名片,我们要自动把上面的姓名、电话、公司名字提取出来,自动填进表单里。或者用户拍个发票,把发票号码抠出来。"我第一反应是接第三方的 OCR 云服务,结果一查价格,贵得离谱,而且断网还不可用。最后在鸿蒙的底层包里翻到了 Core Vision Kit,发现系统竟然自带了端侧的文本识别能力,不仅免费,速度还极快。

初始化本地视觉引擎
端侧的模型是打包在系统底层的,无需下载巨大的模型文件。调用前,我们需要通过 @ohos.ai.vision 引入相关模块。
typescript
import vision from '@ohos.ai.vision';
import image from '@ohos.multimedia.image';
let textRecognitionEngine: vision.TextRecognitionEngine;
async function initOcrEngine() {
// 配置识别参数
const config: vision.TextRecognitionConfig = {
// 中文简体+英文
language: vision.TextRecognitionLanguage.CHINESE_ENGLISH,
textType: vision.TextRecognitionType.GENERAL
};
// 核心动作:初始化本地引擎
textRecognitionEngine = await vision.createTextRecognitionEngine(config);
}
初始化是非常快的,通常只需要几十毫秒。这就是端侧 AI 的优势。
输入图像与提取结构化文本
引擎准备好后,我们需要把用户的图片(PixelMap)喂给它。
typescript
async function recognizeText(pixelMap: image.PixelMap) {
if (!textRecognitionEngine) return;
try {
// 核心动作:传入图像进行推理
const result = await textRecognitionEngine.recognizeText(pixelMap);
if (result && result.length > 0) {
for (let block of result) {
// 打印识别出的文本块
console.info('识别到文字: ' + block.value);
// 还能拿到文字的边界坐标,用于画 UI 上的识别框
console.info('边界坐标: ' + JSON.stringify(block.boundingBox));
}
}
} catch (err) {
console.error('文字识别失败', err);
}
}
执行这段代码,底层会利用 CPU 或 NPU 进行推理,返回的结果不仅包含文字内容,还包含了每一个字或词在图片上的坐标位置。
应对复杂背景与图像预处理
警示:直接用原图去识别,成功率往往极低。特别是发票或者名片,如果有反光、阴影、或者拍摄角度倾斜,引擎直接就懵了。
在把 PixelMap 传给引擎之前,必须做一次预处理。利用 ImageSource 和 ImagePacker,先把大图降采样到合适的尺寸(比如长边不超过 1280),然后裁剪出核心区域。如果是黑白分明的文档,还可以通过调整对比度,让文字更锐利。预处理做得越好,识别率越高。
业务层的正则校验与容错
拿到的文本块是一堆字符串。要把它们变成"姓名"、"电话",必须用正则表达式去匹配。
typescript
function extractPhoneNumber(textBlocks: Array<string>): string | null {
const phoneRegex = /(1[3-9]\d{9})/g;
for (let text of textBlocks) {
const match = text.match(phoneRegex);
if (match) {
return match[0];
}
}
return null;
}
此外,识别引擎可能会把"0"识别成"O",把"1"识别成"I"。必须在业务层做一轮混淆字符的替换,并让用户可以在提取结果框里手动修改。端侧视觉不仅省了钱,保护了隐私,更是提升了用户的操作效率。只要把图像预处理和正则解析结合起来,这个功能就能做到商业可用。