唤醒端侧的视觉大脑,鸿蒙 Core Vision Kit 图像文字识别

上个月产品经理提了个需求:"用户上传名片,我们要自动把上面的姓名、电话、公司名字提取出来,自动填进表单里。或者用户拍个发票,把发票号码抠出来。"我第一反应是接第三方的 OCR 云服务,结果一查价格,贵得离谱,而且断网还不可用。最后在鸿蒙的底层包里翻到了 Core Vision Kit,发现系统竟然自带了端侧的文本识别能力,不仅免费,速度还极快。

初始化本地视觉引擎

端侧的模型是打包在系统底层的,无需下载巨大的模型文件。调用前,我们需要通过 @ohos.ai.vision 引入相关模块。

typescript

复制代码
import vision from '@ohos.ai.vision';
import image from '@ohos.multimedia.image';

let textRecognitionEngine: vision.TextRecognitionEngine;

async function initOcrEngine() {
  // 配置识别参数
  const config: vision.TextRecognitionConfig = {
    // 中文简体+英文
    language: vision.TextRecognitionLanguage.CHINESE_ENGLISH, 
    textType: vision.TextRecognitionType.GENERAL
  };
  // 核心动作:初始化本地引擎
  textRecognitionEngine = await vision.createTextRecognitionEngine(config);
}

初始化是非常快的,通常只需要几十毫秒。这就是端侧 AI 的优势。

输入图像与提取结构化文本

引擎准备好后,我们需要把用户的图片(PixelMap)喂给它。

typescript

复制代码
async function recognizeText(pixelMap: image.PixelMap) {
  if (!textRecognitionEngine) return;
  
  try {
    // 核心动作:传入图像进行推理
    const result = await textRecognitionEngine.recognizeText(pixelMap);
    
    if (result && result.length > 0) {
      for (let block of result) {
        // 打印识别出的文本块
        console.info('识别到文字: ' + block.value);
        // 还能拿到文字的边界坐标,用于画 UI 上的识别框
        console.info('边界坐标: ' + JSON.stringify(block.boundingBox));
      }
    }
  } catch (err) {
    console.error('文字识别失败', err);
  }
}

执行这段代码,底层会利用 CPU 或 NPU 进行推理,返回的结果不仅包含文字内容,还包含了每一个字或词在图片上的坐标位置。

应对复杂背景与图像预处理

警示:直接用原图去识别,成功率往往极低。特别是发票或者名片,如果有反光、阴影、或者拍摄角度倾斜,引擎直接就懵了。

在把 PixelMap 传给引擎之前,必须做一次预处理。利用 ImageSource 和 ImagePacker,先把大图降采样到合适的尺寸(比如长边不超过 1280),然后裁剪出核心区域。如果是黑白分明的文档,还可以通过调整对比度,让文字更锐利。预处理做得越好,识别率越高。

业务层的正则校验与容错

拿到的文本块是一堆字符串。要把它们变成"姓名"、"电话",必须用正则表达式去匹配。

typescript

复制代码
function extractPhoneNumber(textBlocks: Array<string>): string | null {
  const phoneRegex = /(1[3-9]\d{9})/g;
  for (let text of textBlocks) {
    const match = text.match(phoneRegex);
    if (match) {
      return match[0];
    }
  }
  return null;
}

此外,识别引擎可能会把"0"识别成"O",把"1"识别成"I"。必须在业务层做一轮混淆字符的替换,并让用户可以在提取结果框里手动修改。端侧视觉不仅省了钱,保护了隐私,更是提升了用户的操作效率。只要把图像预处理和正则解析结合起来,这个功能就能做到商业可用。