[TensorFlow-Lite][深度学习]【快速简介-1】

明朝百晓生2024-07-09 15:03

前言：

很多场景下面我们需要需要把我们的深度学习模型部署到Android,IOS 手机上面.

Google 通过TensorFlow Lite 提供了对应的解决方案.

一端侧部署优点

1; 很多场景下面：无网络,数据无法传到服务器侧进行推理

2：很多场景下面：带宽很低，传递到服务器推理效率低

3：很多场景下面：网络延迟，无法在服务器侧进行实时推理

4：当把数据传递到往网络侧推理，会导致终端功耗增加.

5：隐私要求

TFLite 应用例子：

Google 语音识别算法

爱奇艺的视频分割

对象检测

二硬件支持

android& IOS, MCU, TPU. 目前全球有40亿台设备支持TFLite

三性能

实测在CPU 上面,1ms 左右能完成推理.

LNet-5结构，输入size(1,30)

下面是MobileNet 在各种硬件上面推理性能：

四应用案例

4.1 NLP 以及图像处理都有丰富的应用案例

4.2 TFLite Model:

可以通过迁移学习，即使不懂ML，也可以快速的部署自己的模型.

看介绍https://www.tensorflow.org/lite/guide?hl=zh-cn，codegen 可以直接通过命令生成

对应的JAVA 代码，但是没有找到对应的入口

3: 支持android studio

参考：