基于海思soc的智能产品开发（高、中、低soc、以及和fpga的搭配）

市场上关于图像、音频的soc其实非常多，这里面有高、中、低档，开发方式也不相同。之所以会这样，有价格的因素，也有市场的因素，更有面向人群的差异，本身无所谓对与错，本身都是竞争的需要。今天正好有时间，就简单总结一下。

1、cpu不同

好一点的soc基本都会采用a76、a72这样的arm cpu，普通一点的会采用a53、a55，再偏下一点就是arm a9、arm a7。甚至于说，采用arm9，或者51单片机都是可以的。如果本身硬件设计足够优秀，也就是主要的算法硬件都已经实现了，cpu只是做控制，那么cpu差一点也是可以的。

2、isp大部分不开源

很多的soc会提供i2c寄存器、dvp 寄存器、rgb屏寄存器的配置方法，但是对于mipi csi、mipi dsi大部分都是采用闭源的形式提供的。更深入一点的isp，这部分也不会提供代码的。当然，如果使用的话，只需要厂家给出来的芯片手册进行对应的开发就可以了。

3、价格差异极大

大家如果接触过杰理这类芯片，就会了解到这类mcu的soc价格都不会很贵，普遍都是个位数。但是最近，大家如果了解到rk3588这类的芯片，就会发现国产芯片的价格也慢慢变高了，一颗rk3588也达到了数百元，如果是rk3588j车规级别的soc，则价格更高。

4、不同芯片定位差异大

以mipi输出为例，很多ipcam soc的低端芯片是不提供mipi输出功能。但是对于另外一些soc来说，他们无所谓，相同的价格，我们可以拿到既带mipi csi输入，还带有mipi dsi输出的soc。所以，对于差不多的soc，不同品牌之间，大家可以好好选一选，这里面的差距还是很大的。

5、越来越多的sdk都是闭源的

除了之前说的ip和驱动是闭环的，越来越多的sdk也是闭源的。比如说视频的编码、解码，音频的编码、解码，npu的使用，isp上层的配置使用等等，这部分也都是闭源的。更进一步，对于一些上层的网络库，很多soc提供的sdk也是闭源的，比如说rtmp、rtsp库，通常也是只提供h文件、so文件。这样，一方面开发很快，但是另外一方面，相当于开发者也被平台给捆绑住了，有利有弊，需要自己从中权衡。

6、开发方式不同

大部分soc芯片开发默认都是linux，或者是android。**但是对于杰理、富瀚这类厂家来说，mcu+rtos是最常见的开发方式。**所以大家在出方案的时候，如果遇到对价格非常敏感的项目，可以考虑mcu+rtos的方案，主打一个短、平、快。

7、npu正在成为趋势

之前人工智能ai如果说只是点缀的话，现在的npu基本是标配。不管是soc，还是mcu，越来越多的芯片厂家开始标配npu，所以作为开发者而言，如果把这些资源用起来，是需要好好思考下的。

8、定制的算法只有靠fpga+soc解决

市面上的isp是针对大部分sensor，或者说是大部分应用场景开发的，不一定适用于特定的场景，比如说军工、医疗或者是车规。这种特别细分的场景一般就只能靠fpga来解决了。用了fpga，自然成本就降不下来，也只能在特定的行业中使用了。

**一般fpga是这么处理的，前端通过fpga连接mipi sensor，做一些预处理的工作，处理结束后，输出RGB888，接着通过一颗RGB转mipi csi2的芯片，继续通过soc完成后面的工作。**soc本身如果是跑linux的话，无论是编解码、存储、显示，还是网络发送、npu处理，都比fpga方便得多。fpga最大的好处就是算法硬件话，延时非常低，特别适合那些低延时的场景，比如说医疗行业等等。