嵌入式驱动开发详解16（音频驱动开发）

嵌入(师)2024-12-15 23:49

文章目录

前言

该专栏主要是讲解嵌入式相关的驱动开发，但是由于ALSA驱动框架过于复杂，实现音频编解码芯片的驱动不是一个人能完成的，所以没有对应具体的驱动代码相关内容，包括后面的CAN，USB，WIFI，4G模块这些都是比较复杂的，都只会讲解相关的协议等基础知识

音频是我们最常用到的功能，音频也是 linux 和安卓的重点应用场合。由于音频驱动开发任务量巨大，不是一个人能全流程实现的，因此只是通过修改设备树和已写好的驱动进行修改开发，该专栏后面的USB驱动、网络驱动等都是如此，对基础感兴趣的可以参考专栏的前部分文章。处理器如果既想"听到"外界的声音，又想向外界传达自己的"心声"， 那么就需要同时用到 DAC 和 ADC 这两款芯片。为了满足声音能够进行一些处理(需要 DSP 单元)、拥有统一的标准接口，方便开发等功能，因此音频编解码芯片出现了，英文名字就是 Audio CODEC，在手机或者电脑的介绍中看到"CODEC"这个词语，一般说的都是音频编解码，后面我们将会以WM8960进行分析。

WM8960简介

WM8960 是一颗由 wolfson(欧胜)公司出品的音频编解码芯片，是一颗低功耗、高质量的立 体声音频 CODEC。集成 D 类喇叭功放，每个通道可以驱动一个 1W 喇叭(8Ω)。内部集成 3 个 立体声输入源，可以灵活配置，拥有一路完整的麦克风接口。WM8960 内部 ADC 和 DAC 都为 24 位，WM8960 主要特性如下所示：

①、DAC 的 SNR(信噪比)为 98dB，3.3V、48KHz 下 THD(谐波失真)为-84dB。

②、ADC 的 SNR(信噪比)为 94dB，3.3V、48KHz 下 THD(谐波失真)为-82dB。

③、3D 增强。

④、立体声 D 类功放，可以直接外接喇叭，8Ω负载下每通道 1W。

⑤、集成耳机接口。

⑥、集成麦克风接口。

⑦、采样率支持 8K、11.025K、12K、16K、22.05K、24K、32K、44.1K 和 48K。

①、此部分是 WM8960 提供的输入接口，作为立体声音频输入源，一共提供了三路，分别 为 LINPUT1/RINPUT1、LINPUT2/RINPUT2、LINPUT3/RINPUT3。

②、此部分是 WM8960 的输出接口，比如输出给耳机或喇叭，SPK_LP/SPK_LN 用于连接 左声道的喇叭，支持 1W 的 8Ω喇叭。SPK_RP/SPK_RN 用于连接右声道的喇叭，同样支持 1W 的 8Ω喇叭，最后就是 HP_L/HP_R，用于连接耳机。

③、此部分是数字音频接口，用于和主控制器连接，有 5 根线，用于主控制器和 WM8960 之间进行数据"沟通"。此接口支持 I2S 格式。

④、此部分为控制接口，是一个标准的 I2C 接口，WM8960 要想工作必须对其进行配置， 这个 I2C 接口就是用于配置 WM8960 的。

I2S协议

接口说明

I2S(Inter-IC Sound)总线有时候也写作 IIS，I2S 是飞利浦公司提出的一种用于数字音频设备 之间进行音频数据传输的总线。和 I2C、SPI 这些常见的通信协议一样，I2S 总线用于主控制器 和音频 CODEC 芯片之间传输音频数据。要想使用 I2S 协议，主控制器和音频 CODEC 都 得支持 I2S 协议，I.MX6ULL 的 SAI 外设就支持 I2S 协议。

I2S 接口需要 5 根信号线，如下：
WS ：字段(声道)选择信号，也叫做 LRCK，也叫做帧时钟，用于切换左右声道数据，WS 为 "1"表示正在传输左声道的数据，WS 为"0"表示正在传输右声道的数据。WS 的频率等于采 样率。
SCK ：串行时钟信号，也叫做位时钟(BCLK)，音频数据的每一位数据都对应一个 SCK，立 体声都是双声道的，因此 SCK=2×采样率×采样位数。
SD ：串行数据信号，也就是我们实际的音频数据，如果要同时实现放音和录音，那么就需 要 2 根数据线，比如 WM8960 的ADCDAT 和 DACDAT ，就是分别用于录音和放音。数据最高位优先传输，数据的最高位总是出现在一帧开始后(LRCK 变化)的第2个SCK脉冲处。
MCLK ：为了使音频 CODEC 芯片与主控制器之间能够更好的同步，会引入另外一个 叫做 MCLK 的信号，也叫做主时钟或系统时钟，一般是采样率的 256 倍或 384 倍。

对应的时序图如下图所示，其中SD数据相对于LRCK和SCLK位置的不同存在Left Justified(左对齐)和 Right Justified(右对齐)两种格式：

SAI音频接口简介

在 STM32 中就是通过 SAI 接口来连接音频 CODEC，I.MX6ULL 也提供了一个叫做 SAI 的外设，全称为 Synchronous Audio Interface，翻译 过来就是同步音频接口。

SAI 是一个全双工、支持帧同步的串行接口，支持 I2S、AC97、TDM 和音频 DSP，SAI 主要特性如下：

①、帧最大为 32 个字。

②、字大小可选择 8bit 或 32bit。

③、每个接收和发送通道拥有 32×32bit 的 FIFO。

④、FIFO 错误以后支持平滑重启。

根据上面两个原理图可以看出，SYNC和BCLK只需要连接L或者R的其中一个即可。

驱动框架简介

前面对声卡WM8960，I2S协议以及ASI的I2S接口都做了一定的解释，如果需要更深入的了解可以网上查阅与之相关的资料，这里不在做过多的分析。

WM8960 与 I.MX6ULL 之间有两个通信接口：I2C 和 SAI，因此设备树中会涉及到 I2C 和 SAI 两个设备节点。

  • 需要一个WM8960驱动文件，I2C框架， 用于配置 WM8960
  • 需要一个SOC端SAI外设的驱动文件用于音频数据传输
  • 需要一个驱动文件，将WM8960和SOC联系起来

因为第三点的需要，ALSA、ASoC驱动应运而生：ASoC是在ALSA基础上，针对SOC另外改进的ALSA音频驱动框架，目前ARM处理的音频驱动框架都是ASoC，ASoC包含三个部分：SOC（platform）、Codec部分、板载硬件（Machine）：

  • SOC：具体的SOC音频接口驱动，SAI接口，是由半导体厂商编写好的
  • Codec：具体的音频芯片，比如WM8960，IIC驱动，也不需要我们编写，Codec芯片厂商会写好
  • 板载硬件（Machine）：将具体的SOC与具体的Codec结合，与具体的硬件设备相关，也就是我们要处理的部分，使用ASOC驱动框架将SOC于Codec结合。

设备树配置

  1. 首先配置一下 I2C 接口，WM8960 连接到了 I2C1 上，因此需要在设备树中的"i2c1"节点下需要添加 wm8960 信息。设备树的绑定手册：Documentation/devicetree/bindings/sound/wm8960.txt，文档给出历程如下：
c 复制代码 
codec: wm8960@1a {
	compatible = "wlf,wm8960";
	reg = <0x1a>;
	wlf,shared-lrclk;
};

compatible 属性值可以找到Codec厂商写好的对应的驱动文件，在sound/soc/codecs/wm8960.c里面。
reg 设置 WM8960 的 I2C 地址
wlf,shared-lrclk是一个 bool 类型的属性，如果添加了此属性，WM8960 的 R24 寄存器 的 LRCM 位(bit2)就会置 1。当 LRCM 为 1 的时候只有当 ADC 和 DAC 全部关闭以后 ADCLRC 和 DACLRC 时钟才会关闭。

  1. 其次就是配置sai2的控制器驱动，在设备树下面可以找到如下内容：
c 复制代码 
/{
	soc {
		aips1: aips-bus@02000000 {
			spba-bus@02000000 {
				sai2: sai@0202c000 {
					compatible = "fsl,imx6ul-sai",
						     "fsl,imx6sx-sai";
					reg = <0x0202c000 0x4000>;
					interrupts = <GIC_SPI 98 IRQ_TYPE_LEVEL_HIGH>;
					clocks = <&clks IMX6UL_CLK_SAI2_IPG>,
						 <&clks IMX6UL_CLK_DUMMY>,
						 <&clks IMX6UL_CLK_SAI2>,
						 <&clks 0>, <&clks 0>;
					clock-names = "bus", "mclk0", "mclk1", "mclk2", "mclk3";
					dma-names = "rx", "tx";
					dmas = <&sdma 37 24 0>, <&sdma 38 24 0>;
					status = "disabled";
				};
......

在另外一个文档追加了以下内容

c 复制代码 
&sai2 {
	pinctrl-names = "default";
	pinctrl-0 = <&pinctrl_sai2 
		     &pinctrl_sai2_hp_det_b>;

	assigned-clocks = <&clks IMX6UL_CLK_SAI2_SEL>,
			  <&clks IMX6UL_CLK_SAI2>;
	assigned-clock-parents = <&clks IMX6UL_CLK_PLL4_AUDIO_DIV>;
	assigned-clock-rates = <0>, <12288000>;

	status = "okay";
};

compatible 属性可以找到对应的驱动文件为sound/soc/fsl/fsl_sai.c。
pinctrl_sai2_hp_det_b描述的是耳机插入检测引脚，wm8960 支持耳机插入检测，这样当耳机插入以后就会通过耳机播放音乐，当耳机拔出来以后就会通过喇叭播放音乐。

  1. 最后就是板载硬件（Machine）,sound节点，sound节点主要起到链接Codec和sai的作用，具体内容如下：
c 复制代码 
/{
	sound {
		compatible = "fsl,imx6ul-evk-wm8960",
			   "fsl,imx-audio-wm8960";
		model = "wm8960-audio";
		cpu-dai = <&sai2>;
		audio-codec = <&codec>;
		asrc-controller = <&asrc>;
		codec-master;
		gpr = <&gpr 4 0x100000 0x100000>;
		/*
                 * hp-det = <hp-det-pin hp-det-polarity>;
		 * hp-det-pin: JD1 JD2  or JD3
		 * hp-det-polarity = 0: hp detect high for headphone
		 * hp-det-polarity = 1: hp detect high for speaker
		 */
		hp-det = <3 0>;
//		hp-det-gpios = <&gpio5 4 0>;
//		mic-det-gpios = <&gpio5 4 0>;
		audio-routing =
			"Headphone Jack", "HP_L",
			"Headphone Jack", "HP_R",
			"Ext Spk", "SPK_LP",
			"Ext Spk", "SPK_LN",
			"Ext Spk", "SPK_RP",
			"Ext Spk", "SPK_RN",
			"LINPUT2", "Mic Jack",
			"LINPUT3", "Mic Jack",
			"RINPUT1", "Main MIC",
			"RINPUT2", "Main MIC",
			"Mic Jack", "MICB",
			"Main MIC", "MICB",
			"CPU-Playback", "ASRC-Playback",
			"Playback", "CPU-Playback",
			"ASRC-Capture", "CPU-Capture",
			"CPU-Capture", "Capture";
	};
};

compatible 属性可以找到对应的驱动文件为sound/soc/fsl/imx_wm8960.c，理论上这个文件是需要我们自己编写的，刚好NXP的板子也是用的WM8960这个音频解码芯片，可以直接用。
model ：最终用户看到的此声卡名字，这里设置为"wm8960-audio"
cpu-dai ：CPU DAI(Digital Audio Interface)句柄，这里是 sai2 这个节点。
audio-codec ：音频解码芯片句柄，也就是 WM8960 芯片，这里为"codec"这个节点。
asrc-controller ：asrc 控制器，asrc 全称为 Asynchronous Sample Rate Converters，翻译过来 就是异步采样频率转化器。
hp-det ：耳机插入检测引脚设置，第一个参数为检测引脚，3 表示 JD3 为检测引脚。第二个 参数设置检测电平，设置为 0 的时候，hp 检测到高电平表示耳机插入；设置为 1 的时候，hp 检 测到高电平表示是喇叭，也就是耳机拔出了。
audio-routing：音频器件一系列的连接设置，每个条目都是一对字符串，第一个字符串是 连接的 sink，第二个是连接的 source(源)。

内核使能

利用图形化配置界面，取消 ALSA 模拟 OSS，使能WM8960 驱动（Asynchronous Sample Rate Converter (ASRC) module support 和 SoC Audio support for i.MX boards with wm8960），驱动使能以后重新编译 linux 内核，编译完成以后使用新的 zImage 和.dtb 文件启动。

驱动挂载成功之后会在/dev/snd 目录生成对应的节点：

controlC0：用于声卡控制，C0 表示声卡 0。

pcmC0D0c 和 pcmC0D1c：用于录音的 pcm 设备，其中的"COD0"和"C0D1"分别表示 声卡 0 中的设备 0 和设备 1，最后面的"c"是 capture 的缩写，表示录音。

pcmC0D0p 和 pcmC0D1p：用于播放的 pcm 设备，其中的"COD0"和"C0D1"分别表示 声卡 0 中的设备 0 和设备 1，最后面的"p"是 playback 的缩写，表示放音。

timer：定时器。

音频驱动使能以后还不能直接播放音乐或录音，我们还需要移植 alsa-lib 和 alsa-utils 这两 个东西。

声卡设置与测试

应用上的设置与测试这里就不再赘述，都按照别人写好的流程依葫芦画瓢，大家可以参考正点原子的教材进行开发。

后续

本人对嵌入式行业兴趣浓厚，但是发现驱动开发越学越迷茫，个人感觉就是驱动开发就算是去芯片原厂或者模组原厂也是做一些缝缝补补或者移植的工作，且需要对某一个领域，比如音频、网络、蓝牙等领域研究特别深入才可能有能力做驱动开发工作，目前本人处于学习阶段，不太可能深耕某一个领域，因此当前阶段就仅仅只是了解驱动是如何实现底层工作的，后期可能会继续研究MCU的RTOS开发和Linux从bootloader->linux内核裁剪->驱动修改->应用开发，并将自己所学的皮毛用于开发一个小项目吧！！！
希望对此方向感兴趣的伙伴能一起评论交流！！！！

参考文献

  1. 个人专栏系列文章
  2. 正点原子嵌入式驱动开发指南
  3. 对代码有兴趣的同学可以查看链接https://github.com/NUAATRY/imx6ull_dev
相关推荐
handsomestWei15 小时前
java实现多图合成mp4和视频附件下载
java·开发语言·音视频·wutool·图片合成视频·视频附件下载
G佳伟1 天前
【亲测有效】百度Ueditor富文本编辑器添加插入视频、视频不显示、和插入视频后二次编辑视频标签不显示，显示成img标签，二次保存视频被替换问题，解决方案
chrome·百度·音视频
楼台的春风1 天前
【MCU驱动开发概述】
c语言·驱动开发·单片机·嵌入式硬件·mcu·自动驾驶·嵌入式
灵感素材坊1 天前
解锁音乐创作新技能：AI音乐网站的正确使用方式
人工智能·经验分享·音视频
modest —YBW1 天前
视频大小怎么计算？视频码率是什么，构成视频清晰度的核心要素！
音视频
cuijiecheng20181 天前
音视频入门基础：RTP专题（10）——FFmpeg源码中，解析RTP header的实现
ffmpeg·音视频
AI服务老曹1 天前
运用先进的智能算法和优化模型，进行科学合理调度的智慧园区开源了
运维·人工智能·安全·开源·音视频
余衫马1 天前
ESP32-S3 实战指南：BOOT-KEY 按键驱动开发全解析
驱动开发·单片机·嵌入式硬件
Macdo_cn1 天前
My Metronome for Mac v1.4.2 我的节拍器 支持M、Intel芯片
macos·音视频
kiramario2 天前
【结束】JS如何不通过input的onInputFileChange使用本地mp4文件并播放，nextjs下放入public文件的视频用video标签无法打开
开发语言·javascript·音视频
热门推荐
01DeepSeek各版本说明与优缺点分析02本地部署DeepSeek教程（Mac版本）03如何在WPS和Word/Excel中直接使用DeepSeek功能04太炸裂了！清华大学deepseek从入门到精通使用手册又出第三版了，《普通人如何抓住DeepSeek红利》（无套路，直接下载）05本地化部署AI知识库：基于Ollama+DeepSeek+AnythingLLM保姆级教程06DeepSeek本地部署详细指南07DeepSeek R1本地化部署 Ollama + Chatbox 打造最强 AI 工具08Page Assist - 本地Deepseek模型 Web UI 的安装和使用09DeepSeek r1本地安装全指南10保姆级教程：利用Ollama与Open-WebUI本地部署 DeedSeek-R1大模型