Android 相机库CameraView源码解析 (一) : 预览

1. 前言

这段时间，在使用 natario1/CameraView 来实现带滤镜的预览、拍照、录像功能。

由于CameraView封装的比较到位，在项目前期，的确为我们节省了不少时间。

但随着项目持续深入，对于CameraView的使用进入深水区，逐渐出现满足不了我们需求的情况。
Github中的issues中，有些BUG作者一直没有修复。

那要怎么办呢 ? 项目迫切地需要实现相关功能，只能自己硬着头皮去看它的源码，去解决这些问题。

而这篇文章是其中关于CameraView怎么进行预览的源码解析。

以下源码解析基于CameraView 2.7.2

kotlin 复制代码

implementation("com.otaliastudios:cameraview:2.7.2")

为了在博客上更好的展示，本文贴出的代码进行了部分精简

2. 初始化CameraEngine

在CameraView构造方法中，会调用doInstantiateEngine，用来初始化CameraEngine。
CameraEngine是一个抽象类，根据我们的配置分别返回Camera1Engine和Camera2Engine。

可以看到，这里mExperimental成立并且engine等于CAMERA2的情况下，会返回Camera2Engine。

java 复制代码

protected CameraEngine instantiateCameraEngine(Engine engine, CameraEngine.Callback callback) {
    if (mExperimental && engine == Engine.CAMERA2) {
        return new Camera2Engine(callback);
    } else {
        mEngine = Engine.CAMERA1;
        return new Camera1Engine(callback);
    }
}

所以如果我们要使用Camera2 API，需要配置上app:cameraEngine="camera2"和app:cameraExperimental="true"

xml 复制代码

<com.otaliastudios.cameraview.CameraView
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    app:cameraEngine="camera2"
    app:cameraExperimental="true" />

2. 初始化CameraPreview

在CameraView调用View生命周期中的onAttachedToWindow的时候，调用了doInstantiatePreview()方法，初始化预览相关代码

kotlin 复制代码

void doInstantiatePreview() {
    mCameraPreview = instantiatePreview(mPreview, getContext(), this);
    mCameraEngine.setPreview(mCameraPreview);
    if (mPendingFilter != null) {
        setFilter(mPendingFilter);
        mPendingFilter = null;
    }
}

mCameraPreview是CameraPreview抽象类，根据xml中不同的app:cameraPreview配置会创建不同的CameraPreview

surface : 创建SurfaceCameraPreview
texture : 创建TextureCameraPreview
glSurface : 创建GlCameraPreview

这里以surface为例，实际创建的CameraPreview是SurfaceCameraPreview，其职责就是在初始化方法的时候，通过LayoutInflater.from创建SurfaceView，并封装了SurfaceHolder.Callback回调。

java 复制代码

public class SurfaceCameraPreview extends CameraPreview<SurfaceView, SurfaceHolder> {
	//...省略了部分代码...

    @Override
    protected SurfaceView onCreateView(@NonNull Context context, @NonNull ViewGroup parent) {
        View root = LayoutInflater.from(context).inflate(R.layout.cameraview_surface_view, parent, false);
        parent.addView(root, 0);
        SurfaceView surfaceView = root.findViewById(R.id.surface_view);
        final SurfaceHolder holder = surfaceView.getHolder();
        holder.setType(SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS);
        holder.addCallback(new SurfaceHolder.Callback() {
			//...
            @Override
            public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {
                if (!mDispatched) {
                    dispatchOnSurfaceAvailable(width, height);
                    mDispatched = true;
                } else {
                    dispatchOnSurfaceSizeChanged(width, height);
                }
            }

            @Override
            public void surfaceDestroyed(SurfaceHolder holder) {
                LOG.i("callback: surfaceDestroyed");
                dispatchOnSurfaceDestroyed();
                mDispatched = false;
            }
        });
        mRootView = root;
        return surfaceView;
    }
}

3. Camera2Engine和CameraView建立关联

接着，调用mCameraEngine.setPreview(mCameraPreview);，mCameraEngine内部设置了SurfaceCallback回调，SurfaceCallback回调有onSurfaceAvailable、onSurfaceChanged、onSurfaceDestroyed三个方法。

kotlin 复制代码

public final void setPreview(@NonNull CameraPreview cameraPreview) {
    if (mPreview != null) mPreview.setSurfaceCallback(null);
    mPreview = cameraPreview;
    mPreview.setSurfaceCallback(this);
}

4. 回调SurfaceCallBack.onSurfaceAvailable

在CameraBaseEngine的onSurfaceAvailable回调中，调用了startBind()->onStartBind()和startPreview()->onStartPreview()

java 复制代码

@Override
public final void onSurfaceAvailable() {
    startBind();
    startPreview();
}

onStartBind和onStartPreview是抽象方法，Camera1Engine和Camera2Engine分别实现了CameraBaseEngine，分别用来实现Camera1和Camera2。

kotlin 复制代码

@NonNull
@EngineThread
protected abstract Task<Void> onStartBind();

@NonNull
@EngineThread
protected abstract Task<Void> onStartPreview();

这里以Camera2为例，对于Camera2不了解的同学，可以先看我的另一篇博客 : 十分钟实现 Android Camera2 相机预览。

接下来的部分，就是Camera2 API绑定Surface和预览的具体实现了。

5. onStartBind

5.1 估算图像尺寸

分别估算出预览和拍照的图像尺寸，为后续预览和拍照做准备

java 复制代码

//估算出拍照时图像的尺寸
mCaptureSize = computeCaptureSize();
//估算出预览时的图像尺寸
mPreviewStreamSize = computePreviewStreamSize();

5.2 添加预览SurfaceHolder

接着调用setFixedSize，给SurfaceView设置刚才估算出来的预览的尺寸 ;

然后调用outputSurfaces.add，将CameraView的SurfaceHolder添加到outputSurfaces列表中。

java 复制代码

List<Surface> outputSurfaces = new ArrayList<>();

final Class outputClass = mPreview.getOutputClass();
final Object output = mPreview.getOutput();
if (outputClass == SurfaceHolder.class) {
    Tasks.await(Tasks.call(new Callable<Void>() {
         @Override
         public Void call() {
         	 //必须在UI线程调用
             ((SurfaceHolder) output).setFixedSize(
                     mPreviewStreamSize.getWidth(),
                     mPreviewStreamSize.getHeight());
             return null;
         }
     }));
    
    mPreviewStreamSurface = ((SurfaceHolder) output).getSurface();
} else if (outputClass == SurfaceTexture.class) {
   //...省略了关于SurfaceTexture的实现...
} else {
    throw new RuntimeException("Unknown CameraPreview output class.");
}
outputSurfaces.add(mPreviewStreamSurface);

5.3 初始化视频录制相关类

如果是Video模式，那么会初始化Full2VideoRecorder，这个专门用来在Camera2中录制视频的类。

接着在outputSurfaces列表中添加Full2VideoRecorder单独创建的Surface。( 实质就是从mMediaRecorder.getSurface()中获取的Surface )

java 复制代码

if (getMode() == Mode.VIDEO) {
    if (mFullVideoPendingStub != null) {
        Full2VideoRecorder recorder = new Full2VideoRecorder(this, mCameraId);
        try {
            outputSurfaces.add(recorder.createInputSurface(mFullVideoPendingStub));
        } catch (Full2VideoRecorder.PrepareException e) {
            throw new CameraException(e, CameraException.REASON_FAILED_TO_CONNECT);
        }
        mVideoRecorder = recorder;
    }
}

5.4 初始化拍照相关类

如果是Picture模式，则会先判断设置的图像格式，如果不是JPEG或DNG，则抛出异常，说明不支持该格式。

接着会根据mCaptureSize拍照尺寸和图片格式，创建mPictureReader，这个类是Camera2中拍照要用到的类，用来获取相机捕获的图像数据。

接着会将mPictureReader中的Surface也添加到outputSurfaces列表中。

java 复制代码

if (getMode() == Mode.PICTURE) {
    int format;
    switch (mPictureFormat) {
        case JPEG: format = ImageFormat.JPEG; break;
        case DNG: format = ImageFormat.RAW_SENSOR; break;
        default: throw new IllegalArgumentException("Unknown format:" + mPictureFormat);
    }
    mPictureReader = ImageReader.newInstance(
            mCaptureSize.getWidth(),
            mCaptureSize.getHeight(),
            format, 2);
    outputSurfaces.add(mPictureReader.getSurface());
}

5.5 帧处理

创建一个帧处理的ImageReader，名字叫做mFrameProcessingReader。

并将其添加到outputSurfaces列表中。

java 复制代码

if (hasFrameProcessors()) {
    mFrameProcessingSize = computeFrameProcessingSize();
    /**
     * 很难把原因写出来，但是在Camera2中，我们需要的帧数比图像数少1。
     * 如果我们让所有图像都成为帧的一部分，从而让所有图像在任何给定时刻被处理器使用，Camera2输出就会中断。
     * 事实上，如果没有可用的图像，传感器会阻塞，直到它找到一个图像，这是一个大问题，因为处理器时间成为预览的瓶颈。
     * 这是ImageReader / sensor实现中的一个设计缺陷，因为如果没有可用的图像，它们应该简单地将写入的帧放置到surface上。
     * 由于这不是事情的工作方式，我们确保在这里始终有一个图像可用。
     */
    mFrameProcessingReader = ImageReader.newInstance(
            mFrameProcessingSize.getWidth(),
            mFrameProcessingSize.getHeight(),
            mFrameProcessingFormat,
            getFrameProcessingPoolSize() + 1);
    mFrameProcessingReader.setOnImageAvailableListener(this,
            null);
    mFrameProcessingSurface = mFrameProcessingReader.getSurface();
    outputSurfaces.add(mFrameProcessingSurface);
} else {
    mFrameProcessingReader = null;
    mFrameProcessingSize = null;
    mFrameProcessingSurface = null;
}

这里特别需要注意的是这个ImageReader调用了setOnImageAvailableListener，当有图像数据时，就会回调onImageAvailable方法。

这里会从reader.acquireLatestImage()中获取到android.media.Image对象，然后将其组装成com.otaliastudios.cameraview.frame.Frame对象，接着调用getCallback().dispatchFrame(frame);来进行回调。

java 复制代码

@EngineThread
@Override
public void onImageAvailable(ImageReader reader) {
    Image image = reader.acquireLatestImage();
    if (getState() == CameraState.PREVIEW && !isChangingState()) {
        Frame frame = getFrameManager().getFrame(image, System.currentTimeMillis());
        if (frame != null) {
            getCallback().dispatchFrame(frame);
        } 
    } else {
        image.close();
    }
}

这个getCallback()是在哪里设置的呢 ? CameraView中有addFrameProcessor方法，专门用来设置这个回调。

java 复制代码

public void addFrameProcessor(@Nullable FrameProcessor processor) {
    if (processor != null) {
        mFrameProcessors.add(processor);
        if (mFrameProcessors.size() == 1) {
            mCameraEngine.setHasFrameProcessors(true);
        }
    }
}

所以我们想要取到预览时候的实时帧数据，就在自己Activity的代码中，添加这个回调就行。

kotlin 复制代码

cameraView.addFrameProcessor {
	//预览每一帧的回调
    val image = it.getData<Image>()
    Log.i(TAG, "image width:${image.width} height:${image.height}")
    image.close()
}

5.6 创建CameraCaptureSession

这里就是根据outputSurfaces列表，创建对应的android.hardware.camera2.CameraCaptureSession，从而实现关联对应功能的Surface。

java 复制代码

mCamera.createCaptureSession(outputSurfaces, new CameraCaptureSession.StateCallback() {
    @Override
    public void onConfigured(@NonNull CameraCaptureSession session) {
        mSession = session;
        task.trySetResult(null);
    }

    @Override
    public void onConfigureFailed(@NonNull CameraCaptureSession session) {
        //...省略了配置失败的代码...
    }
}, null);

6. onStartPreview

6.1 重新测量CaemraView大小

首先调用回调方法onCameraPreviewStreamSizeChanged()，内部会去调用下requestLayout()，从而触发onMeasure来重新测量CameraView尺寸。

java 复制代码

 getCallback().onCameraPreviewStreamSizeChanged();

6.2 设置`CameraPreview`

这个previewSizeForView就是在onStartBind()中估算出来的预览大小，并且会对传感器的方向做翻转操作。并将其设置到mPreview中，CameraPreview是一个抽象类，具体实现类有SurfaceCameraPreview、TextureCameraPreview、GlCameraPreview，这里以SurfaceCameraPreview为例。

java 复制代码

Size previewSizeForView = getPreviewStreamSize(Reference.VIEW);
//设置预览尺寸大小
mPreview.setStreamSize(previewSizeForView.getWidth(), previewSizeForView.getHeight());
//给mPreview设置绘制的方向
mPreview.setDrawRotation(getAngles().offset(Reference.BASE, Reference.VIEW, Axis.ABSOLUTE));
if (hasFrameProcessors()) {
	//如果有FrameProcessors，那么初始化FrameManager
    getFrameManager().setUp(mFrameProcessingFormat, mFrameProcessingSize, getAngles());
}

public final Size getPreviewStreamSize(@NonNull Reference reference) {
    Size size = mPreviewStreamSize;
    if (size == null) return null;
    return getAngles().flip(Reference.SENSOR, reference) ? size.flip() : size;
}

6.3 调用`setRepeatingRequest`

接着会调用这两句

java 复制代码

addRepeatingRequestBuilderSurfaces();
applyRepeatingRequestBuilder(false, CameraException.REASON_FAILED_TO_START_PREVIEW);

addRepeatingRequestBuilderSurfaces会对mRepeatingRequestBuilder做一些配置，将预览的Surface添加到mRepeatingRequestBuilder中，mRepeatingRequestBuilder是android.hardware.camera2.CaptureRequest.Builder类，是接下来调用Camera2中调用setRepeatingRequest必备的一个参数。

java 复制代码

private void addRepeatingRequestBuilderSurfaces(@NonNull Surface... extraSurfaces) {
    mRepeatingRequestBuilder.addTarget(mPreviewStreamSurface);
    if (mFrameProcessingSurface != null) {
        mRepeatingRequestBuilder.addTarget(mFrameProcessingSurface);
    }
    for (Surface extraSurface : extraSurfaces) {
        if (extraSurface == null) {
            throw new IllegalArgumentException("Should not add a null surface.");
        }
        mRepeatingRequestBuilder.addTarget(extraSurface);
    }
}

然后调用applyRepeatingRequestBuilder，在内部会调用setRepeatingRequest，因为mRepeatingRequestBuilder中添加了预览的Surface，所以调用后将不断地实时发送视频流给预览的Surface，从而实现了预览的效果。

java 复制代码

@EngineThread
private void applyRepeatingRequestBuilder(boolean checkStarted, int errorReason) {
    if ((getState() == CameraState.PREVIEW && !isChangingState()) || !checkStarted) {
    	//这将不断地实时发送视频流，直到会话断开或调用session.stoprepeat()
        mSession.setRepeatingRequest(mRepeatingRequestBuilder.build(),
                    mRepeatingRequestCallback, null);
    }
}

7. 小结

到这里我们就对于CameraView的预览流程有了大致的了解了，内部就是调用了Camera2的API，关联SurfaceView进行预览。

创建mCameraPreview，具体实现类是SurfaceCameraPreview，内部封装了SurfaceView
- 并提供了SurfaceCallback接口用来回调onSurfaceAvailable()、onSurfaceChanged()、onSurfaceDestroyed方法
调用Camera2Engine.setPreview(CameraPreview)，就是Camera2Engine实现了CameraPreview的SurfaceCallback回调
在回调的onSurfaceAvailable()方法里
- 估算出预览和拍照的尺寸
- 将CaemraView中的SurfaceHolder添加到outputSurfaces列表
- 如果是video模式，初始化视频录制Surface并添加到outputSurfaces列表
- 如果是picture模式，初始化拍照Surface并添加到outputSurfaces列表
- 初始化帧处理Surface，并添加到outputSurfaces列表
- 根据outputSurfaces列表创建CameraCaptureSession : CameraDevice.createCaptureSession()
- 调用CameraCaptureSession.setRepeatingRequest()开始不断地传递视频流给预览的Surface，从而完成预览功能

8. 其他

8.1 CameraView源码解析系列

Android 相机库CameraView源码解析 (一) : 预览-CSDN博客
 Android 相机库CameraView源码解析 (二) : 拍照-CSDN博客

Android 相机库CameraView源码解析 (一) : 预览

1. 前言

2. 初始化CameraEngine

2. 初始化CameraPreview

3. Camera2Engine和CameraView建立关联

4. 回调SurfaceCallBack.onSurfaceAvailable

5. onStartBind

5.1 估算图像尺寸

5.2 添加预览SurfaceHolder

5.3 初始化视频录制相关类

5.4 初始化拍照相关类

5.5 帧处理

5.6 创建CameraCaptureSession

6. onStartPreview

6.1 重新测量CaemraView大小

6.2 设置CameraPreview

6.3 调用setRepeatingRequest

7. 小结

8. 其他

8.1 CameraView源码解析系列

6.2 设置`CameraPreview`

6.3 调用`setRepeatingRequest`