问一下，利用在线 DeepSeek 等 API 服务实现一个答题 APP

简介

这是一个利用 Android 无障碍功能 + 悬浮窗 + 大模型的搜题应用

原理就是利用无障碍读取屏幕内容，然后通过悬浮窗来显示答案

众所周知我是一个学渣，所以在搜答案方面颇有成就

大概是在 4 年前，我写了这样一个脚本

GitHub：截图OCR识别后搜索题目获取答案

码云：截图OCR识别后搜索题目获取答案

利用 ADB 对屏幕截图后进行 OCR 识别，然后将识别到的结果用搜索引擎和本地题库进行搜索，然后快速获取答案

前几天，看着我手机里面的李跳跳和 DeepSeek，我突然发现，我可以利用无障碍读取屏幕数据，将读取到的题目发送给 DeepSeek 等大模型进行解答，利用 Android 悬浮窗来显示答案

说干就干，感觉代码不是特别多，于是就有了这个项目

因为没有做历史记录，提问每次只能问一下，所以这个 APP 就叫问一下了

运行展示

https://www.bilibili.com/video/BV1PrNweHEDX

源码

GitHub：https://github.com/PuZhiweizuishuai/ScanSearch

码云：https://gitee.com/puzhiweizuishuai/ScanSearch

注意：无障碍权限属于敏感权限，请确认软件来源后再安装或者自己编译安装，避免造成损失

技术实现

无障碍

首先到 AndroidManifest.xml 配置无障碍服务

xml 复制代码

        <!-- 注册无障碍服务 -->
        <service android:name=".service.ScreenReaderService"
            android:exported="true"
            android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE">
            <intent-filter>
                <action android:name="android.accessibilityservice.AccessibilityService" />
            </intent-filter>
            <meta-data
                android:name="android.accessibilityservice"
                android:resource="@xml/accessibility_service_config" />
        </service>

创建 app/src/main/res/xml/accessibility_service_config.xml 无障碍配置文件

xml 复制代码

<?xml version="1.0" encoding="utf-8"?>
<accessibility-service xmlns:android="http://schemas.android.com/apk/res/android"
    android:accessibilityEventTypes="typeAllMask"
    android:accessibilityFlags="flagDefault"
    android:accessibilityFeedbackType="feedbackGeneric"
    android:canRetrieveWindowContent="true"
    android:notificationTimeout="100" />

编写无障碍服务代码

kotlin 复制代码

package com.buguagaoshu.scan.search.service
import android.accessibilityservice.AccessibilityService
import android.view.accessibility.AccessibilityEvent
import android.view.accessibility.AccessibilityNodeInfo
import com.buguagaoshu.scan.search.config.StaticVariableConfig
import com.buguagaoshu.scan.search.data.ScanSearchData
import kotlin.uuid.ExperimentalUuidApi
import kotlin.uuid.Uuid


class ScreenReaderService : AccessibilityService() {

    // 指定按钮的包名和类名，需要根据实际情况修改
    private val targetButtonPackageName = "com.buguagaoshu.scan.search"
    private val targetButtonClassName = "androidx.compose.material3.Button"
    // 指定按钮的文本内容，需要根据实际情况修改
    private val targetButtonText = "读取屏幕"

    override fun onAccessibilityEvent(event: AccessibilityEvent) {
        if (!StaticVariableConfig.openScan) {
            return
        }

        if (event.packageName == targetButtonPackageName) {
            return
        }

        // 监听滑动事件
        if (event.eventType == AccessibilityEvent.TYPE_VIEW_SCROLLED || event.eventType == AccessibilityEvent.TYPE_VIEW_HOVER_ENTER) {
            // 判断事件类型是否为点击事件
            val source = event.source
            // 检查点击的节点是否符合目标按钮的条件
            if (source != null) {
                // TODO 增加指定包名过滤配置
                println(source.packageName)
            }

            // 获取根节点信息
            val rootNode = rootInActiveWindow
            if (rootNode != null) {
                // 清除之前的数据
                StaticVariableConfig.screenTextList.clear();
                // 遍历节点并读取内容
                traverseNodeLoop(rootNode)
            }
        }

    }

    @OptIn(ExperimentalUuidApi::class)
    private fun traverseNodeLoop(node: AccessibilityNodeInfo) {
        val stack = mutableListOf<AccessibilityNodeInfo>()
        stack.add(node)

        while (stack.isNotEmpty()) {
            val currentNode = stack.removeAt(stack.size - 1)

            // 读取节点的文本内容
            val text = currentNode.text
            if (text != null && text.isNotEmpty()) {
                // 存储数据
                StaticVariableConfig.screenTextList.add(
                    ScanSearchData(Uuid.random().toString(), text.toString())
                )
            }

            // 遍历子节点并将它们添加到栈中
            for (i in currentNode.childCount - 1 downTo 0) {
                val child = currentNode.getChild(i)
                if (child != null) {
                    stack.add(child)
                }
            }
        }
    }

    private fun traverseNode(node: AccessibilityNodeInfo) {
        // 读取节点的文本内容
        val text = node.text
        if (text != null && text.isNotEmpty()) {
            println(text)
        }

        // 遍历子节点
        for (i in 0 until node.childCount) {
            val child = node.getChild(i)
            if (child != null) {
                traverseNode(child)
            }
        }
    }

    override fun onInterrupt() {
        // 服务中断时的处理
    }
}

监控滑动事件，跳过对自身 APP 的监控，将读取到的屏幕数据保存到缓存中，方便后期读取加载

流式响应

因为目前兼容 Open API 的服务都支持流式输出，提升用户体验，避免出现长时间的等待

所以在使用 okhttp 发送请求的时候不能使用 call.execute()，而需要使用 client.newCall(req).enqueue

完整代码实现如下

kotlin 复制代码

    fun sendStream(
        sendData: SendData,
        url: String,
        key: String,
        onChunkReceived: (String) -> Unit,
        onComplete: () -> Unit,
        onError: (String) -> Unit
    ) {
        CoroutineScope(Dispatchers.IO).launch {
            val body = Json.encodeToString(sendData).toRequestBody(contentType)
            // Authorization: Bearer $DASHSCOPE_API_KEY
            val req = Request
                .Builder()
                .url(url)
                .post(body)
                .addHeader("Authorization", "Bearer $key")
                .build()
            client.newCall(req).enqueue(object : Callback {
                override fun onFailure(call: Call, e: IOException) {
                    e.message?.let { onError(it) }
                }

                override fun onResponse(call: Call, response: Response) {
                    response.use {
                        if (!response.isSuccessful) {
                            return
                        }
                        val reader = response.body.charStream()
                        reader.forEachLine { line ->
                            if (line.isNotBlank()) {

                                onChunkReceived(line)
                            }
                        }
                        onComplete()
                    }
                }
            })
        }
    }