【自动化】深入浅出UIAutomationClient：C#桌面自动化实战指南

一、什么是UI Automation？

UI Automation (UIA) 是微软提供的一套强大的界面自动化技术，允许开发者与桌面应用程序的用户界面元素进行交互，无论这些控件是否有传统的窗口句柄。它广泛应用于自动化测试、辅助功能工具开发等领域。

其中，UIAutomationClient是Microsoft提供的一套用于Windows桌面应用程序自动化的API，它是.NET Framework的一部分（位于System.Windows.Automation命名空间），允许开发者以编程方式与桌面UI元素交互，实现自动化测试、辅助功能集成和自动化脚本等功能，本文将带你深入浅出地了解UIAutomationClient的核心知识和实用技巧。

二、UIAutomation支持的目标程序类型

支持的应用类型：

Win32传统的Windows应用程序（包括MFC、WinForms）
WPF应用程序，WPF对UIA有原生且完善的支持
Windows Store应用程序（UWP）
混合模式应用程序，任何实现了UI Automation Provider接口的应用程序都可以被自动化

优点：

强大的控件识别能力： 即使是自定义控件或没有传统句柄的控件（如WPF中的许多控件），只要实现了UIA Provider，也能被识别和操作。
标准化接口： 提供了一套统一的API来访问不同技术栈构建的应用程序UI。
丰富的信息： 可以获取控件的名称、类型、状态、位置、支持的操作模式等多种属性。
事件驱动： 支持监听UI元素的事件（如按钮点击、值改变等）。
微软官方支持： 作为Windows平台的一部分，稳定性和兼容性有保障。

缺点：

学习曲线较陡峭：API相对复杂，概念较多（如TreeWalker, Condition, Pattern等）。
对非标准控件的支持有限：自动化效果高度依赖于目标应用程序是否正确实现了UIA Provider。如果Provider实现不完善，可能导致元素无法识别或属性不准确。
性能可能不如原生API直接调用，相比直接WinAPI操作，UIA的调用可能稍慢，因为它需要跨进程通信和抽象层处理
操作权限：某些场景下需要提升权限
支持受限：对于某些非常规或游戏类应用，UIA可能无法有效工作

适用场景：

自动化测试： 对桌面应用进行功能测试、回归测试。
辅助功能 (Accessibility)： 为视障等用户提供屏幕阅读器支持。
RPA (机器人流程自动化)： 自动化重复性的桌面操作任务。
UI监控和分析工具： 开发用于分析或监控其他应用程序UI状态的工具。

三、Inspect工具介绍

在进行UI Automation开发时，Inspect.exe 是一个不可或缺的调试和分析工具。Inspect是Windows SDK中包含的必备工具，用于检查UI元素的自动化属性。它是一个图形化界面应用，允许开发者查看当前屏幕上任何UI元素的详细UI Automation属性和模式。

使用Inspect可以查看元素的 Name, AutomationId, ClassName, ControlType, 支持的 Patterns (如 InvokePattern, ValuePattern), 以及元素在UI树中的层级结构等。在编写代码前，使用Inspect可以快速确定目标控件的定位属性（如 AutomationId 或 Name）和它支持的操作模式。

定位元素：鼠标悬停或点击即可选择UI元素
查看属性：显示元素的AutomationId、Name、ClassName、ControlType等关键属性
验证定位策略：测试不同的属性组合以确保可靠定位
分析结构：查看UI自动化树状结构，理解元素层级关系

建议在开发UIAutomation程序时始终开启Inspect辅助元素定位和分析。

四、引入UIAutomation依赖

在C#项目中，添加UIAutomationClient引用非常简单：

在Visual Studio中，右键点击你的项目 -> "添加" -> "引用..."。
在"程序集" -> "框架"列表中，勾选以下程序集（通常至少需要前两个）：
- UIAutomationClient
- UIAutomationTypes
- (可选) UIAutomationProvider (如果你需要实现Provider)
- (可选) UIAutomationClientSideProviders

或者手工编辑项目工程添加：

xml 复制代码

<!-- 在.csproj文件中添加引用 -->
<ItemGroup>
  <Reference Include="UIAutomationClient" />
  <Reference Include="UIAutomationTypes" />
  <Reference Include="UIAutomationProvider" />
</ItemGroup>

添加好依赖后，在代码出引入库：

csharp 复制代码

using System.Windows.Automation;

五、窗口、控件对象的定位常见方法及技巧

1. 定位 `AutomationElement`

通过进程ID或窗口句柄定位根元素：
- 使用 AutomationElement.FromHandle(IntPtr hwnd) 从已知的窗口句柄获取根元素。
- 使用 AutomationElement.RootElement 获取桌面根元素，然后结合其他条件查找。
- 先通过WinAPI（如 FindWindow）获取主窗体句柄，再转换为 AutomationElement 。
使用 FindFirst / FindAll 方法：
- 在某个 AutomationElement 下，使用 FindFirst(TreeScope scope, Condition condition) 或 FindAll 方法查找子元素。
- TreeScope 定义搜索范围：Children, Descendants, Element 等。
- Condition 定义搜索条件，最常用的是 PropertyCondition。
使用 PropertyCondition：
- 这是最常用的定位方式，通过控件的属性值来查找。
- 关键属性：
  - AutomationElement.AutomationIdProperty: 通常由开发者在代码中设置，是定位控件最稳定可靠的属性。
  - AutomationElement.NameProperty: 控件的显示名称或文本。
  - AutomationElement.ClassNameProperty: 控件的类名（如 "Button", "Edit"）。
  - AutomationElement.ControlTypeProperty: 控件类型（如 ControlType.Button, ControlType.Edit）。
- 示例：new PropertyCondition(AutomationElement.AutomationIdProperty, "btnSubmit")
组合条件 (AndCondition, OrCondition):
- 当单一条件不足以精确定位时，可以组合多个条件。例如，查找 Name 为 "确定" 且 ControlType 为 Button 的元素。
使用 TreeWalker 遍历：
- TreeWalker 提供了在UI树中导航的方法，如 GetParent, GetFirstChild, GetNextSibling 等。适用于需要按特定路径遍历的情况。

技巧：

优先使用 AutomationId： 如果目标应用的控件设置了唯一的 AutomationId，这是最推荐、最稳定的方式。
结合 Name 和 ControlType： 当 AutomationId 不可用时，结合控件名称和类型可以提高定位准确性。
利用Inspect工具： 在编码前，务必使用Inspect工具查看目标控件的可用属性，选择最合适的定位策略。
处理动态内容： 对于动态加载或名称变化的控件，可能需要结合相对位置（如父容器、兄弟元素）或部分匹配（使用 OrCondition 或自定义条件）来定位。

2. 访问 `AutomationElement`

定位到 AutomationElement 后，主要通过 GetCurrentPropertyValue 方法读取属性，通过 GetCurrentPattern 获取模式对象来触发事件或执行操作。

读取元素属性值：
- 使用 element.GetCurrentPropertyValue(AutomationProperty property)。
- 常用属性：AutomationElement.NameProperty, AutomationElement.AutomationIdProperty, AutomationElement.BoundingRectangleProperty (获取位置和大小), ValuePattern.ValueProperty (对于支持 ValuePattern 的控件，如文本框)。
- 技巧： 读取属性前，最好先检查元素是否支持该属性，或者使用带默认值的重载方法避免异常：element.GetCurrentPropertyValue(AutomationElement.NameProperty, "Unknown")。
触发元素事件/执行操作：
- UIA通过"模式 (Pattern)"来定义控件支持的操作。需要先获取对应的模式对象，再调用其方法。
- 常用模式：
  - InvokePattern: 用于按钮、菜单项等可"点击"的控件。调用 Invoke() 方法。
  - ValuePattern: 用于文本框、滑块等有值的控件。可以 get_Value() 读取值，SetValue(string value) 设置值。
  - SelectionItemPattern: 用于列表项、树节点等可选中的控件。调用 Select(), AddToSelection(), RemoveFromSelection()。
  - ExpandCollapsePattern: 用于可展开/折叠的控件（如树节点、组合框）。调用 Expand(), Collapse()。
  - TogglePattern: 用于复选框、切换按钮。调用 Toggle()。
- 步骤：
  1. 检查元素是否支持所需模式：if (element.GetCurrentPropertyValue(AutomationElement.IsInvokePatternAvailableProperty) is bool isInvoke && isInvoke) {...}
  2. 获取模式对象：InvokePattern invokePattern = (InvokePattern)element.GetCurrentPattern(InvokePattern.Pattern);
  3. 调用模式方法：invokePattern.Invoke();
技巧：
- 检查模式可用性： 在获取模式前，务必检查 Is[PatternName]AvailableProperty，避免 InvalidOperationException。
- 处理焦点和等待： 某些操作（如点击按钮后弹出新窗口）可能需要等待UI更新。可以使用 Automation.AddAutomationEventHandler 监听相关事件，或使用简单的 Thread.Sleep (不推荐) 或更智能的等待机制（如循环检查目标元素出现）。
- 异常处理： UIA操作容易因元素状态变化（如消失、禁用）而失败，务必做好异常处理。

六、窗口和控件定位及访问单例

1. 基本定位方法

csharp 复制代码

// 通过进程ID查找窗口
AutomationElement rootElement = AutomationElement.FromHandle(process.MainWindowHandle);

// 通过窗口标题查找
Condition condition = new PropertyCondition(AutomationElement.NameProperty, "计算器");
AutomationElement calculatorWindow = AutomationElement.RootElement.FindFirst(
    TreeScope.Children, condition);

2. 使用多种条件组合定位

csharp 复制代码

// 组合多个条件提高定位精度
Condition nameCondition = new PropertyCondition(AutomationElement.NameProperty, "确定");
Condition controlTypeCondition = new PropertyCondition(
    AutomationElement.ControlTypeProperty, ControlType.Button);
Condition combinedCondition = new AndCondition(nameCondition, controlTypeCondition);

AutomationElement button = rootElement.FindFirst(TreeScope.Descendants, combinedCondition);

3. 相对定位技巧

csharp 复制代码

// 使用TreeWalker进行导航
TreeWalker walker = TreeWalker.ControlViewWalker;
AutomationElement firstChild = walker.GetFirstChild(rootElement);
AutomationElement nextSibling = walker.GetNextSibling(firstChild);

4. 等待元素出现的策略

csharp 复制代码

// 实现等待逻辑，避免 Timing Issue
public static AutomationElement WaitForElement(
    AutomationElement root, 
    Condition condition, 
    int timeoutMs = 5000)
{
    DateTime endTime = DateTime.Now.AddMilliseconds(timeoutMs);
    
    while (DateTime.Now < endTime)
    {
        AutomationElement element = root.FindFirst(TreeScope.Descendants, condition);
        if (element != null)
            return element;
        
        Thread.Sleep(100);
    }
    
    return null;
}

5.读取元素属性值

csharp 复制代码

// 获取基本属性
string elementName = element.Current.Name;
string automationId = element.Current.AutomationId;
ControlType controlType = element.Current.ControlType;
bool isEnabled = element.Current.IsEnabled;

// 获取模式特定属性
ValuePattern valuePattern = element.GetCurrentPattern(ValuePattern.Pattern) as ValuePattern;
if (valuePattern != null)
{
    string value = valuePattern.Current.Value;
}

// 使用GetCurrentPropertyValue获取任何属性
object boundingRect = element.GetCurrentPropertyValue(
    AutomationElement.BoundingRectangleProperty);

6.触发元素事件

csharp 复制代码

// 使用Invoke模式触发按钮点击
InvokePattern invokePattern = element.GetCurrentPattern(InvokePattern.Pattern) as InvokePattern;
invokePattern?.Invoke();

// 使用Value模式设置文本值
ValuePattern valuePattern = element.GetCurrentPattern(ValuePattern.Pattern) as ValuePattern;
valuePattern?.SetValue("Hello World");

// 使用ExpandCollapse模式操作可展开元素
ExpandCollapsePattern expandPattern = element.GetCurrentPattern(
    ExpandCollapsePattern.Pattern) as ExpandCollapsePattern;
expandPattern?.Expand();

7.事件处理

csharp 复制代码

// 订阅UI自动化事件
AutomationFocusChangedEventHandler focusHandler = OnFocusChanged;
Automation.AddAutomationFocusChangedEventHandler(focusHandler);

private void OnFocusChanged(object sender, AutomationFocusChangedEventArgs e)
{
    AutomationElement focusedElement = sender as AutomationElement;
    // 处理焦点变化逻辑
}

七、完整代码示例：计算器自动化

csharp 复制代码

using System;
using System.Diagnostics;
using System.Threading;
using System.Windows.Automation;

class CalculatorAutomation
{
    static void Main()
    {
        try
        {
            // 启动计算器
            ProcessStartInfo startInfo = new ProcessStartInfo("calc.exe");
            Process.Start(startInfo);
            
            // 等待计算器启动
            Thread.Sleep(2000);
            
            // 查找计算器窗口
            Condition calculatorCondition = new PropertyCondition(
                AutomationElement.NameProperty, "计算器");
            AutomationElement calculatorWindow = AutomationElement.RootElement.FindFirst(
                TreeScope.Children, calculatorCondition);
            
            if (calculatorWindow == null)
            {
                Console.WriteLine("未找到计算器窗口");
                return;
            }
            
            // 执行计算：5 + 3 = 
            ClickButton(calculatorWindow, "五");
            ClickButton(calculatorWindow, "加");
            ClickButton(calculatorWindow, "三");
            ClickButton(calculatorWindow, "等于");
            
            // 获取结果显示
            AutomationElement resultElement = calculatorWindow.FindFirst(
                TreeScope.Descendants, 
                new PropertyCondition(AutomationElement.AutomationIdProperty, "CalculatorResults"));
            
            if (resultElement != null)
            {
                string resultText = resultElement.Current.Name;
                Console.WriteLine($"计算结果: {resultText}");
            }
            
            // 关闭计算器
            ClickButton(calculatorWindow, "关闭");
        }
        catch (Exception ex)
        {
            Console.WriteLine($"发生错误: {ex.Message}");
        }
    }
    
    static void ClickButton(AutomationElement parent, string buttonName)
    {
        Condition buttonCondition = new AndCondition(
            new PropertyCondition(AutomationElement.NameProperty, buttonName),
            new PropertyCondition(AutomationElement.ControlTypeProperty, ControlType.Button));
        
        AutomationElement button = parent.FindFirst(TreeScope.Descendants, buttonCondition);
        if (button != null)
        {
            InvokePattern invokePattern = button.GetCurrentPattern(InvokePattern.Pattern) as InvokePattern;
            invokePattern?.Invoke();
            Thread.Sleep(100); // 短暂等待UI更新
        }
        else
        {
            Console.WriteLine($"未找到按钮: {buttonName}");
        }
    }
}

八、总结说明

异常处理：始终处理ElementNotAvailableException等异常
性能优化：避免频繁的Find操作，缓存常用元素
等待机制：实现智能等待，处理UI加载延迟
权限管理：某些操作可能需要管理员权限
多线程考虑：UI自动化操作通常应在STA线程中执行
资源清理：及时释放自动化元素和事件处理器

UIAutomationClient提供了强大而灵活的桌面自动化能力，虽然学习曲线较陡，但一旦掌握，可以应对各种复杂的桌面自动化场景。结合Inspect工具和合理的定位策略，可以开发出稳定可靠的自动化解决方案。

【自动化】深入浅出UIAutomationClient：C#桌面自动化实战指南

一、什么是UI Automation？

二、UIAutomation支持的目标程序类型

三、Inspect工具介绍

四、引入UIAutomation依赖

五、窗口、控件对象的定位常见方法及技巧

1. 定位 AutomationElement

2. 访问 AutomationElement

六、窗口和控件定位及访问单例

1. 基本定位方法

2. 使用多种条件组合定位

3. 相对定位技巧

4. 等待元素出现的策略

5.读取元素属性值

6.触发元素事件

7.事件处理

七、完整代码示例：计算器自动化

八、总结说明

1. 定位 `AutomationElement`

2. 访问 `AutomationElement`