🤖 UI 自动化测试用例标准模板与验收标准

2.1 UI 自动化测试用例标准模板结构

2.2 测试步骤详细格式规范

# 测试步骤 JSON 结构示例
{
  "step_id": "STEP_001",
  "action": "click",
  "description": "点击登录按钮",
  "locator": {
    "strategy": "xpath",
    "value": "//button[@id='login-btn']"
  },
  "wait_before": 1000,
  "wait_after": 2000,
  "expected_state": {
    "element_visible": true,
    "page_url_contains": "/dashboard"
  }
}

支持的操作类型

2.3 元素定位器规范

3.1 UI 自动化测试验收通过标准

• 测试覆盖率要求
  • P0 级用例覆盖率：100%
  • P1 级用例覆盖率：≥95%
  • P2 级用例覆盖率：≥85%
  • 核心业务流程覆盖率：100%
• 测试通过率要求
  • P0 级用例通过率：100%
  • P1 级用例通过率：≥98%
  • P2/P3 级用例通过率：≥95%
  • 整体通过率：≥97%
• 缺陷密度要求
  • 致命缺陷 (Critical)：0 个
  • 严重缺陷 (Major)：≤2 个且有规避方案
  • 一般缺陷 (Minor)：≤10 个
  • 建议性问题 (Trivial)：不限
• 性能指标要求
  • 页面首次加载时间 (FCP)：≤1.5 秒
  • 最大内容绘制 (LCP)：≤2.5 秒
  • 首次输入延迟 (FID)：≤100 毫秒
  • 累积布局偏移 (CLS)：≤0.1
  • 自动化测试执行时间：≤30 分钟 (全量)
• 兼容性要求
  • 目标浏览器覆盖率：≥95%
  • 移动端适配：iOS 15+, Android 10+
  • 分辨率覆盖：主流分辨率 100% 适配
• 稳定性要求
  • 测试用例 flaky 率：≤2%
  • 连续 3 次构建通过率：100%
  • 自动化测试误报率：≤1%
• 文档完整性要求
  • 测试用例文档完整率：100%
  • 测试报告生成：每次执行自动生成
  • 缺陷记录完整率：100%
  • 测试数据管理规范：符合要求

3.2 质量门禁检查清单

阶段一：测试准备检查

• 测试环境已就绪且配置正确
• 测试数据已准备并验证
• 被测应用版本已部署到测试环境
• 自动化测试脚本已通过代码审查
• 测试依赖服务 (数据库、API) 可用
• CI/CD流水线配置完成

阶段二：测试执行检查

• 所有 P0/P1用例已执行
• 测试日志完整记录
• 失败用例已截图/录屏
• 测试结果已生成报告
• 性能基线数据已采集

阶段三：缺陷管理检查

• 所有发现的缺陷已记录到缺陷管理系统
• 缺陷优先级和严重程度已评估
• 致命/严重缺陷已修复并验证
• 缺陷修复率满足发布标准
• 回归测试已通过

阶段四：发布决策检查

• 测试报告已生成并审核
• 所有验收标准已满足
• 相关干系人已审批
• 回滚方案已准备
• 监控告警已配置

3.3 测试成熟度评估模型

4.1 自动化测试框架架构

4.2 项目目录结构规范

project_root/
├── tests/
│   ├── ui/                          # UI 自动化测试
│   │   ├── pages/                   # Page Object 页面对象
│   │   │   ├── base_page.py
│   │   │   ├── login_page.py
│   │   │   └── dashboard_page.py
│   │   ├── components/              # 可复用组件
│   │   │   ├── header.py
│   │   │   └── navigation.py
│   │   ├── test_cases/              # 测试用例
│   │   │   ├── login/
│   │   │   ├── order/
│   │   │   └── payment/
│   │   ├── test_data/               # 测试数据
│   │   │   ├── users.json
│   │   │   └── products.csv
│   │   └── conftest.py              # Pytest 配置
│   ├── api/                         # API 测试
│   └── unit/                        # 单元测试
├── frameworks/
│   ├── core/                        # 核心框架
│   ├── utils/                       # 工具函数
│   └── reporters/                   # 报告生成器
├── config/
│   ├── environments/                # 环境配置
│   ├── browsers.json                # 浏览器配置
│   └── test_settings.yaml           # 测试设置
├── scripts/
│   ├── setup_env.sh                 # 环境初始化
│   ├── run_tests.sh                 # 执行脚本
│   └── generate_report.sh           # 报告生成
├── reports/                         # 测试报告输出
├── logs/                            # 日志文件
├── screenshots/                     # 截图存档
├── recordings/                      # 录屏存档
├── requirements.txt                 # Python 依赖
├── package.json                     # Node.js 依赖
├── docker-compose.yml               # Docker 配置
└── Jenkinsfile                      # CI/CD 配置

4.3 编码规范与最佳实践

命名规范

代码质量要求

• 遵循 DRY 原则 (Don't Repeat Yourself)
• 每个测试用例独立，不依赖其他用例状态
• 使用显式等待，避免硬编码 sleep
• 测试用例具备幂等性，可重复执行
• 异常处理完善，提供清晰的错误信息
• 代码注释清晰，复杂逻辑有说明
• 通过代码审查 (Code Review) 流程
• 静态代码分析无严重警告

4.4 测试数据管理策略

数据来源分类

数据清理策略

• 测试前清理：删除残留测试数据
• 测试后清理：使用 teardown 清理创建的数据
• 定期清理：每日/每周定时清理过期数据
• 事务回滚：使用数据库事务，失败时回滚

5.1 CI/CD 流水线集成方案

5.2 Jenkins Pipeline 配置示例

// Jenkinsfile 示例
pipeline {
    agent any
    
    environment {
        BROWSER = 'chrome'
        ENVIRONMENT = 'staging'
        REPORT_DIR = 'reports/ui-tests'
    }
    
    stages {
        stage('Checkout') {
            steps {
                git branch: 'main', url: 'https://github.com/org/repo.git'
            }
        }
        
        stage('Setup Environment') {
            steps {
                sh 'docker-compose up -d selenium-grid'
                sh 'pip install -r requirements.txt'
            }
        }
        
        stage('Run UI Tests') {
            parallel {
                stage('Chrome Tests') {
                    steps {
                        sh 'pytest tests/ui/ --browser=chrome --alluredir=${REPORT_DIR}'
                    }
                }
                stage('Firefox Tests') {
                    steps {
                        sh 'pytest tests/ui/ --browser=firefox --alluredir=${REPORT_DIR}'
                    }
                }
            }
        }
        
        stage('Generate Report') {
            steps {
                sh 'allure generate ${REPORT_DIR} -o allure-report --clean'
                allure results: '${REPORT_DIR}'
            }
        }
        
        stage('Quality Gate') {
            steps {
                script {
                    def passedRate = sh(script: 'python scripts/calc_pass_rate.py', returnStdout: true).trim()
                    if (passedRate.toBigDecimal() < 97.0) {
                        error("测试通过率 ${passedRate}% 低于阈值 97%")
                    }
                }
            }
        }
        
        stage('Deploy to K8S') {
            when {
                branch 'main'
                expression { currentBuild.result == null || currentBuild.result == 'SUCCESS' }
            }
            steps {
                sh 'kubectl apply -f k8s/deployment.yaml'
                sh 'kubectl rollout status deployment/app'
            }
        }
    }
    
    post {
        always {
            archiveArtifacts artifacts: '${REPORT_DIR}/**/*'
            publishHTML(target: [
                allowMissing: false,
                alwaysLinkToLastBuild: true,
                keepAllHistory: true,
                reportDir: 'allure-report',
                reportFiles: 'index.html',
                reportName: 'UI Automation Test Report'
            ])
        }
        failure {
            sh 'scripts/notify_failure.sh'
        }
    }
}

5.3 Docker + K8S 部署配置

# docker-compose.yml - 测试环境
version: '3.8'
services:
  selenium-hub:
    image: selenium/hub:4.15
    ports:
      - "4442:4442"
      - "4443:4443"
      - "4444:4444"
  
  chrome:
    image: selenium/node-chrome:4.15
    depends_on:
      - selenium-hub
    environment:
      - SE_EVENT_BUS_HOST=selenium-hub
      - SE_EVENT_BUS_PUBLISH_PORT=4442
      - SE_EVENT_BUS_SUBSCRIBE_PORT=4443
  
  firefox:
    image: selenium/node-firefox:4.15
    depends_on:
      - selenium-hub
    environment:
      - SE_EVENT_BUS_HOST=selenium-hub
  
  test-runner:
    build: .
    depends_on:
      - selenium-hub
    environment:
      - SELENIUM_HOST=selenium-hub
      - BROWSER=chrome
    volumes:
      - ./reports:/app/reports
      - ./screenshots:/app/screenshots

# k8s-deployment.yaml - KubeSphere 部署
apiVersion: apps/v1
kind: Deployment
metadata:
  name: ui-test-runner
  namespace: testing
spec:
  replicas: 5
  selector:
    matchLabels:
      app: ui-test-runner
  template:
    metadata:
      labels:
        app: ui-test-runner
    spec:
      containers:
      - name: test-runner
        image: registry.example.com/ui-tests:latest
        env:
        - name: SELENIUM_HOST
          value: "selenium-hub.testing.svc.cluster.local"
        - name: PARALLEL_WORKERS
          value: "5"
        resources:
          requests:
            memory: "512Mi"
            cpu: "500m"
          limits:
            memory: "1Gi"
            cpu: "1000m"
---
apiVersion: batch/v1
kind: CronJob
metadata:
  name: nightly-ui-tests
  namespace: testing
spec:
  schedule: "0 2 * * *"  # 每天凌晨 2 点执行
  jobTemplate:
    spec:
      template:
        spec:
          containers:
          - name: test-runner
            image: registry.example.com/ui-tests:latest
          restartPolicy: OnFailure

5.4 测试报告与监控

报告生成要求

• 实时报告：Allure Report / ExtentReports
• 趋势分析：历史执行趋势图表
• 失败分析：失败原因分类统计
• 截图附件：失败步骤自动截图
• 视频录制：关键流程录屏
• 性能指标：执行时长、资源消耗

监控告警配置

6.1 完整测试用例示例 - 用户登录

# test_login_success.py
import pytest
from pages.login_page import LoginPage
from pages.dashboard_page import DashboardPage
from utils.test_data import load_test_user

# 测试用例元数据
pytestmark = [
    pytest.mark.ui,
    pytest.mark.login,
    pytest.mark.p0,
    pytest.mark.test_id("UI_LOGIN_AUTH_001")
]

class TestLoginSuccess:
    """
    测试用例：用户使用正确凭据登录成功
    
    关联需求：REQ-2026-0015
    优先级：P0
    前置条件：
        1. 用户已注册
        2. 网络连接正常
        3. 测试环境可用
    """
    
    @pytest.fixture(autouse=True)
    def setup(self, driver):
        """测试前置准备"""
        self.driver = driver
        self.login_page = LoginPage(driver)
        self.dashboard_page = DashboardPage(driver)
        self.user = load_test_user("valid_user")
        
    def test_login_with_valid_credentials_success(self):
        """验证用户使用有效凭据登录成功跳转到仪表盘"""
        
        # Step 1: 打开登录页面
        self.login_page.navigate()
        
        # Step 2: 输入用户名
        self.login_page.enter_username(self.user["username"])
        
        # Step 3: 输入密码
        self.login_page.enter_password(self.user["password"])
        
        # Step 4: 点击登录按钮
        self.login_page.click_login_button()
        
        # Step 5: 验证跳转到仪表盘页面
        assert self.dashboard_page.is_displayed(), "未成功跳转到仪表盘"
        
        # Step 6: 验证显示欢迎消息
        welcome_message = self.dashboard_page.get_welcome_message()
        assert self.user["username"] in welcome_message, \
            f"欢迎消息不包含用户名：{welcome_message}"
        
        # Step 7: 验证 URL 正确
        assert "/dashboard" in self.driver.current_url, \
            f"URL 不正确：{self.driver.current_url}"
    
    @pytest.hookimpl(hookwrapper=True)
    def pytest_runtest_makereport(self, item, call):
        """失败时自动截图"""
        outcome = yield
        report = outcome.get_result()
        if report.when == 'call' and report.failed:
            screenshot = self.driver.get_screenshot_as_png()
            report.attach(screenshot, mime_type="image/png")

6.2 Page Object 模式示例

# pages/login_page.py
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from .base_page import BasePage

class LoginPage(BasePage):
    """登录页面对象 - 封装所有登录相关操作"""
    
    # 元素定位器 (使用 data-testid 优先)
    USERNAME_INPUT = (By.CSS_SELECTOR, "[data-testid='username-input']")
    PASSWORD_INPUT = (By.CSS_SELECTOR, "[data-testid='password-input']")
    LOGIN_BUTTON = (By.CSS_SELECTOR, "[data-testid='login-button']")
    ERROR_MESSAGE = (By.CSS_SELECTOR, "[data-testid='error-message']")
    FORGOT_PASSWORD_LINK = (By.LINK_TEXT, "忘记密码？")
    
    PAGE_URL = "/login"
    PAGE_TITLE = "用户登录"
    
    def __init__(self, driver, timeout=10):
        super().__init__(driver, timeout=timeout)
        self.url = self.base_url + self.PAGE_URL
    
    def navigate(self):
        """导航到登录页面"""
        self.driver.get(self.url)
        self.wait_for_page_load()
        return self
    
    def enter_username(self, username):
        """输入用户名"""
        self.find_element(*self.USERNAME_INPUT).send_keys(username)
        return self
    
    def enter_password(self, password):
        """输入密码"""
        self.find_element(*self.PASSWORD_INPUT).send_keys(password)
        return self
    
    def click_login_button(self):
        """点击登录按钮"""
        self.find_element(*self.LOGIN_BUTTON).click()
        return self
    
    def get_error_message(self):
        """获取错误提示信息"""
        return self.find_element(*self.ERROR_MESSAGE).text
    
    def is_error_displayed(self):
        """检查错误信息是否显示"""
        return self.is_element_visible(*self.ERROR_MESSAGE)
    
    def click_forgot_password(self):
        """点击忘记密码链接"""
        self.find_element(*self.FORGOT_PASSWORD_LINK).click()
        return self
    
    def login(self, username, password):
        """封装完整登录流程"""
        self.enter_username(username)
        self.enter_password(password)
        self.click_login_button()
        return self

6.3 测试用例 Excel 模板示例

6.4 验收测试检查表示例