ai软件测试

技能分四块：

1. 测试理论（边界值/等价类）
2. SQL（增删改查+连表）
3. 抓包（Fiddler/Charles）
4. 接口测试（Postman+Jmeter）
   要完整《测试技能树V2.pdf》+高频面试题合集的话，19.9打包，一杯奶茶钱

开发以及功能性能测试能力（搭建环境 工具使用）

直接按照boss直聘上搜该岗位的招聘要求学

1. 传统软件测试基础（依然关键）
   AI 系统通常包裹在传统软件中，这部分能力不可或缺。

自动化测试：熟练使用 pytest、Selenium、JMeter 等工具，构建稳定的回归测试和集成测试。

API 测试：验证模型服务接口（如 RESTful API、gRPC）的请求响应、超时、并发等行为。

CI/CD 集成：能将测试流程嵌入 Jenkins、GitLab CI、GitHub Actions 等流水线，实现持续测试。

2. 机器学习核心知识（AI 测试特有）
   理解模型如何工作，才能设计出有效的测试方案。

基础概念：掌握监督/无监督/强化学习的区别，以及过拟合、欠拟合、训练/验证/测试集划分等原理。

模型评估指标：根据任务类型选择合适的评估标准。

分类：准确率、精确率、召回率、F1 分数、ROC-AUC、混淆矩阵。

回归：MAE、MSE、RMSE、R²。

生成式 AI：BLEU、ROUGE、困惑度，以及人工评估（有用性、安全性）。

数据处理：能够分析和检查数据质量，识别数据偏差、标签错误、分布漂移等问题。

3. AI 测试专项技术（区别于传统测试的核心）
   这是最独特的技能点，决定了能否发现模型特有的“软性缺陷”。

数据验证：使用 Great Expectations、TensorFlow Data Validation 等工具自动检查数据完整性、分布一致性、特征缺失率。

模型鲁棒性测试：

对抗测试：对图像、文本等输入添加微小扰动，测试模型是否出错（如将“熊猫”识别为“长臂猿”）。

鲁棒性指标：计算模型在输入轻微变化下的输出稳定性（如平均像素扰动敏感度）。

公平性与偏差测试：使用 Aequitas、Fairlearn 等工具检测模型在不同群体（性别、年龄、种族）间是否存在预测差异，例如招聘模型是否对某一性别有偏见。

可解释性分析：运用 SHAP、LIME、Integrated Gradients 等技术解释模型决策依据，定位究竟是关注了正确特征，还是学到了虚假关联。

漂移检测：监控数据漂移（输入分布变化）和概念漂移（特征-标签关系变化），使用 Evidently AI、WhyLogs、NannyML 等工具设置监控阈值。

4. 编程与工程能力
   Python：必须精通，因为绝大多数 AI 测试框架和模型接口都用 Python。

ML 框架：熟悉 scikit-learn、TensorFlow、PyTorch 至少一种，以便加载模型、进行推理和提取中间层输出。

SQL 与大数工具：能用 SQL 分析数据分布，了解 Pandas、Spark 处理大规模测试数据集。

5. 工程化与 DevOps 思维
   模型版本控制：能够测试不同版本的模型（如 DVC、MLflow ），并与代码版本关联。

实验追踪：理解如何对比不同训练运行的模型性能（如 Weights & Biases, TensorBoard）。

云平台基础：在 AWS SageMaker、Azure ML、Google Vertex AI 上运行和测试模型。

6. 批判性思维与领域知识
   设计“反事实”用例：主动思考“什么样奇怪的输入会让模型失败”，设计边缘案例（例如自动驾驶测试中的“一个穿着斑马纹衣服的人站在人行横道边”）。

理解业务风险：能判断模型错误的严重等级（例如医疗诊断模型中假阴性的代价远高于假阳性），从而合理分配测试优先级。