系统测试是指使用 SDV 测试框架创建的任何 SDV 测试。
创建测试
测试位置
<test_repository_root>/sample_tests<test_repository_root>/e2e_tests<test_repository_root>/long_running_tests<test_repository_root>/performance_tests<test_repository_root>/hardware
测试文件
README.md：所有测试都必须包含测试目的的说明以及如何运行测试。测试文件 ：所有测试都遵循类似的结构：
"""SDV Name Test"""
from sdv_test_fw.test_execution import sdv_base_test, sdv_test_runner
class SdvTypeNameTest(sdv_base_test.SdvBaseTestClass):
def setup_class(self):
# Setup code. Executed only once at the beginning of the test.
super().setup_class()
self.sdv_device1 = self.get_device('device1')
self.sdv_device2 = self.get_device('device2')
...
# Remove if not needed.
def setup_test(self):
super().setup_test()
# Setup code. Executed before every test case.
# Remove override if not needed.
# Remove if not needed.
def teardown_test(self):
# Cleanup code. Executed after every test case.
super().teardown_test()
# Remove if not needed.
def teardown_class(self):
# Cleanup code. Executed once at the end of the test.
super().teardown_class()
def test_name_case1(self):
# Test case step
# Test case verification
def test_name_case2(self):
# Test case step
# Test case verification
if __name__ == '__main__':
# Start Test Execution Using SDV Test Framework
sdv_test_runner.run()
- 构建文件 ：
Android.bp。文件结构如下：
python_test_host {
name: "SdvTypeNameTest", // Should match the name of the test class.
main: "sdv_type_name_test.py",
srcs: [
"sdv_type_name_test.py",
],
data: [
":sdv_test_fw_device_configs",
],
test_options: {
unit_test: false,
},
defaults: [
"sdv_test_fw_defaults",
],
test_config_template: ":<DEFAULT_TEMPLATE_NAME>",
}
命名惯例
为了识别和查找不同类型的测试，必须按照特定的命名惯例创建测试。
示例测试
文件名：
sdv_sample_<NAME>_test.py类名称 ：
SdvSampleNameTest
端到端测试
文件名
sdv_e2e_<NAME>_test.py类名称 ：
SdvE2ENameTest
长时间运行的测试
文件名：
sdv_long_running_<NAME>_test.py类名称 ：
SdvLongRunningNameTest
性能测试
文件名
sdv_performance_<NAME>_test.py类名称 ：
SdvPerformanceNameTest
硬件测试
文件名：
sdv_hw_<NAME>_test.py类名称 ：
SdvHWNameTest
代码指南
本部分提供了编写 SDV 系统测试的指南和最佳实践。
Python 和 Mobly
熟悉 Python 样式指南和 Mobly 最佳实践，并考虑以下特定于 SDV 的建议：
避免直接使用 Mobly 导入，断言除外。SDV 测试框架以其为基础构建，重点是 SDV。
断言 ：直接使用 Mobly 断言。
SDV 测试
以下部分概述了在 SDV 测试框架中开发测试的具体指南和最佳实践。
设置和清理
设置和清理代码必须位于测试用例之外。即使测试失败，也会调用拆解方法，以便进行适当的设备清理。
即使测试中断，设置和拆解代码的位置也取决于测试的具体需求：
- 如需在整个测试的开头和结尾仅运行一次，请使用
setup_class和teardown_class。例如，获取设备、设置在测试用例之间不会更改的变量值或状态、配置常见的设备属性或设置标志。
def setup_class(self):
super().setup_class()
# setup code
def teardown_class(self):
# teardown code
super().teardown_class()
- 如需在测试用例之间运行，请在每个测试用例之前和之后运行。例如，互动会话或常见服务执行。
def setup_test(self):
super().setup_test()
# setup code
def teardown_test(self):
# teardown code
super().teardown_test()
参数化测试用例
当不同测试用例中的步骤相同以避免代码重复时，请使用参数化测试用例。
from absl.testing import parameterized
@parameterized.named_parameters(
{
'testcase_name': 'ab',
'input1': 'a',
'input2': 'b',
},
{
'testcase_name': 'cd',
'input1': 'c',
'input2': 'd',
},
)
def test_name(self, input1, input2):
# test
该示例创建了两个测试用例 test_name_ab 和 test_name_cd。
用于行为验证的一个测试用例
测试用例应简洁明了，并专注于一个特定行为。如果多个行为共享常见的前提条件或步骤，请考虑将其拆分。您可以使用 setup_test 或参数化来最大限度地减少重复代码量。
采用这种方法可以更轻松地读取和调试测试，因为它清楚地指明了哪些步骤和条件失败。
示例
test_verify_process():
device.start_process()
# precondition 1
device.send_signal1()
# verification signal1 received
...
# precondition 2
device.send_signal2()
# verification signal2 received
...
# precondition 3
device.start_agent()
# verification behavior
...
device.kill_process()
test_setup_test():
super().setup_test()
device.start_process()
test_signal1():
# precondition
device.send_signal1()
# verification signal1 received
...
test_signal2():
# precondition
device.send_signal2()
# verification signal2 received
...
test_agent():
# precondition
device.start_agent()
# verification behavior
...
teardown_test():
device.kill_process()
super().teardown_test()
确定性测试行为
避免在测试中添加会分支其行为的条件。如果需要拆分验证，请改用两个不同的测试用例。
请勿使用异常
测试和常见帮助程序必须使用断言而不是异常。这有助于调试并遵循测试模式。
示例
result = self.some_calculations()
if result is None:
raise Exception("No result")
result = self.some_calculations()
self.get_test_validator().assert_is_not_none(result)
示例
if not self.device.is_subprocess_running(
self.EXPECTED_PROCESS
):
raise Exception("Process is not running")
self.get_test_validator().assert_true(
self.device.is_subprocess_running(self.EXPECTED_PROCESS),
"Process is not running"
)
请勿使用 sleep
避免使用 sleep，因为它会增加测试执行时间并导致不稳定性。
当测试需要等待事件或验证才能继续时，请改用框架中提供的等待方法。
请谨慎使用等待方法，因为测试作业会一直处于阻塞状态，直到条件匹配或达到超时时间。
当您需要在测试中等待条件完成时，请问自己以下问题：
合理的超时时间是多少？
如果预计在特定时间范围内发生事件，则超时时间应与该预期相符，以确保测试快速失败。如有必要，请缩短超时时间（默认值为 30 秒）。
等待方法执行的操作有多昂贵？
避免频繁调用昂贵的操作。如有必要，请增加轮询间隔（默认值为 0.5 秒）。
有要求的测试用例
如果测试具有明确要求才能运行的测试用例（例如，应运行的目标），则如果这些测试用例不符合要求，您可以跳过它们：
def test_with_requirement():
self.get_test_validator().skip_if(expr, reason)
# Test case