Uji sistem mengacu pada pengujian SDV yang dibuat menggunakan Framework Pengujian SDV.
Pembuatan pengujian
Lokasi pengujian
<test_repository_root>/sample_tests<test_repository_root>/e2e_tests<test_repository_root>/long_running_tests<test_repository_root>/performance_tests<test_repository_root>/hardware
Menguji file
README.md: Semua pengujian harus menyertakan deskripsi tujuan pengujian dan cara menjalankan pengujian.File pengujian: Semua pengujian mengikuti struktur yang serupa:
"""SDV Name Test"""
from sdv_test_fw.test_execution import sdv_base_test, sdv_test_runner
class SdvTypeNameTest(sdv_base_test.SdvBaseTestClass):
def setup_class(self):
# Setup code. Executed only once at the beginning of the test.
super().setup_class()
self.sdv_device1 = self.get_device('device1')
self.sdv_device2 = self.get_device('device2')
...
# Remove if not needed.
def setup_test(self):
super().setup_test()
# Setup code. Executed before every test case.
# Remove override if not needed.
# Remove if not needed.
def teardown_test(self):
# Cleanup code. Executed after every test case.
super().teardown_test()
# Remove if not needed.
def teardown_class(self):
# Cleanup code. Executed once at the end of the test.
super().teardown_class()
def test_name_case1(self):
# Test case step
# Test case verification
def test_name_case2(self):
# Test case step
# Test case verification
if __name__ == '__main__':
# Start Test Execution Using SDV Test Framework
sdv_test_runner.run()
- File build:
Android.bp. Struktur filenya adalah sebagai berikut:
python_test_host {
name: "SdvTypeNameTest", // Should match the name of the test class.
main: "sdv_type_name_test.py",
srcs: [
"sdv_type_name_test.py",
],
data: [
":sdv_test_fw_device_configs",
],
test_options: {
unit_test: false,
},
defaults: [
"sdv_test_fw_defaults",
],
test_config_template: ":<DEFAULT_TEMPLATE_NAME>",
}
Konvensi penamaan
Untuk mengidentifikasi dan menemukan berbagai jenis pengujian, pengujian harus dibuat mengikuti konvensi penamaan tertentu:
- Contoh pengujian:
- Filename:
sdv_sample_<NAME>_test.py - Nama kelas:
SdvSampleNameTest
- Filename:
- Pengujian E2E:
- Filename:
sdv_e2e_<NAME>_test.py - Nama kelas:
SdvE2ENameTest
- Filename:
- Pengujian yang berjalan lama:
- Filename:
sdv_long_running_<NAME>_test.py - Nama kelas:
SdvLongRunningNameTest
- Filename:
- Pengujian performa:
- Filename:
sdv_performance_<NAME>_test.py - Nama kelas:
SdvPerformanceNameTest
- Filename:
- Pengujian hardware:
- Filename:
sdv_hw_<NAME>_test.py - Nama kelas:
SdvHWNameTest
- Filename:
Panduan kode
Bagian ini memberikan panduan dan praktik terbaik untuk menulis Pengujian Sistem SDV.
Python dan Mobly
Pelajari panduan gaya Python dan praktik terbaik Mobly, serta pertimbangkan rekomendasi khusus SDV berikut:
Hindari penggunaan impor Mobly secara langsung kecuali untuk pernyataan. Framework Pengujian SDV membangunnya dengan fokus pada SDV.
Pernyataan: Gunakan pernyataan Mobly secara langsung.
Pengujian SDV
Bagian berikut menguraikan panduan dan praktik terbaik khusus untuk mengembangkan pengujian dalam Framework Pengujian SDV.
Penyiapan dan pembersihan
Kode penyiapan dan pembersihan harus berada di luar kasus pengujian. Metode teardown dipanggil meskipun pengujian gagal, untuk melakukan pembersihan perangkat yang tepat.
Lokasi kode penyiapan dan penghapusan bergantung pada kebutuhan spesifik pengujian, meskipun pengujian terganggu:
- Untuk menjalankan hanya sekali di awal dan akhir seluruh pengujian, gunakan
setup_classdanteardown_class. Misalnya, mendapatkan perangkat, menetapkan nilai variabel atau status yang tidak berubah di antara kasus pengujian, mengonfigurasi properti perangkat umum, atau menetapkan flag.
def setup_class(self):
super().setup_class()
# setup code
def teardown_class(self):
# teardown code
super().teardown_class()
- Untuk dijalankan di antara kasus pengujian, sebelum dan sesudah setiap kasus pengujian. Misalnya, sesi interaktif atau eksekusi layanan umum.
def setup_test(self):
super().setup_test()
# setup code
def teardown_test(self):
# teardown code
super().teardown_test()
Kasus pengujian berparameter
Gunakan kasus pengujian berparameter jika langkah-langkahnya sama di berbagai kasus pengujian untuk menghindari pengulangan kode.
from absl.testing import parameterized
@parameterized.named_parameters(
{
'testcase_name': 'ab',
'input1': 'a',
'input2': 'b',
},
{
'testcase_name': 'cd',
'input1': 'c',
'input2': 'd',
},
)
def test_name(self, input1, input2):
# test
Contoh ini membuat dua kasus pengujian, test_name_ab dan test_name_cd.
Satu kasus pengujian untuk verifikasi perilaku
Kasus pengujian harus ringkas dan berfokus pada satu perilaku tertentu. Jika beberapa
perilaku memiliki prasyarat atau langkah yang sama, pertimbangkan untuk membaginya. Anda dapat menggunakan setup_test atau parameterisasi untuk meminimalkan jumlah kode berulang.
Dengan mengikuti pendekatan ini, pengujian akan lebih mudah dibaca dan di-debug karena menunjukkan dengan jelas langkah dan kondisi mana yang gagal.
Contoh
def test_verify_process(self):
self.device.start_process()
# precondition 1
self.device.send_signal1()
# verification signal1 received
...
# precondition 2
self.device.send_signal2()
# verification signal2 received
...
# precondition 3
self.device.start_agent()
# verification behavior
...
self.device.kill_process()
def setup_test(self):
super().setup_test()
self.device.start_process()
def test_signal1(self):
# precondition
self.device.send_signal1()
# verification signal1 received
...
def test_signal2(self):
# precondition
self.device.send_signal2()
# verification signal2 received
...
def test_agent(self):
# precondition
self.device.start_agent()
# verification behavior
...
def teardown_test(self):
self.device.kill_process()
super().teardown_test()
Perilaku pengujian deterministik
Hindari menambahkan kondisional dalam pengujian yang mencabangkan perilakunya. Jika verifikasi perlu dibagi, gunakan dua kasus pengujian yang berbeda.
Jangan gunakan pengecualian
Pengujian dan helper umum harus menggunakan pernyataan, bukan pengecualian. Hal ini memudahkan proses debug dan mengikuti pola pengujian.
Contoh
result = self.some_calculations()
if result is None:
raise Exception("No result")
result = self.some_calculations()
self.get_test_validator().assert_is_not_none(result)
Contoh
if not self.device.is_subprocess_running(
self.EXPECTED_PROCESS
):
raise Exception("Process is not running")
self.get_test_validator().assert_true(
self.device.is_subprocess_running(self.EXPECTED_PROCESS),
"Process is not running"
)
Jangan gunakan mode tidur
Hindari penggunaan sleep karena akan meningkatkan waktu eksekusi uji dan menyebabkan ketidakstabilan.
Jika pengujian memerlukan waktu tunggu untuk melanjutkan peristiwa atau verifikasi, gunakan Metode Menunggu yang disediakan dalam framework.
Gunakan metode tunggu dengan hati-hati karena eksekusi uji tetap diblokir hingga kondisi terpenuhi atau waktu tunggu habis.
Jika Anda perlu menunggu hingga suatu kondisi selesai dalam pengujian, ajukan pertanyaan berikut:
Berapa waktu tunggu yang wajar?
Jika peristiwa diperkirakan terjadi dalam jangka waktu tertentu, waktu tunggu harus sesuai dengan ekspektasi tersebut untuk memastikan pengujian gagal dengan cepat. Kurangi waktu tunggu jika perlu (defaultnya adalah 30 detik).
Seberapa mahal operasi yang dilakukan oleh metode tunggu?
Hindari sering memanggil operasi yang mahal. Tingkatkan interval polling jika perlu (defaultnya adalah 0,5 dtk).
Kasus pengujian dengan persyaratan
Jika pengujian memiliki kasus pengujian dengan persyaratan eksplisit untuk berfungsi (misalnya, target tempat pengujian harus dijalankan), Anda dapat melewatinya jika tidak sesuai dengan persyaratan:
def test_with_requirement(self):
self.get_test_validator().skip_if(expr, reason)
# Test case