บันทึกประจำรุ่นของชุดทดสอบรูปภาพกล้องของ Android 12

การเปลี่ยนแปลงITS ของกล้องจำนวนหนึ่งรวมอยู่ในรุ่น Android 12 หน้านี้จะสรุปการเปลี่ยนแปลงซึ่งแบ่งออกเป็น 4 หมวดหมู่หลักๆ ดังนี้

• การปรับโครงสร้างเป็น Python 3
• การใช้เฟรมเวิร์กการทดสอบ Mobly
• ทดสอบการเปลี่ยนแปลง
• การทดสอบใหม่

เปลี่ยนรูปแบบเป็น Python 3

เนื่องจากการเลิกใช้งาน Python 2.7 ในเดือนมกราคม 2020 เราจึงต้องรีแฟกทอเรียลฐานโค้ด ITS ของกล้องทั้งหมดเป็น Python 3 ต้องใช้เวอร์ชันและไลบรารี Python ต่อไปนี้ใน Android 12

• Python 3.7.9 หรือ Python 3.7.10
• OpenCV 3.4.2
• Numpy 1.19.2
• Matplotlib 3.3.2
• Scipy 1.5.2
• pySerial 3.5
• Pillow 8.1.0
• PyYAML 5.3.1

ตัวเปิดการทดสอบหลักอย่าง tools/run_all_tests.py จะยังคงเหมือนเดิมกับเวอร์ชัน Android 11 หรือต่ำกว่า และได้รับการปรับโครงสร้างเป็น Python 3

การทดสอบแต่ละรายการได้รับการปรับโครงสร้างและใช้คลาสการตั้งค่าการทดสอบใหม่ที่กําหนดไว้ใน tests/its_base_test.py ชื่อและฟังก์ชันการทดสอบส่วนใหญ่จะยังคงเหมือนเดิม ใน Android 12 การทดสอบแต่ละรายการจะโหลดฉากของตัวเอง แม้ว่าการโหลดฉากสําหรับการทดสอบแต่ละครั้งจะเพิ่มเวลาทดสอบโดยรวม แต่จะช่วยให้แก้ไขข้อบกพร่องของการทดสอบแต่ละรายการได้

ดูข้อมูลเพิ่มเติมเกี่ยวกับการเปลี่ยนแปลงการทดสอบแต่ละรายการได้ที่การเปลี่ยนแปลงการทดสอบ

โมดูล Python ต่อไปนี้ได้รับการปรับโครงสร้างโดยเปลี่ยนชื่อ

• pymodules/its/caps.py → utils/camera_properties_utils.py
• pymodules/its/cv2image.py → utils/opencv_processing_utils.py
• pymodules/its/device.py → utils/its_session_utils.py
• pymodules/its/error.py → utils/error_util.py
• pymodules/its/image.py → utils/image_processing_utils.py
• pymodules/its/objects.py → utils/capture_request_utils.py
• pymodules/its/target.py → utils/target_exposure_utils.py
• tools/hw.py → utils/sensor_fusion_utils.py

การใช้เฟรมเวิร์กการทดสอบ Mobly

Mobly เป็นเฟรมเวิร์กการทดสอบที่ใช้ Python ซึ่งรองรับชุดทดสอบที่ต้องใช้อุปกรณ์หลายเครื่องที่มีการตั้งค่าฮาร์ดแวร์ที่กำหนดเอง ITS ของกล้องใช้โครงสร้างพื้นฐานการทดสอบของ Mobly เพื่อให้ควบคุมและการบันทึกการทดสอบได้ดียิ่งขึ้น

ITS ของกล้องใช้โครงสร้างพื้นฐานการทดสอบของ Mobly เพื่อให้ควบคุมและการบันทึกการทดสอบได้ดียิ่งขึ้น Mobly เป็นเฟรมเวิร์กการทดสอบที่ใช้ Python ซึ่งรองรับกรณีทดสอบที่ต้องใช้อุปกรณ์หลายเครื่องที่มีการตั้งค่าฮาร์ดแวร์ที่กำหนดเอง ดูข้อมูลเพิ่มเติมเกี่ยวกับ Mobly ได้ที่ google/mobly

ไฟล์ config.yml

เฟรมเวิร์ก Mobly ช่วยให้คุณตั้งค่าอุปกรณ์ทดสอบ (DUT) และแผนภูมิในแท็บเล็ตในคลาส its_base_test ได้ ระบบจะใช้ไฟล์ config.yml (YAML) เพื่อสร้างแพลตฟอร์มทดสอบของ Mobly คุณสามารถกําหนดค่าแท็บเล็ตและแท่นทดสอบการผสานเซ็นเซอร์หลายแท็บเล็ตในไฟล์การกําหนดค่านี้ได้ ในส่วนตัวควบคุมของแท่นทดสอบแต่ละแท่น คุณสามารถระบุ device_ids เพื่อระบุอุปกรณ์ Android ที่เหมาะสมให้กับโปรแกรมทดสอบได้ นอกจากรหัสอุปกรณ์แล้ว ระบบจะส่งพารามิเตอร์อื่นๆ เช่น แท็บเล็ต brightness, chart_distance, debug_mode, camera_id และ scene_id ในคลาสทดสอบ ค่าพารามิเตอร์ทดสอบที่พบบ่อยมีดังนี้

brightness: 192  (all tablets except Pixel C)
chart_distance: 31.0  (rev1/rev1a box for FoV < 90° cameras)
chart_distance: 22.0 (rev2 test rig for FoV > 90° cameras)

การทดสอบบนแท็บเล็ต

สําหรับการทดสอบบนแท็บเล็ต คีย์เวิร์ด TABLET ต้องมีอยู่ในชื่อแพลตฟอร์มทดสอบ ในระหว่างการเริ่มต้นใช้งาน Test Runner ของ Mobly จะเริ่มต้น TestParams และส่งไปยังการทดสอบแต่ละรายการ

ต่อไปนี้เป็นตัวอย่างไฟล์ config.yml สําหรับการเรียกใช้บนแท็บเล็ต

TestBeds:
  - Name: TEST_BED_TABLET_SCENES
    # Test configuration for scenes[0:4, 6, _change]
    Controllers:
        AndroidDevice:
          - serial: 8A9X0NS5Z
            label: dut
          - serial: 5B16001229
            label: tablet

    TestParams:
      brightness: 192
      chart_distance: 22.0
      debug_mode: "False"
      chart_loc_arg: ""
      camera: 0
      scene: <scene-name>  # if <scene-name> runs all scenes

เรียกใช้แท่นทดสอบได้โดยใช้ tools/run_all_tests.py หากไม่มีค่าบรรทัดคำสั่ง การทดสอบจะทํางานด้วยค่าไฟล์ config.yml นอกจากนี้ คุณยังลบล้างค่าไฟล์การกําหนดค่า camera และ scene ในบรรทัดคําสั่งได้โดยใช้คําสั่งที่คล้ายกับ Android 11 หรือต่ำกว่า

เช่น

python tools/run_all_tests.py
python tools/run_all_tests.py camera=1
python tools/run_all_tests.py scenes=2,1,0
python tools/run_all_tests.py camera=1 scenes=2,1,0

การทดสอบการผสานเซ็นเซอร์

สำหรับการทดสอบการผสานเซ็นเซอร์ ชื่อแพลตฟอร์มทดสอบต้องมีคีย์เวิร์ด SENSOR_FUSION เวิร์กแบดที่ถูกต้องจะกำหนดโดยฉากที่ทดสอบ Android 12 รองรับทั้งตัวควบคุม Arduino และ Canakit สำหรับฟิวชันเซ็นเซอร์

ต่อไปนี้เป็นตัวอย่างไฟล์ config.yml สำหรับการเรียกใช้ฟิวชันเซ็นเซอร์

Testbeds
  - Name: TEST_BED_SENSOR_FUSION
    # Test configuration for sensor_fusion/test_sensor_fusion.py
    Controllers:
        AndroidDevice:
          - serial: 8A9X0NS5Z
            label: dut

    TestParams:
      fps: 30
      img_size: 640,480
      test_length: 7
      debug_mode: "False"
      chart_distance: 25
      rotator_cntl: arduino         # cntl can be arduino or canakit
      rotator_ch: 1
      camera: 0

หากต้องการทำการทดสอบการผสานเซ็นเซอร์ด้วยแท่นทดสอบการผสานเซ็นเซอร์ ให้ใช้

python tools/run_all_tests.py scenes=sensor_fusion
python tools/run_all_tests.py scenes=sensor_fusion camera=0

แพลตฟอร์มทดสอบหลายแพลตฟอร์ม

คุณสามารถรวมการทดสอบหลายรายการไว้ในไฟล์การกําหนดค่าได้ การรวมกันที่ใช้กันมากที่สุดคือมีทั้งแท็บเล็ตทดสอบและแท็บเล็ตทดสอบการผสานเซ็นเซอร์

ต่อไปนี้เป็นตัวอย่างไฟล์ config.yml ที่มีทั้งแท็บเล็ตและระบบทดสอบการผสานเซ็นเซอร์

Testbeds
  - Name: TEST_BED_TABLET_SCENES
    # Test configuration for scenes[0:4, 6, _change]
    Controllers:
        AndroidDevice:
          - serial: 8A9X0NS5Z
            label: dut
          - serial: 5B16001229
            label: tablet

    TestParams:
      brightness: 192
      chart_distance: 22.0
      debug_mode: "False"
      chart_loc_arg: ""
      camera: 0
      scene: <scene-name>  # if <scene-name> runs all scenes

  - Name: TEST_BED_SENSOR_FUSION
    # Test configuration for sensor_fusion/test_sensor_fusion.py
    Controllers:
        AndroidDevice:
          - serial: 8A9X0NS5Z
            label: dut

    TestParams:
      fps: 30
      img_size: 640,480
      test_length: 7
      debug_mode: "False"
      chart_distance: 25
      rotator_cntl: arduino         # cntl can be arduino or canakit
      rotator_ch: 1
      camera: 0

การทดสอบด้วยตนเอง

Android 12 จะยังคงรองรับการทดสอบด้วยตนเอง อย่างไรก็ตาม แท็บทดสอบต้องระบุการทดสอบดังกล่าวด้วยคีย์เวิร์ด MANUAL ในชื่อแท็บทดสอบ นอกจากนี้ แท่นทดสอบต้องไม่มีรหัสแท็บเล็ต

ต่อไปนี้เป็นตัวอย่างไฟล์ config.yml สำหรับการทดสอบด้วยตนเอง

TestBeds:
  - Name: TEST_BED_MANUAL
    Controllers:
        AndroidDevice:
          - serial: 8A9X0NS5Z
            label: dut

    TestParams:
      debug_mode: "False"
      chart_distance: 31.0
      camera: 0
      scene: scene1

ทดสอบฉากโดยไม่ต้องใช้แท็บเล็ต

คุณสามารถทดสอบฉาก 0 และฉาก 5 ได้ด้วย TEST_BED_TABLET_SCENES หรือ TEST_BED_MANUAL อย่างไรก็ตาม หากทำการทดสอบด้วย TEST_BED_TABLET_SCENES แท็บเล็ตต้องเชื่อมต่ออยู่และรหัสซีเรียลของแท็บเล็ตต้องถูกต้อง แม้ว่าจะไม่ได้ใช้แท็บเล็ตก็ตาม เนื่องจากการตั้งค่าคลาสทดสอบจะกำหนดค่ารหัสซีเรียลให้กับแท็บเล็ต

ทำการทดสอบแต่ละรายการ

การทดสอบแต่ละรายการจะทําได้เพื่อวัตถุประสงค์ในการแก้ไขข้อบกพร่องเท่านั้น เนื่องจากระบบจะไม่รายงานผลลัพธ์ของการทดสอบไปยัง CTS Verifier เนื่องจากระบบจะเขียนทับไฟล์ config.yml ที่บรรทัดคำสั่งสำหรับ camera และ scene ไม่ได้ พารามิเตอร์เหล่านี้จึงต้องถูกต้องในไฟล์ config.yml สำหรับการทดสอบแต่ละรายการที่เป็นปัญหา นอกจากนี้ หากมีแท่นทดสอบมากกว่า 1 รายการในไฟล์การกําหนดค่า คุณต้องระบุแท่นทดสอบด้วย Flag --test_bed เช่น

python tests/scene1_1/test_black_white.py --config config.yml --test_bed TEST_BED_TABLET_SCENES

อาร์ติแฟกต์ทดสอบ

ใน Android 12 ระบบจะจัดเก็บรายการทดสอบสำหรับ ITS ของกล้องในลักษณะเดียวกับ Android 11 หรือต่ำกว่า แต่จะมีการเปลี่ยนแปลงต่อไปนี้

• ไดเรกทอรีอาร์ติแฟกต์การทดสอบ /tmp จะมี CameraITS_ นำหน้าสตริงแบบสุ่ม 8 อักขระเพื่อความชัดเจน
• ระบบจะจัดเก็บเอาต์พุตและการทดสอบข้อผิดพลาดใน test_log.DEBUG สำหรับการทดสอบแต่ละครั้งแทน test_name_stdout.txt และ test_name_stderr.txt
• Logcat ของ DUT และแท็บเล็ตจากการทดสอบแต่ละรายการจะจัดเก็บอยู่ในไดเรกทอรี /tmp/CameraITS_######## ซึ่งจะทําให้การแก้ไขข้อบกพร่องง่ายขึ้นเนื่องจากระบบจะบันทึกข้อมูลทั้งหมดที่จําเป็นสําหรับแก้ไขข้อบกพร่อง 3A

ทดสอบการเปลี่ยนแปลง

ใน Android 12 ฉากแท็บเล็ตจะเป็นไฟล์ PNG ไม่ใช่ไฟล์ PDF การใช้ไฟล์ PNG จะช่วยให้แท็บเล็ตรุ่นต่างๆ แสดงฉากได้อย่างถูกต้องมากขึ้น

scene0/test_jitter.py

การทดสอบ test_jitter จะทำงานกับกล้องที่ซ่อนอยู่จริงใน Android 12

scene1_1/test_black_white.py

สำหรับ Android 12 test_black_white จะมีฟังก์ชันการทำงานทั้งของ test_black_white และ test_channel_saturation

ตารางต่อไปนี้อธิบายการทดสอบ 2 รายการใน Android 11

ตารางต่อไปนี้อธิบายการทดสอบที่ผสานแล้ว scene1_1/test_black_white.py ใน Android 12

scene1_1/test_burst_sameness_manual.py

การทดสอบ test_burst_sameness_manual จะทำงานกับกล้องที่ซ่อนอยู่จริงใน Android 12

scene1_2/test_tonemap_sequence.py

การทดสอบ test_tonemap_sequence จะทํางานในกล้องจํากัดใน Android 12

scene1_2/test_yuv_plus_raw.py

การทดสอบ test_yuv_plus_raw จะทำงานกับกล้องที่ซ่อนอยู่จริงใน Android 12

scene2_a/test_format_combos.py

การทดสอบ test_format_combos จะทํางานในกล้องจํากัดใน Android 12

scene3/test_flip_mirror.py

การทดสอบ test_flip_mirror จะทํางานในกล้องจํากัดใน Android 12

scene4/test_aspect_ratio_and_crop.py

การค้นหาวงกลมใน scene4/test_aspect_ratio_and_crop.py ได้รับการรีแฟกทอริงใน Android 12

Android เวอร์ชันเก่าใช้วิธีการที่ค้นหาขอบของรูปย่อย (วงกลม) ภายในขอบของรูปหลัก (สี่เหลี่ยมจัตุรัส) ด้วยตัวกรองขนาดและสี Android 12 ใช้วิธีการที่ค้นหาเส้นขอบทั้งหมด จากนั้นกรองโดยค้นหาองค์ประกอบที่เป็นวงกลมมากที่สุด หากต้องการกรองวงกลมที่ไม่ถูกต้องบนจอแสดงผล จะต้องมีพื้นที่ขอบขั้นต่ำและขอบของวงกลมต้องเป็นสีดํา

เส้นขอบและเกณฑ์การเลือกแสดงอยู่ในรูปภาพต่อไปนี้

รูปที่ 1 ภาพตัวอย่างของเส้นระดับและเกณฑ์การเลือก

วิธีใน Android 12 นั้นง่ายกว่าและช่วยแก้ปัญหาการครอบตัดกล่องขอบเขตในแท็บเล็ตจอแสดงผลบางรุ่น ระบบจะบันทึกวงกลมทั้งหมดที่เป็นไปได้เพื่อใช้แก้ไขข้อบกพร่อง

ใน Android 12 ระบบจะทำการทดสอบการครอบตัดในอุปกรณ์ FULL และ LEVEL3 Android เวอร์ชัน 11 หรือต่ำกว่าจะข้ามการทดสอบการยืนยันการครอบตัดสำหรับอุปกรณ์ FULL

ตารางต่อไปนี้แสดงการยืนยันสําหรับ test_aspect_ratio_and_crop.py ที่สอดคล้องกับระดับอุปกรณ์และระดับ API แรก

scene4/test_multi_camera_alignment.py

เราได้ปรับโครงสร้างเมธอด undo_zoom() สำหรับการจับภาพ YUV ใน scene4/test_multi_camera_alignment.py เพื่อให้ตัดส่วนที่เกินออกบนเซ็นเซอร์ที่ไม่ตรงกับสัดส่วนภาพของภาพ

โค้ด Python 2 ของ Android 11

zoom_ratio = min(1.0 * yuv_w / cr_w, 1.0 * yuv_h / cr_h)
circle[i]['x'] = cr['left'] + circle[i]['x'] / zoom_ratio
circle[i]['y'] = cr['top'] + circle[i]['y'] / zoom_ratio
circle[i]['r'] = circle[i]['r'] / zoom_ratio

โค้ด Python 3 ของ Android 12

yuv_aspect = yuv_w / yuv_h
relative_aspect = yuv_aspect / (cr_w/cr_h)
if relative_aspect > 1:
  zoom_ratio = yuv_w / cr_w
  yuv_x = 0
  yuv_y = (cr_h - cr_w / yuv_aspect) / 2
else:
  zoom_ratio = yuv_h / cr_h
  yuv_x = (cr_w - cr_h * yuv_aspect) / 2
  yuv_y = 0
circle['x'] = cr['left'] + yuv_x + circle['x'] / zoom_ratio
circle['y'] = cr['top'] + yuv_y + circle['y'] / zoom_ratio
circle['r'] = circle['r'] / zoom_ratio

sensor_fusion/test_sensor_fusion.py

ใน Android 12 จะมีการเพิ่มวิธีการตรวจหาองค์ประกอบในรูปภาพสำหรับการทดสอบการผสานเซ็นเซอร์

ในเวอร์ชันที่ต่ำกว่า Android 12 ระบบจะใช้ทั้งรูปภาพเพื่อค้นหาจุดยอด 240 จุดที่ดีที่สุด จากนั้นจะทำการมาสก์จุดยอด 20% ตรงกลางเพื่อหลีกเลี่ยงผลกระทบจากกลไกชัตเตอร์แบบเลื่อน โดยกำหนดให้มีจุดยอดขั้นต่ำ 30 จุด

หากฟีเจอร์ที่พบด้วยวิธีนี้ไม่เพียงพอ Android 12 จะปิดบังพื้นที่ตรวจหาฟีเจอร์ไว้ที่ตรงกลาง 20% ก่อน และจำกัดจำนวนฟีเจอร์สูงสุดไว้ที่ 2 เท่าของจำนวนฟีเจอร์ขั้นต่ำที่ต้องการ

รูปภาพต่อไปนี้แสดงความแตกต่างระหว่างการตรวจหาฟีเจอร์ของ Android 11 กับ Android 12 การเพิ่มเกณฑ์ข้อกําหนดขั้นต่ำของฟีเจอร์จะทําให้ระบบตรวจพบฟีเจอร์คุณภาพต่ำและส่งผลเสียต่อการวัดผล

รูปที่ 2 ความแตกต่างในการตรวจหาฟีเจอร์ระหว่าง Android 11 กับ Android 12

การทดสอบใหม่

scene0/test_solid_color_test_pattern.py

เปิดใช้การทดสอบใหม่ test_solid_color_test_pattern สำหรับ Android 12 แล้ว การทดสอบนี้ใช้ได้กับกล้องทุกรุ่นและมีคำอธิบายอยู่ในตารางต่อไปนี้

คุณต้องเปิดใช้รูปแบบทดสอบที่เป็นสีพื้นเพื่อรองรับโหมดความเป็นส่วนตัวของกล้อง การทดสอบ test_solid_color_test_pattern ยืนยันเอาต์พุตรูปภาพ YUV แบบสีเดียวที่มีสีที่กำหนดโดยรูปแบบที่เลือก และสีของรูปภาพจะเปลี่ยนไปตามข้อกำหนด

พารามิเตอร์

• cameraPrivacyModeSupport: ระบุว่ากล้องรองรับโหมดความเป็นส่วนตัวหรือไม่
• android.sensor.testPatternMode: ตั้งค่าโหมดรูปแบบการทดสอบ การทดสอบนี้ใช้ SOLID_COLOR
• android.sensor.testPatternData: ตั้งค่ารูปแบบทดสอบ R, Gr, Gb, G สำหรับโหมดรูปแบบทดสอบ

ดูคำอธิบายของรูปแบบการทดสอบสีพื้นได้ที่ SENSOR_TEST_PATTERN_MODE_SOLID_COLOR

วิธีการ

ระบบจะจับเฟรม YUV สำหรับชุดพารามิเตอร์และตรวจสอบเนื้อหารูปภาพ รูปแบบทดสอบจะแสดงผลจากเซ็นเซอร์ภาพโดยตรง จึงไม่จำเป็นต้องใช้ฉากใดฉากหนึ่ง หากรองรับ PER_FRAME_CONTROL ระบบจะจับภาพเฟรม YUV เฟรมเดียวสําหรับการตั้งค่าแต่ละรายการที่ทดสอบ หากไม่รองรับ PER_FRAME_CONTROL ระบบจะจับภาพ 4 เฟรมโดยวิเคราะห์เฉพาะเฟรมสุดท้ายเพื่อเพิ่มการครอบคลุมการทดสอบในกล้อง LIMITED ให้ได้สูงสุด

การจับภาพ YUV ตั้งค่าเป็นรูปแบบการทดสอบ BLACK, WHITE, RED, GREEN และBLUE ที่สีอิ่มตัว เนื่องจากคำจำกัดความของรูปแบบการทดสอบเป็นไปตามรูปแบบ Bayer ของเซ็นเซอร์ จึงต้องตั้งค่าช่องสีสำหรับแต่ละสีดังที่แสดงในตารางต่อไปนี้

ตารางการยืนยัน

ตารางต่อไปนี้อธิบายการยืนยันการทดสอบสําหรับ test_solid_color_test_pattern.py

การทดสอบประสิทธิภาพของชั้นเรียน

scene2_c/test_camera_launch_perf_class.py

ยืนยันว่าเวลาเริ่มต้นของกล้องน้อยกว่า 500 ms ทั้งสำหรับกล้องหลักด้านหน้าและหลัง ด้วยฉากใบหน้า scene2_c

scene2_c/test_jpeg_capture_perf_class.py

ยืนยันว่าเวลาในการตอบสนองในการจับภาพ JPEG 1080p น้อยกว่า 1 วินาทีสำหรับทั้งกล้องหน้าและกล้องหลังหลักที่มีฉากใบหน้า scene2_c