Камера ITS-in-a-Box

Набор для тестирования изображений с камеры Android (ITS) входит в состав набора для проверки совместимости Android Compatibility Test Suite (CTS) Verifier и включает тесты для проверки содержимого изображений. CTS Verifier поддерживает автоматизацию тестирования ITS с помощью Camera ITS-in-a-box; поддержка ручного тестирования распространяется на все форм-факторы устройств Android.

ITS-in-a-box включает в себя следующие преимущества:

• Автоматизация. Вмешательство человека во время испытания не требуется.
• Простота устранения неполадок. Единообразие условий тестирования снижает количество ошибок настройки и повышает воспроизводимость.
• Эффективность. Возможность повтора для отдельной камеры/сцены повышает эффективность выполнения теста.

Выбор буровой установки

Система ITS-in-a-box состоит из пластикового корпуса, вырезанного лазером по чертежам системы автоматизированного проектирования (САПР), планшета и тестируемого устройства (ТУ). В следующей таблице описаны характеристики и характеристики различных доступных систем ITS-in-a-box. Чтобы выбрать подходящую систему, учитывайте поле зрения и минимальное фокусное расстояние ТУ. Для систем камер с полем зрения от 60 до 110 градусов и минимальным фокусным расстоянием от 22 до 31 см мы рекомендуем модульную базовую систему из-за ее адаптивности. Если система камер включает телеобъектив с минимальным фокусным расстоянием от 31 до 110 см, мы рекомендуем модульную базовую систему с телеудлинителем, который точно соответствует фокусному расстоянию объектива. Телеудлинители доступны длиной от 50 до 90 см.

Буровая установка	Расстояние по карте	Диапазон поля зрения камеры DUT (приблизительно)	Функции
Модульная базовая установка	22 см	60° - 120°	Меньше занимаемой площади Большой вырез спереди позволяет проводить тестирование многокамерной системы без блокировки дополнительных камер. Буровую установку можно поворачивать на 90°
Модульная базовая установка и телескопическая удлинительная установка	22 см - 110 см*	10° - 120°	Большой вырез спереди Поддерживает тестирование камер с большим минимальным фокусным расстоянием (большинство телекамер) Длину удлинительной установки можно регулировать в зависимости от расстояния между картами.
WFoV ITS-in-a-box	22 см	60° - 120°	Большая площадь основания, обеспечивающая множество вариантов монтажа проверяемого устройства Поддержка больших DUT, таких как планшеты
RFoV ITS-in-a-box	31 см	60° - 90°	Планшет с диаграммой Система внутреннего освещения
Gen2 ITS-в-коробке	31 см	60° - 90°	Бумажная диаграмма Система внутреннего освещения

Расстояние по карте	Процент масштабирования сцены	Изображение
31 см	33%
50 см	50%
80 см	100%

Чтобы начать работу с камерой ITS-in-a-box:

1. Приобретите или соберите модульную систему WFoV или RFoV и датчик Fusion ITS-in-a-box.
2. Настройте планшет с помощью программного обеспечения Camera ITS.
3. Проведите тесты .
4. Получите результаты DUT.

Настройте планшет

В этом разделе представлены пошаговые инструкции по настройке планшета для использования с тестами Camera ITS, расположенными в каталоге CameraITS . В качестве примера используется планшет Pixel C. Информация о требованиях к планшету и рекомендациях представлена в разделе «Требования к планшету» .

Примечание: скрипты Python Camera ITS автоматически устанавливают следующие параметры на планшете:
Настройки > Дисплей > Спящий режим > Через 30 минут бездействия
Адаптивная яркость > ВЫКЛ.

1. Зарядите планшет и включите его. Если будет предложено создать учётную запись, пропустите этот шаг (для Camera ITS не требуется какая-либо учётная запись, связанная с планшетом).
2. Обновите планшет до Android 7.0 или более поздней версии. Android 6.x и более ранние версии не поддерживают Camera ITS.
3. Включить режим разработчика .
4. Вернитесь в настройки и выберите «Параметры разработчика».

   Включить параметры	На Не спите Отладка по USB (Это позволяет хосту запускать планшет в режиме отладки. При первом подключении планшета к хосту планшет выводит запрос «Разрешить отладку по USB?». Если планшет не отображает запрос отладки, отключите и снова подключите планшет.)
   Отключить параметры	Автоматические обновления системы Проверка приложений через USB

5. Определите идентификаторы тестируемого устройства (DUT) и диаграммы, выполнив команду $ adb devices для получения списка доступных устройств. Чтобы определить device_id и chart_id , подключайте и отключайте устройства и наблюдайте за тем, как они подключаются и отключаются.
6. Выполните три тестовых запуска, чтобы отключить подсказки и пользовательские запросы, которые могут затенять диаграммы на экране планшета.
   1. Положите планшет на стол экраном вверх (не прикрепляйте планшет к задней панели корпуса).
   2. Выполните следующую команду:

      python tools/run_all_tests.py device=$device_id camera=0 chart=$chart_id scenes=2,3
      

      Для сцен 2 и 3 требуется, чтобы планшет отображал изображение, поэтому на планшете появляется запрос «Разрешить Диску доступ к фотографиям, мультимедиа и файлам на вашем устройстве?» . Чтобы убрать этот запрос (и предотвратить его появление в будущем), нажмите «Разрешить».
   3. Выполните команду ещё раз. Планшет предложит сохранить копию этого файла? и выбрать Google Диск. Чтобы удалить этот запрос (и избежать его появления в будущем), нажмите на значок Диска, а затем нажмите кнопку «Отмена» для загрузки на Диск.
   4. Наконец, запустите tools/run_all_tests.py и убедитесь, что сцены автоматически меняются по мере того, как скрипт циклически переключается между ними. Хотя большинство тестов не пройдут (поскольку камера не направлена на диаграмму), вы можете убедиться, что планшет корректно переключается между сценами, не выводя на экран никаких подсказок или всплывающих окон.

Проведение тестов

Перед запуском ITS-in-a-box убедитесь, что ваша тестовая установка включает следующее аппаратное и программное обеспечение:

• Один (1) набор «ITS-в-коробке»
• Один (1) планшет высокого разрешения с диагональю 10 дюймов для отображения сцен, серийный номер: 5811000011
• Один (1) проверяемый терминал с установленным приложением CTS Verifier 7.0_8+. Пример проверяемого терминала:
  • Один (1) телефон Pixel NOF26W для тестирования задней камеры(0), серийный номер: FA6BM0305016. Чтобы установить приложение CTS Verifier, распакуйте файл android-cts-verifier.zip и запустите его.

    adb -s FA6BM0305016 install -r -g android-cts-verifier/CtsVerifier.apk
    

Запуск сцен на планшете

Чтобы запустить сцены 0–4, 6 и scene_change на задней камере:

cd android-cts-verifier/CameraITS
. build/envsetup.sh
python tools/run_all_tests.py camera=0

Пример:

Повторные сцены

Вы можете повторить сцены для одной камеры:

• Чтобы повторить съемки сцен на одной камере:

  python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=3,4
  

Сцена 5

Сцена 5 требует специальной настройки с особым освещением (подробности см. в файле CameraITS.pdf в CTS Verifier, который можно загрузить на странице «Загрузки тестов совместимости »). Сцену 5 необходимо запустить отдельно (без коробки) с тестовым стендом TEST_BED_MANUAL .

Чтобы запустить сцену 5 для передней и задней камер на одном устройстве:

python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=5
python tools/run_all_tests.py device=FA6BM0305016 camera=1 scenes=5

Получить результаты

Вы можете просматривать результаты во время тестирования и сохранять готовые результаты в виде отчета.

• Просмотреть результаты. Чтобы сохранить результаты ITS-камеры в виде отчёта:
  1. Нажмите « Пройти» и сохраните отчет.
     
     Рисунок 3. Отчет ITS камеры
  2. Извлечение отчетов с устройства:

     adb -s FA6BM0305016 pull /sdcard/verifierReports
     

  3. Разархивируйте файл отчета и просмотрите test_result.xml .
     
     Рисунок 4. Отчеты ITS камеры
     

Требования к планшету

Для Android 15 и более поздних версий планшеты, используемые для отображения диаграммы ITS, должны быть включены в следующий список разрешенных планшетов. Список планшетов, поддерживающих тестирование в условиях низкой освещенности, см. в разделе «Поддерживаемые планшеты для условий низкой освещенности» . Для Android 14 и более ранних версий см. в разделе «Требования к планшетам для Android 14 и более ранних версий ».

Планшеты в разрешенном списке выбираются на основе следующих критериев:

• Размер дисплея около 10 дюймов с разрешением экрана более 1920 x 1200 пикселей.
• Не должно быть никакого мерцания, вызванного затемнением экрана с помощью широтно-импульсной модуляции (ШИМ).
• Способен выполнять команды adb, отправляемые тестами ITS, и отображать изображения диаграмм с заданной яркостью экрана.

Значение brightness необходимо задать в config.yml в соответствии с моделью планшета. Чтобы определить, соответствует ли модель планшета названию устройства из списка разрешенных, выведите значение ro.product.device , выполнив команду adb shell getprop | grep 'ro.product.device' adb.

Поддерживаемые планшеты для съемки в условиях низкой освещенности

Требования к планшету для Android 14 и ниже

Планшеты должны иметь дисплей размером около 10 дюймов с разрешением экрана более 1920 x 1200 пикселей. Планшет не должен использовать широтно-импульсную модуляцию (ШИМ) для регулировки яркости. Значение brightness должно быть задано в config.yml в соответствии с моделью планшета. В таблице ниже перечислены рекомендуемые планшеты для тестирования ITS, а также версии Android для тестируемого устройства, с которым работают планшеты.

Часто задаваемые вопросы

В1: Как определить, какие испытательные стенды нужны для моего устройства?

В версии 1 RFoV ITS-in-a-box тестируются камеры RFoV для планшетных сцен в каталоге CameraITS/tests . RFoV определяется как 60° < FoV < 90° . Для камер с большим полем зрения на изображениях могут появляться засветы, или диаграммы могут покрывать слишком малую область поля зрения, что влияет на результаты тестов.

WFoV ITS-in-a-box версии 2 тестирует камеры WFoV для тестирования сцен планшетов в каталоге CameraITS/tests . WFoV определяется как поле зрения >= 90° . Тестовая установка версии 2 функционально идентична версии 1, но больше. Тестовая установка версии 2 может тестировать камеры RFoV и WFoV в Android 9 и выше. Учитывая большую площадь, версия 2 идеально подходит для тестируемого устройства (DUT) — планшета.

Модульная базовая установка предназначена для тестирования камер WFoV в тестах планшетных сцен в каталоге CameraITS/tests . WFoV определяется как угол обзора >= 90° . Модульная базовая установка может тестировать камеры RFoV и WFoV на устройствах под управлением Android 9 и выше. Она также поддерживает установку телеудлинителя, которая позволяет тестировать телекамеры с увеличенным минимальным фокусным расстоянием. Модульная базовая установка функционально идентична установке WFoV ITS-in-a-box, но имеет меньшие размеры.

Блок слияния датчиков проверяет смещение времени камеры/гироскопа и синхронизацию кадров многокамерных систем с помощью тестов в scenes=sensor_fusion . Для флага функции REALTIME требуется смещение времени камеры/гироскопа менее 1 мс.

Многокамерные устройства можно тестировать с помощью одной установки для статических испытаний ITS и установки для слияния датчиков, если камера имеет флаг функции REALTIME .

В таблице ниже представлен набор примеров конфигураций.

В2: Как определить, какой испытательный стенд используется?

Чтобы выбрать правильный тестовый стенд, убедитесь, что задано правильное расстояние до диаграммы. Для тестового стенда rev1 (RFoV) расстояние до диаграммы составляет 31 см, а для стенда rev2 (WFoV) — 22 см. По умолчанию расстояние до диаграммы равно 31 см.

С Android 10 на Android 11

python tools/run_all_tests.py ... chart=# dist=22

Android 12 и выше

edit config.yml
chart_distance: 31.0 → chart_distance: 22.0

В3: Как управлять яркостью планшета?

По умолчанию яркость планшета установлена на 96.

Чтобы изменить яркость на планшетах под управлением Android 7.0 – Android 9, выполните:

edit tools/wake_up_screen.py
DISPLAY_LEVEL=96 → DISPLAY_LEVEL=192

Чтобы изменить яркость на планшетах под управлением Android 10–11, значение можно изменить в командной строке, добавив флаг brightness :

python tools/run_all_tests.py device=# camera=# chart=# brightness=192

Чтобы изменить яркость на планшетах под управлением Android 12 и выше, выполните:

edit config.yml
brightness: 96 → brightness: 192

В4: Как отладить отдельный тест?

Тесты можно запускать по отдельности в целях отладки, но результаты не передаются в CtsVerifier.apk , пока не будет запущена вся сцена.

Чтобы запустить отдельную сцену в Android 11 и ниже:

1. Загрузите сцену, добавив флаг scenes в tools/run_all_tests.py :

   python tools/run_all_tests.py device=# camera=# chart=# scenes=#
   

2. Нажмите Control+C , чтобы остановить тесты после того, как сцена будет зарегистрирована как загруженная в stdout .

   Если нужная сцена уже есть на экране, активируйте экран:

   python tools/wake_up_screen.py screen=#
   

3. Проведите индивидуальный тест.

   python tests/scene#/test_*.py device=# camera=#

   Затем графики генерируются в локальном каталоге, а stdout и stderr выводятся на экран.

   Чтобы получить больше информации для отладки, добавьте в скрипт операторы print . Чтобы увеличить объём выводимых данных для отладки, добавьте флаг debug=True .

   python tests/scene#/test_*.py device=# camera=# debug=True

Результаты выводятся на локальный экран, а изображения сохраняются в локальном каталоге вместо сгенерированного каталога /tmp/tmp### при запуске tools/run_all_tests.py .

Чтобы запустить отдельную сцену в Android 12 и выше:

1. Отредактируйте файл config.yml .

   edit config.yml
   camera: <camera-id> → camera:  0
   scene: <scene-name> → scene: scene1_1

2. Проведите индивидуальный тест.

   python tools/run_all_tests.py -c config.yml --test_bed TEST_BED_TABLET_SCENES
   

Результаты выводятся в каталоге /tmp/logs/mobly/TEST_BED_TABLET_SCENES/ и сортируются по времени выполнения.

В5: Почему мне нужно запускать неудачные тесты как целую сцену, а не перезапускать тесты по отдельности?

Тесты можно запускать по отдельности в целях отладки, но результаты не передаются в CtsVerifier.apk , пока не будет запущена вся сцена.

Camera ITS гарантирует, что сторонние приложения имеют совместимый интерфейс камеры. Подобно модульному тесту , каждый тест проверяет одну спецификацию камеры. Для выявления ненадёжного поведения предполагается, что эти тесты будут проходить как группа для всей сцены. Например, хотя один ненадёжный тест может пройти повторное выполнение всей сцены, сложно пройти несколько ненадёжных тестов.

В качестве крайнего примера рассмотрим случай, когда в сцене есть 10 тестов, каждый из которых с вероятностью 50% вернёт PASS . Проводя каждый тест по отдельности, оператор с высокой вероятностью сможет добиться, чтобы камера прошла Camera ITS. Однако, если тесты выполняются в совокупности для всей сцены, вероятность успешного прохождения сцены составляет всего 0,1%.

В6: Как запустить отдельную сцену или изменить порядок сцен?

По умолчанию скрипт tools/run_all_tests.py запускает все сцены по порядку. Однако сцены можно запускать по отдельности или в указанном порядке, а результаты отправлять в CtsVerifier.apk .

Чтобы запустить отдельную сцену (например, сцену 2) или запустить несколько сцен в определенном порядке в Android 11 или ниже:

python tools/run_all_tests.py device=# camera=# chart=# scenes=2

python tools/run_all_tests.py device=# camera=# chart=# scenes=3,2

Чтобы запустить отдельную сцену или запустить несколько сцен в определенном порядке в Android 12 и выше:

python tools/run_all_tests.py scenes=2

python tools/run_all_tests.py scenes=3,2

Дополнительные параметры задаются в файле config.yml .

В7: Некоторые тесты сцены 1 не проходят при использовании планшета, но проходят при использовании бумажной диаграммы. В чём проблема?

Убедитесь, что планшет и тестовая среда соответствуют следующим характеристикам.

Характеристики планшета

Убедитесь, что планшет соответствует следующим характеристикам:

• Размер дисплея (дюймы): 10 дюймов
• Размер дисплея (пиксели): более 1920 x 1200 пикселей

Более подробную информацию смотрите в разделе Требования к планшету .

Яркость планшета

Тесты могут дать неверные результаты, если яркость дисплея планшета слишком низкая.

Более подробную информацию смотрите в разделе Как управлять яркостью планшета?

Уровень освещенности в боксе (требуется люксметр)

Убедитесь, что целевое значение люкс при открытии планшета составляет от 100 до 300.

Если уровень освещённости слишком высокий, scene1/test_param_flash_mode.py возвращает FAIL . Если уровень освещённости слишком низкий, несколько тестов завершаются неудачей.

В8: Как отладить тесты слияния датчиков?

1. Убедитесь, что вы входите в группу dialout .

   groups | egrep ‘dialout'

2. Убедитесь, что контроллер Sensor Fusion подключен, определив, подключен ли Microchip Technology к порту USB.

   lsusb
   …
   Bus 003 Device 004: ID 04d8:fc73 Microchip Technology, Inc.
   …
   

3. Запустите тест несколько раз, чтобы получить распределение попыток теста с помощью следующих команд.

   В Android 11 и ниже:

   python tools/run_sensor_fusion_box.py device=A camera=0 num_runs=10 rotator=default
   

   В Android 12 и выше:

   python tools/run_sensor_fusion_box.py num_runs=10
   

   Дополнительные параметры задаются в файле config.yml .

   Результаты запуска находятся в папке /tmp/tmp### созданной в папке sensor_fusion_# , где # — номер запуска. Наиболее распространённые причины сбоев:

   1. Телефон не отцентрирован должным образом.
   2. На изображении обнаружено недостаточно деталей (часто это проблема поля зрения или освещения).
   3. Возвращенный FAIL является допустимым, и смещение времени между камерой и гироскопом необходимо скорректировать.

В9: Какую информацию следует включать в сообщение об ошибке тестирования?

Сообщая об ошибке тестирования, приложите сгенерированные файлы и изображения для теста.

1. Если вы запустили тест через tools/run_all_tests.py , прикрепите к ошибке заархивированный каталог /tmp/ .
2. Если вы запустили тест отдельно, прикрепите к ошибке все выходные данные экрана и сгенерированные изображения.

Также приложите отчёт об ошибке. Если тест не пройден, используйте следующую команду для создания отчёта об ошибке и прикрепите созданный ZIP-файл к ошибке.

adb -s device_id bugreport

В10: Как запустить тестовую сцену sensor_fusion с камерой, у которой минимальное фокусное расстояние создает размытые изображения на расстоянии 25 см от диаграммы?

Если ваша камера не может сфокусироваться на расстоянии 25 см, снимите панель крепления диаграммы с блока объединения датчиков. Разместите диаграмму на расстоянии, на котором проверяемое устройство может сфокусироваться, и измените chart_distance в config.yml на измеренное расстояние между проверяемым устройством и диаграммой. На рисунке 5 показан пример измерения расстояния до диаграммы в этой ситуации.

  edit config.yml
chart_distance: 25 → chart_distance: DISTANCE_BETWEEN_DUT_AND_CHART

В11: Как запустить тестовые сцены на планшете для камеры с минимальным фокусным расстоянием, которое создает размытые изображения на расстоянии 31 см?

Если ваша камера не может давать достаточно чёткие изображения на расстоянии 31 см (глубина испытательного стенда RFoV), установите камеру перед стендом на таком расстоянии, чтобы изображение карты занимало примерно 60% поля зрения камеры (FoV) более чёткими изображениями. Это расстояние может быть меньше минимального фокусного расстояния камеры. Оставьте значение chart_distance в config.yml равным 31 см. Масштаб карты на планшете определяется полем зрения камеры, как показано в следующей таблице:

В12: Какие тесты выполняются на каких камерах при использовании логического многокамерного API?

Если ваша камера использует REQUEST_AVAILABLE_CAPABILITIES_LOGICAL_MULTI_CAMERA , все поддерживаемые тесты ITS выполняются на логической камере верхнего уровня. Часть тестов ITS выполняется на физических дополнительных камерах, и эти тесты перечислены в файле tools/run_all_tests.py в константе SUB_CAMERA_TESTS .