Caméra ITS prête à l'emploi

La suite de tests d'image de l'appareil photo Android (ITS) fait partie du vérificateur de la suite de tests de compatibilité Android (CTS) et inclut des tests qui vérifient le contenu des images. CTS Verifier est compatible avec l'automatisation des tests ITS avec ITS-in-a-box pour la caméra. La prise en charge des tests manuels couvre tous les facteurs de forme des appareils Android.

Les avantages de l'ITS-in-a-box sont les suivants:

• Automatisation. Aucune intervention humaine n'est nécessaire pendant le test.
• Dépannage facile. La cohérence de l'environnement de test réduit le nombre d'erreurs de configuration et améliore la reproductibilité.
• Efficacité. La possibilité de réessayer pour chaque caméra/scène améliore l'efficacité de l'exécution des tests.

Premiers pas

L'ITS-in-a-box se compose d'une boîte en plastique découpée au laser à partir de dessins de conception assistée par ordinateur (CAO), d'une tablette graphique et d'un appareil sous test (DUT). Le tableau suivant décrit les caractéristiques et les spécifications des différents systèmes ITS tout-en-un disponibles.

Pour commencer à utiliser la solution ITS tout-en-un pour caméra:

1. Achetez ou créez un système ITS tout-en-un modulaire, WFoV ou RFoV.
2. Configurez une tablette avec le logiciel ITS de la caméra.
3. Exécutez des tests.
4. Obtenez les résultats du DUT.

Configurer la tablette

Cette section fournit des instructions détaillées pour configurer une tablette à utiliser avec les tests ITS de la caméra situés dans le répertoire CameraITS. Ces instructions utilisent une Pixel C comme exemple de tablette. Pour en savoir plus sur les exigences et recommandations concernant les tablettes, consultez la section Exigences concernant les tablettes.

Remarque:Les scripts Python ITS de la caméra définissent automatiquement les options suivantes sur la tablette :
Settings > Display > Sleep > After 30 minutes of inactivity (Paramètres > Écran > Mise en veille > Après 30 minutes d'inactivité)
Adaptive brightness > OFF (Luminosité adaptative > DÉSACTIVÉ)

1. Rechargez la tablette et allumez-la. Si vous êtes invité à configurer un compte, ignorez-le (la fonctionnalité ITS de la caméra ne nécessite aucun compte associé à la tablette).
2. Mettez à jour la tablette vers Android 7.0 ou version ultérieure. Android 6.x et les versions antérieures ne sont pas compatibles avec l'ITS de l'appareil photo.
3. Activez le mode développeur.
4. Revenez à Paramètres, puis sélectionnez Options pour les développeurs.

   Activer les options	Activé Laisser activé Débogage USB (cela permet à l'hôte d'exécuter la tablette en mode débogage. Lorsque vous connectez la tablette à l'hôte pour la première fois, la tablette affiche l'invite Autoriser le débogage USB ?. Si la tablette n'affiche pas l'invite de débogage, déconnectez-la, puis reconnectez-la.)
   Désactiver les options	Mises à jour automatiques du système Vérifier les applis via USB

5. Déterminez les ID de DUT et de graphique en exécutant $ adb devices pour lister les appareils disponibles. Pour déterminer device_id et chart_id, branchez et débranchez des appareils, puis observez les appareils qui se connectent et se déconnectent.
6. Effectuez trois exécutions de test pour supprimer les indices et les invites utilisateur qui peuvent masquer les graphiques sur l'écran de la tablette.
   1. Placez la tablette face vers le haut sur une table (ne la fixez pas au panneau arrière du carton).
   2. Exécutez la commande suivante :

      python tools/run_all_tests.py device=$device_id camera=0 chart=$chart_id scenes=2,3
      

      Les scènes 2 et 3 nécessitent que la tablette affiche une image. La tablette affiche donc l'invite Autoriser Drive à accéder aux photos, contenus multimédias et fichiers sur votre appareil ?. Pour effacer cette requête (et éviter les requêtes futures), appuyez sur Autoriser.
   3. Exécutez de nouveau la commande ci-dessous. La tablette affiche l'invite Conserver une copie de ce fichier ? et suggère Google Drive. Pour effacer cette invite (et éviter les futures invites), appuyez sur l'icône Drive, puis sur Annuler pour importer le fichier dans Drive.
   4. Enfin, exécutez tools/run_all_tests.py et vérifiez que les scènes changent automatiquement à mesure que le script passe d'une scène à l'autre. Bien que la plupart des tests échouent (car la caméra n'est pas dirigée vers le graphique), vous pouvez vérifier que la tablette fait défiler correctement les scènes sans afficher d'invites ni d'autres pop-ups à l'écran.

Exécuter des tests

Avant d'exécuter le kit ITS, assurez-vous que votre configuration de test inclut le matériel et les logiciels suivants:

• Un (1) ITS-in-a-box
• Une (1) tablette 10 pouces haute résolution pour afficher des scènes, N° de série: 5811000011
• Un (1) DUT sur lequel l'application CTS Verifier 7.0_8 ou version ultérieure est installée. Exemple de DUT :
  • Un (1) Pixel NOF26W pour les tests de la caméra arrière(0), S/N: FA6BM0305016. Pour installer l'application CTS Verifier, décompressez android-cts-verifier.zip, puis exécutez

    adb -s FA6BM0305016 install -r -g android-cts-verifier/CtsVerifier.apk
    

Exécuter des scènes sur tablette

Pour exécuter les scènes 0 à 4, 6 et scene_change sur la caméra arrière:

cd android-cts-verifier/CameraITS
. build/envsetup.sh
python tools/run_all_tests.py camera=0

Exemple :

Réessayer des scènes

Vous pouvez réessayer des scènes pour une seule caméra:

• Pour réessayer des scènes sur une seule caméra:

  python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=3,4
  

Exécuter la scène 5

La scène 5 nécessite une configuration spéciale avec un éclairage spécifique (pour en savoir plus, consultez CameraITS.pdf dans CTS Verifier, que vous pouvez télécharger sur la page Téléchargements de la suite de tests de compatibilité). Vous devez exécuter la scène 5 séparément (en dehors de la boîte).

Pour exécuter la scène 5 pour les caméras avant et arrière d'un seul appareil:

python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=5
python tools/run_all_tests.py device=FA6BM0305016 camera=1 scenes=5

Obtenir des résultats

Vous pouvez consulter les résultats pendant les tests et les enregistrer sous forme de rapport.

• Affichez les résultats. Pour enregistrer les résultats de l'ITS de la caméra sous forme de rapport :
  1. Appuyez sur Passer, puis enregistrez le rapport.
     
     Figure 3 : Rapport ITS sur les caméras
  2. Extrayez les rapports de l'appareil:

     adb -s FA6BM0305016 pull /sdcard/verifierReports
     

  3. Décompressez le fichier de rapport et affichez test_result.xml.
     
     Figure 4 Rapports ITS sur les caméras
     

Configuration requise pour la tablette

Pour Android 15 et versions ultérieures, les tablettes utilisées comme affichage du graphique ITS doivent figurer sur la liste d'autorisation de tablettes suivante. Pour obtenir la liste des tablettes compatibles avec les tests de scènes en basse lumière, consultez la section Tablettes compatibles avec les scènes en basse lumière. Pour Android 14 ou version antérieure, consultez les Conditions requises pour les tablettes sous Android 14 ou version antérieure.

Les tablettes de la liste d'autorisation sont choisies en fonction des critères suivants:

• Taille d'écran d'environ 10 pouces avec une résolution supérieure à 1 920 x 1 200 pixels
• Il ne doit pas y avoir de scintillement mesuré causé par le gradation de l'écran contrôlée par la modulation de largeur d'impulsion (PWM).
• Capable d'exécuter les commandes adb envoyées par les tests ITS et d'afficher des images de graphiques avec la luminosité de l'écran indiquée.

La valeur brightness doit être définie dans config.yml en fonction du modèle de tablette. Pour déterminer si votre modèle de tablette correspond à un nom d'appareil sur la liste d'autorisation, imprimez la valeur ro.product.device en exécutant la commande adb adb shell getprop | grep 'ro.product.device'.

Tablettes compatibles pour les scènes à faible luminosité

Exigences concernant les tablettes pour Android 14 ou version antérieure

Les tablettes doivent avoir une taille d'écran d'environ 10 pouces et une résolution d'écran supérieure à 1 920 x 1 200 pixels. La tablette ne doit pas utiliser la modulation de largeur d'impulsion (PWM) pour définir le niveau de luminosité. La valeur brightness doit être définie dans config.yml en fonction du modèle de tablette. Le tableau ci-dessous liste les tablettes recommandées pour les tests ITS, ainsi que les versions d'Android pour le DUT avec lequel elles fonctionnent.

Questions fréquentes

Q1: Comment déterminer les bancs de test dont j'ai besoin pour mon appareil ?

La version 1 de l'ITS-in-a-box RFoV teste les caméras RFoV pour les tests de scènes sur tablette dans le répertoire CameraITS/tests. Le champ de vision réel est défini comme suit : 60° < champ de vision < 90°. Pour les caméras avec un champ de vision plus large, les lumières peuvent apparaître sur les images ou les graphiques peuvent couvrir une zone trop petite du champ de vision, ce qui affecte les résultats des tests.

La version 2 de l'ITS-in-a-box à FOV large teste les caméras à FOV large pour les tests de scènes sur tablette dans le répertoire CameraITS/tests. Le champ de vision sphérique est défini comme FoV >= 90°. Le banc d'essai de la version 2 est fonctionnellement identique à celui de la version 1, mais plus grand. La version 2 du banc d'essais peut tester à la fois les caméras RFoV et WFoV sous Android 9 ou version ultérieure. Compte tenu de l'encombrement plus important, la révision 2 est idéale si l'appareil testé est une tablette.

Le support de base modulaire teste les caméras à champ de vision large pour les tests de scènes sur tablette dans le répertoire CameraITS/tests. Le champ de vision à champ large est défini comme champ de vision >= 90°. Le socle modulaire peut tester les caméras à champ de vision à champ large et à champ de vision à champ large pour les appareils équipés d'Android 9 ou version ultérieure. Il est également compatible avec le bras mécanique d'extension télé qui peut être fixé pour tester les caméras télé avec une distance de mise au point minimale plus longue. Le bras mécanique de base modulaire est fonctionnellement identique à l'ITS-in-a-box WFoV, mais il est plus petit.

La boîte de fusion de capteurs teste le décalage de synchronisation de la caméra/du gyroscope et la synchronisation des images des systèmes multicaméra avec des tests dans scenes=sensor_fusion. Un décalage de synchronisation de la caméra/du gyroscope inférieur à 1 ms est requis pour l'indicateur de fonctionnalité REALTIME.

Les appareils à plusieurs caméras peuvent être testés avec un seul banc d'essai pour les tests ITS statiques et un banc de fusion de capteurs si la caméra dispose du flag de fonctionnalité REALTIME.

Un ensemble d'exemples de configurations est fourni dans le tableau ci-dessous.

Q2: Comment indiquer le banc d'essai utilisé ?

Pour désigner le bon banc d'essai, assurez-vous que le paramètre de distance du graphique est correct. Le banc d'essai rev1 (RFoV) a une distance de 31 cm, et le banc d'essai rev2 (WFoV) a une distance de 22 cm. Par défaut, la distance du graphique est définie sur 31 cm.

Android 10 vers Android 11

python tools/run_all_tests.py ... chart=# dist=22

Android 12 ou version ultérieure

edit config.yml
chart_distance: 31.0 → chart_distance: 22.0

Q3: Comment contrôler la luminosité de la tablette ?

Par défaut, la luminosité de la tablette est définie sur 96.

Pour modifier la luminosité sur les tablettes exécutant Android 7.0 à Android 9, exécutez la commande suivante:

edit tools/wake_up_screen.py
DISPLAY_LEVEL=96 → DISPLAY_LEVEL=192

Pour modifier la luminosité sur les tablettes exécutant Android 10 à 11, vous pouvez modifier la valeur sur la ligne de commande en ajoutant l'indicateur brightness:

python tools/run_all_tests.py device=# camera=# chart=# brightness=192

Pour modifier la luminosité sur les tablettes équipées d'Android 12 ou version ultérieure, exécutez la commande suivante:

edit config.yml
brightness: 96 → brightness: 192

Q4: Comment déboguer un seul test ?

Les tests peuvent être exécutés individuellement à des fins de débogage, mais les résultats ne sont pas envoyés à CtsVerifier.apk, sauf si l'ensemble de la scène est exécuté.

Pour exécuter une scène individuelle sous Android 11 ou version antérieure:

1. Chargez une scène en ajoutant l'indicateur scenes dans tools/run_all_tests.py:

   python tools/run_all_tests.py device=# camera=# chart=# scenes=#
   

2. Appuyez sur Ctrl+C pour arrêter les tests une fois que la scène est enregistrée comme chargée dans stdout.

   Si la scène appropriée est déjà à l'écran, activez l'écran:

   python tools/wake_up_screen.py screen=#
   

3. Exécutez un test individuel.

   python tests/scene#/test_*.py device=# camera=#

   Des graphiques sont ensuite générés dans le répertoire local, et stdout et stderr sont affichés à l'écran.

   Pour obtenir plus d'informations à des fins de débogage, ajoutez des instructions print au script. Pour augmenter la sortie de test à des fins de débogage, ajoutez l'indicateur debug=True.

   python tests/scene#/test_*.py device=# camera=# debug=True

Les résultats sont imprimés sur l'écran local et les images sont enregistrées dans le répertoire local au lieu du répertoire /tmp/tmp### généré lors de l'exécution de tools/run_all_tests.py.

Pour exécuter une scène individuelle sous Android 12 ou version ultérieure:

1. Modifiez le fichier config.yml.

   edit config.yml
   camera: <camera-id> → camera:  0
   scene: <scene-name> → scene: scene1_1

2. Exécutez le test individuel.

   python tools/run_all_tests.py -c config.yml --test_bed TEST_BED_TABLET_SCENES
   

Les résultats sont imprimés dans le répertoire /tmp/logs/mobly/TEST_BED_TABLET_SCENES/, triés par durée d'exécution.

Q5: Pourquoi dois-je exécuter des tests échoués en tant que scène entière au lieu de les réexécuter individuellement ?

Les tests peuvent être exécutés individuellement à des fins de débogage, mais les résultats ne sont pas envoyés à CtsVerifier.apk, sauf si l'ensemble de la scène est exécuté.

L'ITS de l'appareil photo garantit que les applications tierces disposent d'une interface d'appareil photo compatible. Comme un test unitaire, chaque test met l'accent sur une seule spécification de l'appareil photo. Pour détecter un comportement peu fiable, ces tests doivent réussir en groupe pour une scène entière. Par exemple, même si un seul test non fiable peut réussir une nouvelle exécution d'une scène entière, il est difficile que plusieurs tests non fiables réussissent.

Prenons un exemple extrême : imaginons qu'une scène comporte 10 tests, chacun ayant une probabilité de 50% de renvoyer PASS. En exécutant chaque test individuellement, un opérateur a de fortes chances de réussir le test ITS de la caméra. Toutefois, si les tests sont exécutés de manière globale en tant que scène, la scène ne passera qu'avec 0,1% de chances.

Q6: Comment exécuter une seule scène ou réorganiser les scènes d'exécution ?

Par défaut, le script tools/run_all_tests.py exécute toutes les scènes dans l'ordre. Toutefois, les scènes peuvent être exécutées individuellement ou dans un ordre spécifié, et être signalées à CtsVerifier.apk.

Pour exécuter une scène individuelle (par exemple, la scène 2) ou plusieurs scènes dans un ordre spécifique sous Android 11 ou version antérieure:

python tools/run_all_tests.py device=# camera=# chart=# scenes=2

python tools/run_all_tests.py device=# camera=# chart=# scenes=3,2

Pour exécuter une scène individuelle ou plusieurs scènes dans un ordre spécifique sous Android 12 ou version ultérieure:

python tools/run_all_tests.py scenes=2

python tools/run_all_tests.py scenes=3,2

Les paramètres supplémentaires sont définis dans le fichier config.yml.

Q7: Un certain nombre de tests de la scène 1 échouent avec la configuration de la tablette, mais réussissent avec un graphique papier. Pourquoi ?

Assurez-vous que la tablette et l'environnement de test répondent aux spécifications suivantes.

Caractéristiques de la tablette

Assurez-vous que la tablette répond aux spécifications suivantes:

• Taille de l'écran (pouces): 10 pouces
• Taille de l'écran (pixels): supérieure à 1 920 x 1 200 pixels

Pour en savoir plus, consultez la section Exigences concernant les tablettes.

Luminosité de la tablette

Il est possible que les tests n'obtiennent pas de résultats corrects si la luminosité de l'écran de la tablette est trop faible.

Pour en savoir plus, consultez Comment contrôler la luminosité de la tablette ?

Niveau d'éclairage de la boîte (nécessite un luxmètre)

Assurez-vous que la valeur cible de lux à l'ouverture de la tablette est comprise entre 100 et 300.

Si le niveau de lux est trop élevé, scene1/test_param_flash_mode.py renvoie FAIL. Si le niveau de luminosité est trop faible, plusieurs tests échouent.

Q8: Comment déboguer les tests de fusion de capteurs ?

1. Assurez-vous d'appartenir à un groupe dialout.

   groups | egrep ‘dialout'

2. Assurez-vous que le contrôleur de fusion de capteurs est connecté en déterminant si la technologie Microchip est connectée au port USB.

   lsusb
   …
   Bus 003 Device 004: ID 04d8:fc73 Microchip Technology, Inc.
   …
   

3. Exécutez le test plusieurs fois pour obtenir une distribution des tentatives de test à l'aide des commandes suivantes.

   Sous Android 11 ou version antérieure:

   python tools/run_sensor_fusion_box.py device=A camera=0 num_runs=10 rotator=default
   

   Dans Android 12 et versions ultérieures:

   python tools/run_sensor_fusion_box.py num_runs=10
   

   Les paramètres supplémentaires sont définis dans le fichier config.yml.

   Les sorties d'exécution se trouvent dans le dossier /tmp/tmp### créé sous les dossiers sensor_fusion_#, où # correspond au numéro d'exécution. Voici quelques causes courantes d'échec:

   1. Le téléphone n'est pas centré correctement.
   2. L'image ne contient pas suffisamment d'éléments (généralement un problème de champ de vision ou d'éclairage).
   3. Le FAIL renvoyé est valide, et le décalage temporel entre la caméra et le gyroscope doit être corrigé.

Q9: Quelles informations dois-je inclure lorsque je signale un bug de test ?

Lorsque vous signalez un bug de test, incluez les fichiers et les images générés pour le test.

1. Si vous avez exécuté le test via tools/run_all_tests.py, joignez un répertoire /tmp/ compressé au bug.
2. Si vous avez exécuté le test seul, joignez toutes les sorties d'écran et les images générées au bug.

Incluez également un rapport de bug. Une fois le test en question échoué, utilisez la commande suivante pour générer un rapport de bug et joindre le fichier ZIP généré au bug.

adb -s device_id bugreport

Q10: Comment exécuter une scène de test sensor_fusion avec une caméra dont la distance de mise au point minimale crée des images floues à 25 cm du graphique ?

Si votre caméra ne parvient pas à faire la mise au point à une distance de 25 cm, retirez le panneau de fixation du tableau de la boîte de fusion des capteurs. Placez le graphique à une distance où le DUT peut faire la mise au point et remplacez chart_distance dans config.yml par la distance mesurée entre le DUT et le graphique. La figure 5 montre comment mesurer la distance du graphique dans cette situation.

  edit config.yml
chart_distance: 25 → chart_distance: DISTANCE_BETWEEN_DUT_AND_CHART

Q11: Comment exécuter des scènes de test pour une tablette avec une distance de mise au point minimale qui crée des images floues à 31 cm du graphique ?

Si votre appareil photo ne peut pas produire des images suffisamment nettes lors des tests à 31 cm (profondeur du banc d'essai du champ de vision de l'image), installez-le devant le banc d'essai à une distance permettant à la scène du graphique de remplir environ 60% du champ de vision (FoV) de l'appareil photo avec des images plus nettes. Cette distance peut être inférieure à la distance de mise au point minimale de la caméra. Laissez le chart_distance dans config.yml à 31 cm. Le recadrage du graphique sur la tablette est déterminé par le champ de vision de la caméra, comme indiqué dans le tableau suivant:

Q12: Avec l'API multicaméra logique, quels tests sont exécutés sur quelles caméras ?

Si votre appareil photo utilise REQUEST_AVAILABLE_CAPABILITIES_LOGICAL_MULTI_CAMERA, tous les tests ITS compatibles sont exécutés sur l'appareil photo logique de niveau supérieur. Un sous-ensemble des tests ITS est exécuté sur les sous-caméras physiques, et ces tests sont listés dans tools/run_all_tests.py sous la constante SUB_CAMERA_TESTS.