Videocamera ITS in una scatola

Android Camera Image Test Suite (ITS) fa parte di Android Compatibility Test Suite (CTS) Verifier e include test che verificano i contenuti delle immagini. CTS Verifier supporta l'automazione dei test ITS con la videocamera ITS-in-a-box. Il supporto per i test manuali copre tutti i fattori di forma dei dispositivi Android.

ITS-in-a-box offre i seguenti vantaggi:

• Automazione. Non è necessario alcun intervento umano durante il test.
• Risoluzione dei problemi semplificata. La coerenza dell'ambiente di test porta a un minor numero di errori di configurazione e aumenta la riproducibilità.
• Efficienza. La possibilità di riprovare per una singola videocamera/scena migliora l'efficienza di esecuzione del test.

Inizia

L'ITS-in-a-box è costituito da una scatola di plastica tagliata a laser da disegni CAD (Computer-Aided Design), una tavoletta con grafici e un dispositivo in prova (DUT). La tabella seguente descrive le funzionalità e le specifiche dei diversi impianti ITS-in-a-box disponibili.

Per iniziare a utilizzare la videocamera ITS-in-a-box:

1. Acquista o crea un sistema ITS-in-a-box modulare, WFoV o RFoV.
2. Configura un tablet con il software ITS della videocamera.
3. Esegui test.
4. Ottieni i risultati dal DUT.

Configurare il tablet

Questa sezione fornisce istruzioni dettagliate per configurare un tablet da utilizzare con i test ITS della videocamera nella directory CameraITS. Queste istruzioni utilizzano un Pixel C come tablet di esempio. Per informazioni sui requisiti e sui consigli per i tablet, consulta Requisiti per i tablet.

Nota: gli script Python ITS della fotocamera impostano automaticamente sul tablet le seguenti opzioni:
Impostazioni > Display > Sospensione > Dopo 30 minuti di inattività
Luminosità adattiva > OFF

1. Ricarica il tablet e accendilo. Se ti viene chiesto di configurare un account, salta questo passaggio (il sistema ITS della videocamera non richiede alcun account accoppiato al tablet).
2. Aggiorna il tablet ad Android 7.0 o versioni successive. Android 6.x e versioni precedenti non supportano ITS della fotocamera.
3. Attiva la modalità sviluppatore.
4. Torna a Impostazioni e seleziona Opzioni sviluppatore.

   Attivare le opzioni	On Rimani attivo Debug USB (questa opzione consente all'host di eseguire il tablet in modalità di debug. Quando colleghi il tablet all'host per la prima volta, viene visualizzato il messaggio Consenti il debug USB? Se sul tablet non viene visualizzata la richiesta di debug, scollegalo e ricollegalo.
   Disattivare le opzioni	Aggiornamenti di sistema automatici Verifica app tramite USB

5. Determina gli ID DUT e dei grafici eseguendo $ adb devices per elencare i dispositivi disponibili. Per determinare device_id e chart_id, collega e scollega i dispositivi e osserva quelli che si connettono e scollegano.
6. Esegui tre prove per eliminare i suggerimenti e le richieste all'utente che possono oscurare i grafici sullo schermo del tablet.
   1. Posiziona il tablet a faccia in su su un tavolo (non attaccarlo al pannello posteriore della scatola).
   2. Esegui il seguente comando:

      python tools/run_all_tests.py device=$device_id camera=0 chart=$chart_id scenes=2,3
      

      Le scene 2 e 3 richiedono che il tablet mostri un'immagine, quindi il tablet chiede: Consenti a Drive di accedere a foto, contenuti multimediali e file sul dispositivo?. Elimina questo prompt (e impedisci la visualizzazione di prompt futuri) premendo Consenti.
   3. Esegui di nuovo il comando. Sul tablet viene visualizzato il messaggio Vuoi conservare una copia di questo file? e viene suggerito Google Drive. Per cancellare questa richiesta (e impedire quelle future), premi l'icona di Drive, quindi Annulla per il caricamento su Drive.
   4. Infine, esegui tools/run_all_tests.py e verifica che le scene variino automaticamente man mano che lo script passa da una scena all'altra. Anche se la maggior parte dei test non va a buon fine (poiché la fotocamera non è rivolta al grafico), puoi verificare che il tablet selezioni correttamente le scene senza visualizzare prompt o altri popup sullo schermo.

Esegui test

Prima di eseguire l'ITS-in-a-box, assicurati che la configurazione del test includa il seguente hardware e software:

• Un (1) ITS-in-a-box
• Un (1) tablet da 10" ad alta risoluzione per la visualizzazione delle scene, N. di serie: 5811000011
• Un (1) DUT su cui è installata l'app CTS Verifier 7.0_8 o versioni successive. Esempio di DUT:
  • Un (1) Pixel NOF26W per i test della fotocamera posteriore(0), S/N: FA6BM0305016. Per installare l'app CTS Verifier, decomprimere android-cts-verifier.zip e poi eseguire

    adb -s FA6BM0305016 install -r -g android-cts-verifier/CtsVerifier.apk
    

Eseguire scene basate su tablet

Per eseguire le scene da 0 a 4, 6 e scene_change sulla fotocamera posteriore:

cd android-cts-verifier/CameraITS
. build/envsetup.sh
python tools/run_all_tests.py camera=0

Esempio:

Riprovare le scene

Puoi riprovare le scene per una singola videocamera:

• Per riprovare le scene su una singola videocamera:

  python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=3,4
  

Esegui la scena 5

La scena 5 richiede una configurazione speciale con illuminazione specifica (per maggiori dettagli, consulta CameraITS.pdf in CTS Verifier, che puoi scaricare da Download di Compatibility Test Suite). Devi eseguire la scena 5 separatamente (al di fuori della casella).

Per eseguire la scena 5 per le fotocamere anteriore e posteriore su un singolo dispositivo:

python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=5
python tools/run_all_tests.py device=FA6BM0305016 camera=1 scenes=5

Visualizzare i risultati

Puoi visualizzare i risultati durante il test e salvarli come report.

• Visualizza i risultati. Per salvare i risultati ITS della fotocamera come report:
  1. Premi Passa e salva il report.
     
     Figura 3. Report ITS sulla videocamera
  2. Estrarre i report dal dispositivo:

     adb -s FA6BM0305016 pull /sdcard/verifierReports
     

  3. Decomprimere il file del report e visualizzare test_result.xml.
     
     Figura 4. Report ITS della videocamera
     

Requisiti del tablet

Per Android 15 e versioni successive, i tablet utilizzati come visualizzazione del grafico ITS devono essere inclusi nella seguente lista consentita di tablet. Per un elenco dei tablet che supportano i test per le scene in condizioni di scarsa illuminazione, consulta Tablet supportati per le scene in condizioni di scarsa illuminazione. Per Android 14 o versioni precedenti, consulta Requisiti del tablet per Android 14 e versioni precedenti.

I tablet nella lista consentita vengono scelti in base ai seguenti criteri:

• Dimensioni del display di circa 10 pollici con una risoluzione dello schermo superiore a 1920 x 1200 pixel.
• Non deve essere presente alcun sfarfallio misurato causato dalla modulazione a larghezza di impulso (PWM) controllata per la dimmerizzazione dello schermo.
• In grado di eseguire i comandi adb inviati dai test ITS e di visualizzare le immagini dei grafici con la luminosità dello schermo impostata.

Il valore brightness deve essere impostato in config.yml in base al modello del tablet. Per determinare se il modello del tablet corrisponde a un nome del dispositivo nella lista consentita, stampa il valore ro.product.device eseguendo il comando adb shell getprop | grep 'ro.product.device' adb.

Tablet supportati per scene in condizioni di scarsa illuminazione

Requisiti per i tablet per Android 14 e versioni precedenti

I tablet devono avere un display di circa 10 pollici con una risoluzione dello schermo superiore a 1920 x 1200 pixel. Il tablet non deve utilizzare la modulazione della larghezza dell'impulso (PWM) per impostare il livello di luminosità. Il valore brightness deve essere impostato in config.yml in base al modello del tablet. La tabella seguente elenca i tablet consigliati per i test ITS, nonché le versioni di release di Android per il DUT con cui funzionano i tablet.

Domande frequenti

D1: Come faccio a determinare quali banchi di prova mi servono per il mio dispositivo?

La revisione 1 del kit ITS RFoV in un'unica unità testa le videocamere RFoV per i test delle scene con tablet nella directory CameraITS/tests. L'angolo di campo relativo è definito come 60° < FoV < 90°. Per le videocamere con un campo visivo più ampio, le luci potrebbero apparire nelle immagini o i grafici potrebbero coprire un'area troppo piccola nel campo visivo, influenzando i risultati del test.

La revisione 2 del kit ITS-in-a-box con campo visivo a 120 gradi testa le videocamere con campo visivo a 120 gradi per i test delle scene con tablet nella directory CameraITS/tests. L'angolo di campo a campo ampio è definito come FoV >= 90°. Il banco di prova della revisione 2 è funzionalmente identico a quello della revisione 1, ma più grande. La versione 2 della piattaforma di test può testare sia le fotocamere RFoV sia quelle WFoV su Android 9 e versioni successive. Data la maggiore impronta, la revisione 2 è ideale se il DUT è un tablet

Il supporto di base modulare testa le videocamere con campo visivo a 120 gradi per i test delle scene con tablet nella directory CameraITS/tests. Il campo visivo a campo ampio è definito come FoV >= 90°. La base modulare può testare sia le fotocamere con campo visivo a campo ristretto che quelle con campo visivo a campo ampio per i dispositivi con Android 9 e versioni successive. Supporta anche il supporto di estensione tele che può essere collegato alle videocamere tele per testare con una distanza minima di messa a fuoco più lunga. La base modulare è funzionalmente identica al sistema ITS-in-a-box con campo visivo a 180 gradi, ma è più piccola.

La scatola di fusione dei sensori testa l'offset di temporizzazione della fotocamera/del giroscopio e la sincronizzazione dei fotogrammi dei sistemi multi-videocamera con i test in scenes=sensor_fusion. Per il flag della funzionalità REALTIME è necessario un offset di temporizzazione della fotocamera/del giroscopio inferiore a 1 ms.

I dispositivi con più videocamere possono essere testati con un singolo rig per i test ITS statici e un rig di fusione dei sensori se la videocamera ha il flag della funzionalità REALTIME.

Nella tabella seguente è riportato un insieme di configurazioni di esempio.

D2: Come faccio a indicare quale test rig è in uso?

Per designare il banco di prova corretto, assicurati che il parametro di distanza del grafico sia corretto. La piattaforma di test rev1 (RFoV) ha una distanza del grafico di 31 cm, mentre la piattaforma rev2 (WFoV) ha una distanza del grafico di 22 cm. Per impostazione predefinita, la distanza del grafico è impostata su 31 cm.

Da Android 10 ad Android 11

python tools/run_all_tests.py ... chart=# dist=22

Android 12 e versioni successive

edit config.yml
chart_distance: 31.0 → chart_distance: 22.0

D3: Come faccio a regolare la luminosità del tablet?

Per impostazione predefinita, la luminosità del tablet è impostata su 96.

Per modificare la luminosità sui tablet con Android 7.0 e versioni successive, esegui:

edit tools/wake_up_screen.py
DISPLAY_LEVEL=96 → DISPLAY_LEVEL=192

Per modificare la luminosità sui tablet con Android 10-11, il valore può essere modificato nella riga di comando aggiungendo il flag brightness:

python tools/run_all_tests.py device=# camera=# chart=# brightness=192

Per modificare la luminosità sui tablet con Android 12 e versioni successive, esegui:

edit config.yml
brightness: 96 → brightness: 192

D4: Come faccio a eseguire il debug di un singolo test?

I test possono essere eseguiti singolarmente a scopo di debug, ma i risultati non vengono registrati in CtsVerifier.apk, a meno che non venga eseguita l'intera scena.

Per eseguire una singola scena su Android 11 e versioni precedenti:

1. Carica una scena aggiungendo il flag scenes in tools/run_all_tests.py:

   python tools/run_all_tests.py device=# camera=# chart=# scenes=#
   

2. Premi Ctrl+C per interrompere i test dopo che la scena è stata registrata come caricata in stdout.

   Se la scena corretta è già sullo schermo, riattivalo:

   python tools/wake_up_screen.py screen=#
   

3. Esegui un singolo test.

   python tests/scene#/test_*.py device=# camera=#

   I grafici vengono quindi generati nella directory locale e stdout e stderr vengono stampati sullo schermo.

   Per ulteriori informazioni per il debug, aggiungi istruzioni print allo script. Per aumentare l'output del test per il debug, aggiungi il flag debug=True.

   python tests/scene#/test_*.py device=# camera=# debug=True

I risultati vengono stampati sullo schermo locale e le immagini vengono salvate nella directory locale anziché nella directory /tmp/tmp### generata quando viene eseguito tools/run_all_tests.py.

Per eseguire una singola scena in Android 12 e versioni successive:

1. Modifica il file config.yml.

   edit config.yml
   camera: <camera-id> → camera:  0
   scene: <scene-name> → scene: scene1_1

2. Esegui il singolo test.

   python tools/run_all_tests.py -c config.yml --test_bed TEST_BED_TABLET_SCENES
   

I risultati vengono stampati nella directory /tmp/logs/mobly/TEST_BED_TABLET_SCENES/ ordinati in base al tempo di esecuzione.

D5: Perché devo eseguire i test non riusciti come un'intera scena anziché eseguire nuovamente i test singolarmente?

I test possono essere eseguiti singolarmente a scopo di debug, ma i risultati non vengono segnalati a CtsVerifier.apk a meno che non venga eseguita l'intera scena.

L'ITS della fotocamera garantisce che le app di terze parti abbiano un'interfaccia della fotocamera compatibile. Come un test di unità, ogni test mette in evidenza una singola specifica della videocamera. Per rilevare comportamenti inaffidabili, questi test dovrebbero essere superati come gruppo per un'intera scena. Ad esempio, anche se un singolo test non affidabile può superare una riesecuzione di un'intera scena, è difficile che più test non affidabili superino il test.

Come esempio estremo, prendiamo il caso in cui in una scena siano presenti 10 test ciascuno con una probabilità del 50% di restituire PASS. Eseguendo ogni test singolarmente, c'è un'alta probabilità che un operatore riesca a far passare la videocamera all'ITS della videocamera. Tuttavia, se i test vengono eseguiti in modo aggregato come una scena, esiste solo lo 0,1% di probabilità che la scena venga superata.

D6: Come faccio a eseguire una singola scena o a riordinare le scene di esecuzione?

Per impostazione predefinita, lo script tools/run_all_tests.py esegue tutte le scene in ordine. Tuttavia, le scene possono essere eseguite singolarmente o in un ordine specificato e comunicate a CtsVerifier.apk.

Per eseguire una singola scena (ad esempio la scena 2) o più scene in un ordine specifico su Android 11 o versioni precedenti:

python tools/run_all_tests.py device=# camera=# chart=# scenes=2

python tools/run_all_tests.py device=# camera=# chart=# scenes=3,2

Per eseguire una singola scena o più scene in un ordine specifico su Android 12 e versioni successive:

python tools/run_all_tests.py scenes=2

python tools/run_all_tests.py scenes=3,2

I parametri aggiuntivi sono impostati nel file config.yml.

D7: alcuni test della scena 1 non riescono con la configurazione del tablet, ma passano con un grafico su carta. Qual è il problema?

Assicurati che il tablet e l'ambiente di test soddisfino le seguenti specifiche.

Specifiche del tablet

Assicurati che il tablet soddisfi le seguenti specifiche:

• Dimensioni del display (pollici): 10 pollici
• Dimensioni del display (pixel): superiori a 1920 x 1200 pixel

Per maggiori dettagli, consulta Requisiti per i tablet.

Luminosità del tablet

I test potrebbero non restituire risultati corretti se la luminosità del display del tablet è troppo bassa.

Per maggiori dettagli, vedi Come faccio a regolare la luminosità del tablet?

Livello di illuminazione della scatola (è necessario un luxmetro)

Assicurati che il valore lux target all'apertura del tablet sia compreso tra 100 e 300.

Se il livello di lux è troppo alto, scene1/test_param_flash_mode.py restituisce FAIL. Se il livello di lux è troppo basso, più test non riescono.

D8: Come faccio a eseguire il debug dei test di fusione dei sensori?

1. Assicurati di appartenere a un gruppo dialout.

   groups | egrep ‘dialout'

2. Assicurati che il controller di fusione dei sensori sia collegato verificando se la tecnologia Microchip è collegata alla porta USB.

   lsusb
   …
   Bus 003 Device 004: ID 04d8:fc73 Microchip Technology, Inc.
   …
   

3. Esegui il test più volte per ottenere una distribuzione dei tentativi di test con i seguenti comandi.

   In Android 11 o versioni precedenti:

   python tools/run_sensor_fusion_box.py device=A camera=0 num_runs=10 rotator=default
   

   In Android 12 e versioni successive:

   python tools/run_sensor_fusion_box.py num_runs=10
   

   I parametri aggiuntivi sono impostati nel file config.yml.

   Gli output dell'esecuzione si trovano nella cartella /tmp/tmp### creata nelle cartelle sensor_fusion_#, dove # è il numero dell'esecuzione. Ecco alcuni dei motivi più comuni:

   1. Lo smartphone non è centrato correttamente.
   2. Nell'immagine non sono state trovate caratteristiche sufficienti (spesso un problema di FoV o illuminazione).
   3. Il valore FAIL restituito è valido e l'offset di tempo tra la fotocamera e il giroscopio deve essere corretto.

D9: Quali informazioni devo includere quando segnalo un bug di test?

Quando segnali un bug di test, includi i file e le immagini generati per il test.

1. Se hai eseguito il test tramite tools/run_all_tests.py, allega al bug una directory /tmp/ compressa.
2. Se hai eseguito il test da solo, allega al bug tutte le uscite dello schermo e le immagini generate.

Includi anche una segnalazione di bug. Dopo che il test in questione non è riuscito, utilizza il seguente comando per generare una segnalazione di bug e allega il file ZIP generato al bug.

adb -s device_id bugreport

D10: Come faccio a eseguire una scena di test sensor_fusion con una fotocamera con una distanza minima di messa a fuoco che crea immagini sfocate a una distanza della scheda di 25 cm?

Se la videocamera non riesce a mettere a fuoco a una distanza di 25 cm, rimuovi il pannello di montaggio della scheda della cassetta di integrazione dei sensori. Posiziona il grafico a una distanza in cui il DUT può mettere a fuoco e modifica chart_distance in config.yml in base alla distanza misurata tra il DUT e il grafico. La Figura 5 mostra un esempio di come misurare la distanza del grafico in questa situazione.

  edit config.yml
chart_distance: 25 → chart_distance: DISTANCE_BETWEEN_DUT_AND_CHART

D11: Come faccio a eseguire scene di test del tablet per una fotocamera con una distanza minima di messa a fuoco che crea immagini sfocate a una distanza della scheda di 31 cm?

Se la fotocamera non riesce a produrre immagini sufficientemente nitide durante il test a 31 cm (la profondità del banco di prova RFoV), montala davanti al banco a una distanza tale da consentire alla scena della scheda di riempire circa il 60% del campo visivo (FoV) della fotocamera con immagini più nitide. Questa distanza può essere inferiore alla distanza minima di messa a fuoco della videocamera. Lascia il chart_distance in config.yml a 31 cm. La scala del grafico sul tablet è determinata dall'angolo di campo della fotocamera, come mostrato nella tabella seguente:

D12: Con l'API multi-videocamera logica, quali test vengono eseguiti su quali videocamere?

Se la videocamera utilizza REQUEST_AVAILABLE_CAPABILITIES_LOGICAL_MULTI_CAMERA, tutti i test ITS supportati vengono eseguiti sulla videocamera logica di primo livello. Un sottoinsieme dei test ITS viene eseguito sulle sottovideocamere fisiche e questi test sono elencati in tools/run_all_tests.py sotto la costante SUB_CAMERA_TESTS.