Pengelola NPU

Android 17 dan yang lebih tinggi mendukung Neural Processing Unit (NPU) Manager (com.android.npumanager), komponen sistem dalam Project Open Source Android (AOSP) yang mengoordinasikan alokasi dan penjadwalan resource NPU di seluruh layanan sistem dan workload aplikasi. Dengan memindahkan arbitrase resource dari daemon vendor kustom ke platform Android, Pengelola NPU meningkatkan prediktabilitas, mencegah kekurangan resource, mengelola batas termal, dan meningkatkan performa perangkat secara keseluruhan.

Latar belakang dan motivasi

Sebelum adanya Pengelola NPU, aplikasi dan layanan sistem mengirimkan workload machine learning (ML) langsung ke driver vendor atau runtime eksklusif. Model akses langsung tersebut menimbulkan beberapa masalah sistemik:

  • Persaingan resource yang tidak efisien: Workload ML yang berat, seperti mesin inferensi model bahasa besar (LLM) dan pipeline visi di perangkat, bersaing langsung dengan sistem prioritas tinggi lainnya untuk mendapatkan resource NPU yang terbatas, seperti RAM statis (SRAM), memori bobot model, dan saluran eksekusi.
  • Ketidakstabilan sistem: Workload yang tidak terkoordinasi dapat memicu throttling termal, kesalahan halaman memori, atau penghentian aplikasi latar belakang oleh daemon low memory killer (lmkd) saat permintaan melebihi kapasitas hardware.
  • Prioritas statis: Server sistem tidak dapat menyesuaikan prioritas NPU sebagai respons terhadap perubahan konteks, seperti saat tugas latar belakang memuat model besar sementara pipeline kamera atau asisten yang sensitif terhadap latensi aktif di latar depan.

NPU Manager mengatasi tantangan ini dengan bertindak sebagai arbiter tingkat sistem yang membatasi pemuatan model dan menyesuaikan prioritas eksekusi secara dinamis berdasarkan kesehatan perangkat dan status aplikasi saat ini.

Arsitektur sistem

NPU Manager berjalan sebagai layanan sistem bernama npu di dalam system_server, yang dipaketkan dalam APEX sistem com.android.npumanager. Layanan ini memisahkan kebijakan platform dan pelacakan siklus proses aplikasi dari implementasi driver system-on-chip (SoC) tingkat rendah.

Diagram berikut mengilustrasikan lapisan lingkungan NPU Manager:

Lapisan lingkungan NPU Manager

Gambar 1. Lapisan lingkungan NPU Manager.

Komponen penting

  • Klien API Framework (android.npumanager.NpuManager): Klien menggunakan titik entri ini untuk meminta pemesanan pemuatan model.
  • Layanan sistem (npu): Layanan ini membatasi persetujuan pemuatan model dan mengeluarkan permintaan pembongkaran berdasarkan aturan prioritas penjadwalan.
  • HAL penjadwalan NPU (android.hardware.npu): Lapisan abstraksi hardware (HAL) Android Interface Definition Language (AIDL) ini menyampaikan prioritas aplikasi Android dan callback penjadwalan antara framework dan driver.
  • Driver vendor: Driver mengontrol blok eksekusi hardware dan menerapkan prioritas level rendah.

Untuk mengetahui detail API framework dan HAL, lihat Penjadwalan workload.

Kesiapan dan diagnostik perangkat

Perangkat yang mengintegrasikan NPU dan mendukung Pengelola NPU mendeklarasikan fitur hardware android.hardware.npu (PackageManager.FEATURE_NEURAL_PROCESSING_UNIT). Aplikasi dapat mendeklarasikan penggunaan NPU opsional atau yang diperlukan di AndroidManifest.xml seperti yang ditunjukkan dalam contoh berikut:

<uses-feature android:name="android.hardware.npu" android:required="false" />

Memeriksa status layanan

Selama pengaktifan dan validasi, Anda dapat memeriksa kebijakan pemuatan model aktif, permintaan pemuatan model, dan prioritas ID pengguna (UID) per aplikasi dari adb shell menggunakan perintah berikut:

adb shell dumpsys npu

Untuk konfigurasi uji kompatibilitas di Android 17 dan yang lebih tinggi, lihat Menjalankan pengujian Mobly NPU Manager dan Penjadwalan workload.