Android 17 dan yang lebih tinggi mendukung Neural Processing Unit (NPU) Manager
(com.android.npumanager), komponen sistem dalam Project Open Source
Android (AOSP) yang mengoordinasikan alokasi dan penjadwalan resource NPU
di seluruh layanan sistem dan workload aplikasi. Dengan memindahkan arbitrase resource dari
daemon vendor kustom ke platform Android, Pengelola NPU meningkatkan
prediktabilitas, mencegah kekurangan resource, mengelola batas termal, dan
meningkatkan performa perangkat secara keseluruhan.
Latar belakang dan motivasi
Sebelum adanya Pengelola NPU, aplikasi dan layanan sistem mengirimkan workload machine learning (ML) langsung ke driver vendor atau runtime eksklusif. Model akses langsung tersebut menimbulkan beberapa masalah sistemik:
- Persaingan resource yang tidak efisien: Workload ML yang berat, seperti mesin inferensi model bahasa besar (LLM) dan pipeline visi di perangkat, bersaing langsung dengan sistem prioritas tinggi lainnya untuk mendapatkan resource NPU yang terbatas, seperti RAM statis (SRAM), memori bobot model, dan saluran eksekusi.
- Ketidakstabilan sistem: Workload yang tidak terkoordinasi dapat memicu throttling
termal, kesalahan halaman memori, atau penghentian aplikasi latar belakang oleh daemon
low memory killer (
lmkd) saat permintaan melebihi kapasitas hardware. - Prioritas statis: Server sistem tidak dapat menyesuaikan prioritas NPU sebagai respons terhadap perubahan konteks, seperti saat tugas latar belakang memuat model besar sementara pipeline kamera atau asisten yang sensitif terhadap latensi aktif di latar depan.
NPU Manager mengatasi tantangan ini dengan bertindak sebagai arbiter tingkat sistem yang membatasi pemuatan model dan menyesuaikan prioritas eksekusi secara dinamis berdasarkan kesehatan perangkat dan status aplikasi saat ini.
Arsitektur sistem
NPU Manager berjalan sebagai layanan sistem bernama npu di dalam system_server,
yang dipaketkan dalam APEX sistem com.android.npumanager. Layanan ini memisahkan
kebijakan platform dan pelacakan siklus proses aplikasi dari implementasi driver
system-on-chip (SoC) tingkat rendah.
Diagram berikut mengilustrasikan lapisan lingkungan NPU Manager:

Gambar 1. Lapisan lingkungan NPU Manager.
Komponen penting
- Klien API Framework (
android.npumanager.NpuManager): Klien menggunakan titik entri ini untuk meminta pemesanan pemuatan model. - Layanan sistem (
npu): Layanan ini membatasi persetujuan pemuatan model dan mengeluarkan permintaan pembongkaran berdasarkan aturan prioritas penjadwalan. - HAL penjadwalan NPU (
android.hardware.npu): Lapisan abstraksi hardware (HAL) Android Interface Definition Language (AIDL) ini menyampaikan prioritas aplikasi Android dan callback penjadwalan antara framework dan driver. - Driver vendor: Driver mengontrol blok eksekusi hardware dan menerapkan prioritas level rendah.
Untuk mengetahui detail API framework dan HAL, lihat Penjadwalan workload.
Kesiapan dan diagnostik perangkat
Perangkat yang mengintegrasikan NPU dan mendukung Pengelola NPU mendeklarasikan
fitur hardware android.hardware.npu
(PackageManager.FEATURE_NEURAL_PROCESSING_UNIT). Aplikasi dapat mendeklarasikan penggunaan NPU opsional atau
yang diperlukan di AndroidManifest.xml seperti yang ditunjukkan dalam contoh berikut:
<uses-feature android:name="android.hardware.npu" android:required="false" />
Memeriksa status layanan
Selama pengaktifan dan validasi, Anda dapat memeriksa kebijakan pemuatan model aktif, permintaan pemuatan model, dan prioritas ID pengguna (UID) per aplikasi dari
adb shell menggunakan perintah berikut:
adb shell dumpsys npuUntuk konfigurasi uji kompatibilitas di Android 17 dan yang lebih tinggi, lihat Menjalankan pengujian Mobly NPU Manager dan Penjadwalan workload.