Android 17 ขึ้นไปรองรับ Neural Processing Unit (NPU) Manager (com.android.npumanager) ซึ่งเป็นคอมโพเนนต์ของระบบในโครงการโอเพนซอร์ส Android (AOSP) ที่ประสานงานทรัพยากรฮาร์ดแวร์ NPU ในบริการของระบบและเวิร์กโหลดของแอป การย้ายการชี้ขาดทรัพยากรจาก Daemon ของผู้ให้บริการที่กำหนดเองไปยังแพลตฟอร์ม Android ช่วยให้ NPU Manager เพิ่มความสามารถในการคาดการณ์ ป้องกันการขาดแคลนทรัพยากร จัดการขอบเขตหน่วยความจำและพลังงาน รวมถึงปรับปรุงประสิทธิภาพโดยรวมของอุปกรณ์
ความเป็นมาและแรงจูงใจ
ก่อนที่จะมี NPU Manager แอปและบริการของระบบจะส่งภาระงานแมชชีนเลิร์นนิง (ML) ไปยังไดรเวอร์ของผู้ให้บริการหรือรันไทม์ที่เป็นกรรมสิทธิ์โดยตรง รูปแบบการเข้าถึงโดยตรงดังกล่าวทำให้เกิดปัญหาเชิงระบบหลายประการ ดังนี้
- การแข่งขันด้านทรัพยากรที่ไม่มีประสิทธิภาพ: เวิร์กโหลด ML ที่หนักหน่วง เช่น เครื่องมืออนุมานโมเดลภาษาขนาดใหญ่ (LLM) และไปป์ไลน์การมองเห็นในอุปกรณ์ แข่งขันกันโดยตรงเพื่อแย่งชิง RAM แบบคงที่ (SRAM) ของ NPU ที่มีจำกัด หน่วยความจำน้ำหนักโมเดล และคิวการดำเนินการของฮาร์ดแวร์
- ความไม่เสถียรของระบบ: การจัดสรรโมเดลที่ไม่สอดคล้องกันทำให้ DRAM จริงถูกตรึงไว้หลายกิกะไบต์ ซึ่งทำให้เกิดการควบคุมความร้อน ข้อผิดพลาดของหน้า หรือการสิ้นสุดการทำงานของแอปที่ทำงานอยู่เบื้องหลังโดย Daemon ของ Low Memory Killer (
lmkd) เมื่อความต้องการเกินความจุของฮาร์ดแวร์ - ไม่มีการคำนึงถึงบริบท: เซิร์ฟเวอร์ระบบไม่สามารถปรับลำดับความสำคัญของการดำเนินการ NPU หรือเรียกคืนน้ำหนักโมเดลที่ไม่มีการใช้งานระหว่างการเปลี่ยนบริบทของผู้ใช้ เช่น เมื่อมีงานเบื้องหลังที่ใช้โมเดลขนาดหลายกิกะไบต์ขณะที่ไปป์ไลน์กล้องหรือ Assistant ที่ไวต่อเวลาในการตอบสนองเข้าสู่เบื้องหน้า
NPU Manager จะช่วยแก้ปัญหาเหล่านี้โดยทำหน้าที่เป็นตัวตัดสินระบบส่วนกลางที่ประสานงานลำดับความสำคัญของการกำหนดเวลา วงจรบัฟเฟอร์ของโมเดล เซสชันการดำเนินการของฮาร์ดแวร์ การคอมไพล์โมเดล และการคำนวณพลังงานตามประสิทธิภาพการทำงานของอุปกรณ์และสถานะแอปแบบเรียลไทม์
สถาปัตยกรรมระบบ
NPU Manager ทำงานเป็นบริการของระบบชื่อ npu ภายใน system_server ซึ่งรวมอยู่ใน APEX ของระบบ com.android.npumanager บริการนี้จะแยกนโยบายแพลตฟอร์มและการติดตามวงจรของแอปออกจากการติดตั้งใช้งานไดรเวอร์ระบบวงจรรวมบนชิป (SoC) ระดับต่ำ
แผนภาพต่อไปนี้แสดงเลเยอร์สภาพแวดล้อมของ NPU Manager

รูปที่ 2 เลเยอร์สภาพแวดล้อมของ NPU Manager
เสาหลักของระบบย่อย
เอกสารประกอบของ NPU Manager แบ่งออกเป็นส่วนต่างๆ ตามฟังก์ชันการทำงานดังนี้
| OOB | อินเทอร์เฟซหลัก | หน้าที่รับผิดชอบ |
|---|---|---|
| การจัดตารางเวลาภาระงาน |
android.npumanager.NpuManagerandroid.hardware.npu.IScheduling
|
Gates model load admission และส่งต่อความสำคัญของแอปและลำดับความสำคัญของงานที่มีผลไปยังไดรเวอร์ NPU |
ความพร้อมและการวินิจฉัยอุปกรณ์
อุปกรณ์ที่ผสานรวม NPU และรองรับ NPU Manager จะประกาศฟีเจอร์ฮาร์ดแวร์ android.hardware.npu (PackageManager.FEATURE_NEURAL_PROCESSING_UNIT) แอปสามารถประกาศการใช้งาน NPU แบบไม่บังคับหรือจำเป็นใน AndroidManifest.xml ดังที่แสดงในตัวอย่างต่อไปนี้
<uses-feature android:name="android.hardware.npu" android:required="false" />
ตรวจสอบสถานะบริการ
ในระหว่างการเปิดเครื่องและการตรวจสอบความถูกต้อง คุณสามารถตรวจสอบอุปกรณ์ NPU ที่ใช้งานอยู่ เซสชันไคลเอ็นต์ ตารางลำดับความสำคัญ และบัฟเฟอร์ที่ลงทะเบียนจาก adb shell โดยใช้คำสั่งต่อไปนี้
adb shell dumpsys npuสำหรับการกำหนดค่าการทดสอบความเข้ากันได้ใน Android 17 ขึ้นไป โปรดดูหัวข้อเรียกใช้การทดสอบ Mobly ของ NPU Manager และการกำหนดเวลาภาระงาน