端侧异构多核调度：CPU-GPU-NPU 统一内存下的负载分配

在现代边缘计算设备、智能汽车座舱 SoC（如高通骁龙、苹果 Apple Silicon M/A 系列、英伟达 Jetson Orin、RK3588）的硬件架构中，计算核心呈现出高度的异构异质性（Heterogeneous Computing Architecture）：

• 通用大/小核 CPU：擅长运行复杂控制流、动态逻辑分支与前处理分词（Tokenization）；
• 移动 GPU：擅长执行非规则浮点矩阵计算与图像后渲染；
• 专用端侧 NPU：在规整的 INT8/INT4 深度学习张量乘法上展现出惊人的能效比（TOPS/Watt）。

更为关键的是，现代端侧芯片普遍采用了 统一内存架构（Unified Memory Architecture, UMA）——CPU、GPU 与 NPU 物理共享同一片 LPDDR 内存颗粒。

然而，UMA 架构虽然在物理上消除了 PCIe 总线的拷贝延迟，但在系统调度层面却带来了极其严苛的挑战：

• 如何避免 CPU、GPU 与 NPU 同时抢占内存总线引发的 内存控制器带宽窒息（Memory Bus Contention）？
• 如何根据算子的算术强度与硬件能效比，将计算图中的不同子图毫秒级自适应分发到最合适的核心上？

深入剖析统一内存下的端侧异构多核调度引擎，是打通边缘端极致低功耗 AI 推理的关键。

+--------------------------------------------------------------------------+
|                       端侧 SoC 统一内存 (UMA) 异构协同调度全景                 |
+--------------------------------------------------------------------------+
| 物理统一内存 (Unified LPDDR5X RAM: 共享物理地址空间, 零总线拷贝! 🚀)         |
| +----------------------------------------------------------------------+ |
| | 模型权重 Weights | 统一物理张量缓冲 (Unified Tensor Buffers)             | |
| +----------------------------------------------------------------------+ |
|        ^                                  ^                    ^         |
|        | 零拷贝直接寻址                    | 零拷贝直接寻址      | 零拷贝   |
|        v                                  v                    v         |
| [通用多核 CPU]                     [端侧移动 GPU]          [专用端侧 NPU]   |
| -> 负责: Tokenizer 动态前处理       -> 负责: 动态采样/非规整 -> 负责: 密集 GEMM|
|    与算子调度状态机推进                 Attention Softmax     主干前馈计算 |
+--------------------------------------------------------------------------+
                                    | 异构调度器统一协调 (Hetero Engine)
                                    v
| [能效感知动态调度器 (Energy-Aware Dynamic Dispatcher)]:                     |
| 1. 根据当前电池电量与芯片结温 (Thermal Throttle)，动态自适应降级分流          |
| 2. 在物理内存总线争用时，对低优先级后台任务施加 QoS 访存节流                 |
+--------------------------------------------------------------------------+

1. 统一内存（UMA）的真正威力：跨芯片物理零拷贝（Zero-Copy Direct Access）

在传统独立显卡（PCIe）架构中，CPU 产出的数据必须通过 PCIe DMA 拷贝至 GPU 显存。
而在 UMA 架构下：

• CPU 分配的内存页，可以直接通过共享物理页帧号导出给 NPU 和 GPU；
• CPU 完成 Tokenizer 编码后，直接在原物理内存地址上原地标记就绪；
• NPU 的 DMA 引擎直接读取该物理地址启动张量矩阵乘法，全链路跨芯片数据拷贝耗时精确为 0 纳秒！

2. 异构子图切分与算子亲和性映射模型（Affinity Mapping）

异构调度器在编译期根据算子特征建立硬件亲和性矩阵：

#[derive(Debug, Clone, Copy, PartialEq, Eq)]
pub enum ComputeDevice {
    Cpu,
    Gpu,
    Npu,
}

pub struct HeteroScheduler;

impl HeteroScheduler {
    /// 基于算子算术强度与量化类型的亲和性判定
    pub fn assign_device(op: &OperatorNode, is_low_battery: bool) -> ComputeDevice {
        // 1. 若设备处于极端低电量/过热限频模式，强制全量导流给能效比最高的 NPU
        if is_low_battery && op.supports_int8_quant() {
            return ComputeDevice::Npu;
        }

        match op.kind {
            // 密集定长矩阵乘与标准前馈网络：绝对优先分发给 NPU (能效最高)
            OpKind::MatMul | OpKind::Conv2D if op.is_quantized => ComputeDevice::Npu,
            
            // 包含复杂动态控制流或自定义 Token 采样：分发给 CPU
            OpKind::DynamicSampling | OpKind::TopK => ComputeDevice::Cpu,
            
            // 浮点 Attention Softmax 与非规整激活函数：分发给移动 GPU
            OpKind::FlashAttention | OpKind::GELU => ComputeDevice::Gpu,

            _ => ComputeDevice::Cpu,
        }
    }
}

3. 内存总线 QoS 节流与防争用互斥

UMA 架构最大的隐藏杀手是 总线争用（Bus Contention）：
如果 NPU 正在以 40 GB/s 的峰值带宽疯狂读取模型权重，而 CPU 此时也在高频读写内存，会导致 CPU 的 L1/L2 缓存换入延迟拉长 5 倍，引发整个操作系统的 UI 界面掉帧卡顿。

现代端侧操作系统与推理驱动引入了 硬件访存 QoS 优先级标记（Memory QoS Tagging）：

• 为大模型推理分配较低的 QoS_Background 优先级；
• 当操作系统前台产生用户触屏或相机渲染等高优先级中断时，硬件内存控制器全自动在纳秒级压制 NPU 的访存带宽，保证系统的绝对流畅度。

跨越芯片边界，用统一的内存视图协同调度多核算力，这是端侧边缘 AI 推理迈向普及的核心技术底座。