系统概览

Sysmem 是一种 FIDL 服务,用于分配共享内存,供多个应用和硬件块使用。本文档概述了该模块的主要功能以及它为系统提供的功能。

动机

现代系统具有可对数据执行操作的专用硬件块。以下是这些代码块的一些示例:

  • 使用 GPU 渲染计算机图形。
  • 使用硬件编解码器对视频进行编码或解码。
  • 使用相机和 DSP 拍摄高品质照片。
  • 使用显示控制器的叠加引擎将图像合成到显示屏。
  • 使用 TPU 评估神经网络。

通常,我们希望创建在这些单独的硬件块之间传递数据的流水线。请参见以下示例:

  • 使用硬件编解码器解码视频,并将其与 GPU 上渲染的界面内容一起合成到显示屏。
  • 将神经网络应用于实时摄像头画面。

为了高效地执行此操作并避免复制,驱动程序和应用必须就数据格式以及数据在内存中的位置达成一致。此协议允许一个单元的输出直接供下一个单元使用。硬件单元对这些属性有严格的限制,并且对哪种数据布局能提供最佳性能也有偏好。

Sysmem 是一项全局服务,可接受应用提供的限制条件,并分配缓冲区以满足所有限制条件。如果支持多种格式,则可以根据预期效果在这些格式之间进行选择。

Sysmem 缓冲区通常用于表示图片,并且 sysmem 对协商图片格式有特殊支持。不过,sysmem 接口也可用于音频或任何其他类型的数据。

一旦分配了缓冲区,Sysmem 就不会再管理数据流。 流水线中的应用负责相互协调,以确保同步。

协议:fuchsia.sysmem2.Allocator 与 fuchsia.hardware.sysmem.Sysmem

尽管名称相似,但这两个 FIDL 协议的作用完全不同,安全模型也不同:

  • fuchsia.sysmem2.Allocator:用于协商限制条件、分配缓冲区和共享缓冲区集合的标准客户端协议。 几乎所有 sysmem 客户端(包括硬件驱动程序)都应使用 fuchsia.sysmem2.Allocator。
  • fuchsia.hardware.sysmem.Sysmem:一种仅由以下项使用的特权后端注册协议:
    1. 实现并注册自定义外部 sysmem 堆 (RegisterHeap) 的驱动程序。
    2. 注册物理安全堆 (RegisterSecureMem) 的平台安全内存 (TEE) 驱动程序。

fuchsia.hardware.sysmem.Sysmem 不提供缓冲区分配。由于 sysmem 信任 fuchsia.hardware.sysmem.Sysmem 上的调用方来支持堆分配或指定物理安全内存范围,因此通过组件框架功能路由限制了访问权限:只有专门且合法地实现外部堆或安全内存的组件/驱动程序才能在其组件清单中声明 fuchsia.hardware.sysmem.Sysmem 的 use。

分配流程(简化版)

  1. 参与者连接到 fuchsia.sysmem2.Allocator 服务
  2. 一位参与者(称为发起者)创建初始缓冲区收集令牌。
  3. 该参与者复制令牌,并将复制的令牌发送给其他参与者。
  4. 这些参与者还可以重复复制和发送令牌,直到所有参与者都收到令牌为止。
  5. 每个参与者都绑定其令牌以获取缓冲区集合。
  6. 每个参与者都会对缓冲区集合设置限制
  7. Sysmem 会选择一种可以满足所有限制的格式。只有在每位参与者都绑定了其令牌并对收集设置了限制后,才能发生这种情况。
  8. Sysmem 会使用该格式分配一些缓冲区。
  9. 参与者从 sysmem 中检索缓冲区,以及有关已分配格式的信息。

sysmem 返回的信息是相应缓冲区中的图片格式必须满足的一组限制条件。

此时,参与者可以使用具有分配格式的缓冲区,但需遵守流水线对参与者之间数据流动的特定限制。由于缓冲区中可能存在多种可用的图片大小,因此参与者必须共同选择一种图片大小,然后才能确定确切的图片格式。这样,流水线便可即时切换图片大小,而无需重新分配缓冲区。

如果需要向已完成约束协商和分配的现有集合添加新参与者,则可以将新令牌附加到缓冲区集合。必须使用已分配的缓冲区集合来满足新参与者的限制条件,否则(从新参与者的角度来看)逻辑分配会失败。为了提高成功添加新参与者的几率,初始分配期间在场的一位参与者可以将令牌标记为可分配。这样一来,令牌便可用于指定占位约束,以便缓冲区集合稍后能够容纳具有相同约束的新参与者。

缓冲区销毁

缓冲区销毁是异步的。

如需等待旧集合的旧缓冲区完全删除(可以选择指定截止时间),请参阅 AttachLifetimeTracking。

当缓冲区收集失败时,缓冲区销毁序列开始。在正常/成功情况下,当参与者(通常是发起者)在未先发送 Release 的情况下关闭任何特定于集合的渠道时,通常会触发此“失败”。目前,特定于集合的渠道包括 BufferCollectionToken、BufferCollection 和 BufferCollectionTokenGroup 渠道。

当集合进入失败状态时,sysmem 服务器将关闭所有特定于集合的通道的服务器端。在参与者完成清理之前(见下表),所有已分配的 VMO 仍可使用。

此时,所有参与者都应快速注意到(直接或间接通过另一位足够可信的参与者)集合特定的渠道服务器端关闭(在客户端发出 ZX_CHANNEL_PEER_CLOSED 信号)。然后,每个参与者确保尽可能多的缓冲区满足以下清理条件列表。在极少数情况下,将少量缓冲区保留更长时间是有意义的,例如,将最后一个视频帧保留在屏幕上,直到使用新集合的新视频帧可用为止。

必须先移除对缓冲区的所有引用,然后 sysmem 才会销毁该缓冲区并允许重复使用相应内存。其中包括:

  • 指向 VMO 的句柄。
  • VMO 的 CPU 映射。
  • VMO 的子 VMO。
  • 供硬件使用的 VMO 的引脚。
  • 包含相应 VMO 的缓冲区集合的渠道。无论关闭是由客户端还是服务器发起的,sysmem 服务器都会将通道视为已关闭。此项不适用于之前发送过 SetWeak 的仍处于打开状态的渠道。

在一种非首选且不太常见的模型下,所有参与者可能会在分配后不久关闭所有特定于集合的渠道(无论是否先执行 Release),这会过早触发集合失败(因为剩余的特定于集合的渠道为零),但随后参与者可能会继续使用 VMO 一段时间,即使集合已“失败”。然后,它们会使用单独的机制来确定何时清理 VMO(请参阅上文中的列表)。

非首选模型在技术上可行,但可能会使集合生命周期不太明确,并使 sysmem 检查数据不太清晰 / 不太有用。不过,在某些极少数情况下,这种非首选模型可能有助于满足其他协议 / 接口施加的限制。如果考虑采用此模型,请先考虑让参与者发送 Release 并关闭其特定于集合的渠道,然后通过另一位(足够可信的)参与者间接了解集合失败情况;这样,整体设置仍符合上述首选模型。如果考虑使用此模型的唯一原因是允许增量缓冲区释放,请考虑改用 SetWeak。

高级用法

后备限制条件和/或可选参与者

在更复杂的情况下,如果整个参与者是可选的 / 尽力而为的,或者如果存在与首选的更严格的限制条件不同的后备限制条件(例如出于性能原因),则使用 BufferCollectionTokenGroup。

在分配期间,系统只会选择组中直接位于该令牌下的一个子令牌(以及以该令牌为根的子树),并且会优先选择组的第一个子令牌,依此类推。

允许在群组下的令牌下创建群组(依此类推)。

分配期间尝试的分组子选择组合总数存在上限;如果达到此上限,请随时与我们联系以讨论替代方案。

这属于高级用法,与大多数参与者没有直接关系。请参阅 BufferCollectionTokenGroup 的文档。

故障隔离和/或参与者迟到

SetDispensable 和 AttachToken 消息可用于创建故障隔离的子树(由令牌复制父级关系定义),并且在原始子树实例失败后,可能会将该子树替换为新的子树实例,而不会导致根失败。

发起者创建的第一个令牌会创建根;稍后从该令牌创建的集合渠道仍被视为树的根节点(协议不同,但“节点”相同)。

替换子树时,新子树参与者会看到看似正常的分配序列,但实际上他们是“加入”了“正在进行中”的缓冲区集合。

使用 AttachToken 不需要预先使用 SetDispensable。

目前,AttachToken 要求集合已具有足够的缓冲区来满足新附加的参与者实例。

这属于高级用法,与大多数参与者没有直接关系。请参阅 SetDispensable 和 AttachToken 的文档。

术语库

缓冲区

缓冲区表示应用将使用的单个映像或其他内存块。Sysmem 目前为每个缓冲区使用一个 VMO。客户端可以将内存映射到 CPU 或将其固定,以便与硬件块搭配使用。

参与者

参与者是指想要访问缓冲区的任何应用或驱动程序。所有参与者都必须连接到 sysmem 以协商内存格式。

映像格式

图片格式是指客户端将内存解释为一组像素所需的所有属性。例如,它包括像素格式、宽度和高度尺寸、行间距(以字节为单位)和色彩空间。

缓冲区设置

缓冲区设置是对缓冲区属性的完整说明。这些属性包括缓存信息,以及参与者可能需要访问内存的其他属性。对于图片,缓冲区设置还将包含图片格式。

缓冲区设置不包含特定的内存地址,因此多个不同的缓冲区可能具有相同的缓冲区设置。

堆

堆表示系统上的一种特定类型的内存。一个系统可能具有多个性能特征各不相同的堆。某些堆可能只能在系统中的部分硬件设备上使用。

某些堆可能无法从 CPU 访问。对于这些堆,表示缓冲区的 VMO 不能直接使用,而是用作键。希望使用缓冲区的应用必须将其 VMO 句柄发送到堆驱动程序,而堆驱动程序可以返回有关要使用的内存的信息。

堆示例:

  • 主系统内存。
  • 独立 GPU 上的 VRAM。
  • 系统内存中仅供某些硬件使用的划定区域。

约束条件

限制条件用于指定参与者能够使用的一组 BufferSettings。 参与者通常会在一组限制条件中指定多个潜在的缓冲区设置,这使 sysmem 可以灵活地选择其中任何一个,并降低了没有设置可以满足所有参与者的限制条件的风险。

协商

协商是指 sysmem 查看所有参与者的限制,并选择适合所有参与者的缓冲区设置的过程。如果多个设置都可行,sysmem 可以使用有关客户端如何使用缓冲区以及系统架构的信息来选择最佳设置。

缓冲区集合

缓冲区集合是一组具有相同缓冲区设置的缓冲区。Sysmem 会一次性分配整个缓冲区集合。多个参与者可能已打开指向同一缓冲区集合的 FIDL 渠道。

缓冲区集合令牌

在分配内存之前,协商过程的初始阶段会使用令牌。令牌可以复制并在进程之间传递,然后最终绑定到缓冲区集合。