设备共享

HAMi 提供了强大的设备共享功能，允许多个任务共享同一个 GPU、MLU 或 NPU 设备，优化异构 AI 计算资源的利用率。

HAMi 的设备共享可以实现：

• 多任务共享： 多个任务可以共享同一台设备，每个任务仅占用部分资源。
• 设备显存控制： 支持对设备显存的动态分配，可按 MB 或百分比进行分配。
• 设备规格指定： 支持指定特定类型的异构 AI 计算设备，或使用设备 UUID 指定具体设备。
• 容器内硬限制： 对流式多处理器可以在容器内施加硬限制。
• 无侵入控制： 不需要对现有程序进行任何更改就能控制资源分配。
• 动态 MIG 支持： 支持通过 mig-parted 动态调整 MIG 设备来支持 dynamic-mig。

通过这些特性，HAMi 确保了在共享设备的情况下，每个任务的资源共享和安全性。 这使得各组织能够更灵活、高效地利用其 AI 计算基础设施，满足不同任务的资源需求。