Intel Gaudi

用户可利用 Intel Gaudi AI 加速器实现更快且更具成本效益的模型训练与推理。 Intel Gaudi AI 加速器家族目前包含三代产品：Intel Gaudi 1、Intel Gaudi 2 和 Intel Gaudi 3。每台服务器配备 8 个被称为 Habana 处理单元（HPU）的设备，其中 Gaudi 3 提供 128GB 内存，Gaudi 2 提供 96GB，第一代 Gaudi 提供 32GB。有关底层硬件架构的更多详细信息，请参阅 Gaudi 架构概览。

开箱即用的工作原理

如果检测到 Intel Gaudi 设备，则默认启用此功能。 若要禁用它，请在 accelerate launch 命令中传入 --cpu 标志，或在回答 accelerate config 问卷时选择相应的选项。

您可以直接运行以下脚本，在 Intel Gaudi 上进行测试：

accelerate launch /examples/cv_example.py --data_dir images

局限性

以下功能不属于 Accelerate 库，需要 Optimum for Intel Gaudi：

• fast_ddp 通过对梯度执行 all-reduce 来实现 DDP，而不是使用 Torch DDP 封装器。
• minimize_memory 用于 fp8 训练，并允许在前向和反向传播之间将 fp8 权重保留在内存中，从而以额外的 fp8 类型转换为代价，降低内存占用。
• context_parallel_size 用于 Context/Sequence Parallelism (CP/SP)，它沿序列维度对网络输入和激活值进行分区，以降低内存占用并提高吞吐量。