# Intel Gaudi

用户可利用 Intel Gaudi AI 加速器实现更快且更具成本效益的模型训练与推理。Intel Gaudi AI 加速器家族目前包含三代产品：[Intel Gaudi 1](https://habana.ai/products/gaudi/)、[Intel Gaudi 2](https://habana.ai/products/gaudi2/) 和 [Intel Gaudi 3](https://habana.ai/products/gaudi3/)。每台服务器配备 8 个被称为 Habana 处理单元（HPU）的设备，其中 Gaudi 3 提供 128GB 内存，Gaudi 2 提供 96GB，第一代 Gaudi 提供 32GB。有关底层硬件架构的更多详细信息，请参阅 [Gaudi 架构概览](https://docs.habana.ai/en/latest/Gaudi_Overview/Gaudi_Architecture.html)。

## 开箱即用的工作原理

如果检测到 Intel Gaudi 设备，则默认启用此功能。若要禁用，请在 `accelerate launch` 命令中传入 `--cpu` 标志，或在回答 `accelerate config` 问卷时选择相应的选项。

您可以直接运行以下脚本，在 Intel Gaudi 上进行测试：

```bash
accelerate launch /examples/cv_example.py --data_dir images
```

## 局限性

以下功能不属于 Accelerate 库，需要 [Optimum for Intel Gaudi](https://huggingface.co/docs/optimum/main/en/habana/index)：

- `fast_ddp` 通过对梯度执行 all-reduce 来实现 DDP，而不是使用 Torch DDP 封装器。
- `minimize_memory` 用于 fp8 训练，并允许在前向和反向传播之间将 fp8 权重保留在内存中，从而以额外的 fp8 类型转换为代价，降低内存占用。
- `context_parallel_size` 用于 Context/Sequence Parallelism (CP/SP)，它沿序列维度对网络输入和激活值进行分区，以降低内存占用并提高吞吐量。