Accelerate documentation

Intel Gaudi

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Intel Gaudi

ユーザーは、Intel Gaudi AI アクセラレータを活用することで、はるかに高速かつコスト効率の高いモデルの学習と推論を実現できます。 Intel Gaudi AI アクセラレータファミリーには現在、3世代の製品が含まれています: Intel Gaudi 1、Intel Gaudi 2、および Intel Gaudi 3。各サーバーには、Habana Processing Unit (HPU) と呼ばれる8つのデバイスが搭載されており、Gaudi 3 では 128GB、Gaudi 2 では 96GB、初代 Gaudi では 32GB のメモリを提供します。基盤となるハードウェアアーキテクチャの詳細については、Gaudi Architecture Overview をご覧ください。

デフォルトの動作

Intel Gaudi デバイスが検出された場合、デフォルトで有効になります。 無効にするには、accelerate launch コマンドに --cpu フラグを渡すか、accelerate config のアンケートに回答する際に該当する質問に答えてください。

Intel Gaudiで動作を確認するには、以下のスクリプトを直接実行できます。

accelerate launch /examples/cv_example.py --data_dir images

制限事項

以下の機能はAccelerateライブラリには含まれておらず、Optimum for Intel Gaudiが必要です:

  • fast_ddpは、TorchのDDPラッパーではなく、勾配にall-reduceを適用することでDDPを実装します。
  • minimize_memoryは、fp8学習で使用され、フォワードパスとバックワードパスの間でfp8の重みをメモリに保持することを可能にします。これにより、追加のfp8キャストをコストとして引き換えに、メモリフットプリントを小さくできます。
  • context_parallel_size は、Context/Sequence Parallelism (CP/SP) に使用され、シーケンス次元に沿ってネットワークの入力とアクティベーションを分割することで、メモリフットプリントを削減しスループットを向上させます。
Update on GitHub