Accelerate documentation
Intel Gaudi
はじめに
チュートリアル
ハウツーガイド
Accelerate
学習
勾配の累積Local SGD低精度 (FP8) トレーニングDeepSpeedDeepSpeedで複数のモデルを使用するDDP通信フックFully Sharded Data ParallelMegatron-LMAmazon SageMakerApple M1 GPUIntel CPUIntel Gaudiコンパイル
推論
コンセプトと基礎
Accelerate の内部メカニズム大規模モデルをメモリに読み込む分散環境間のパフォーマンス比較ジョブの実行と遅延勾配の同期FSDPとDeepSpeedFSDP1とFSDP2コンテキスト並列性シーケンス並列性低精度トレーニング手法TPUでのトレーニング
リファレンス
Intel Gaudi
ユーザーは、Intel Gaudi AI アクセラレータを活用することで、はるかに高速かつコスト効率の高いモデルの学習と推論を実現できます。 Intel Gaudi AI アクセラレータファミリーには現在、3世代の製品が含まれています: Intel Gaudi 1、Intel Gaudi 2、および Intel Gaudi 3。各サーバーには、Habana Processing Unit (HPU) と呼ばれる8つのデバイスが搭載されており、Gaudi 3 では 128GB、Gaudi 2 では 96GB、初代 Gaudi では 32GB のメモリを提供します。基盤となるハードウェアアーキテクチャの詳細については、Gaudi Architecture Overview をご覧ください。
デフォルトの動作
Intel Gaudi デバイスが検出された場合、デフォルトで有効になります。
無効にするには、accelerate launch コマンドに --cpu フラグを渡すか、accelerate config のアンケートに回答する際に該当する質問に答えてください。
Intel Gaudiで動作を確認するには、以下のスクリプトを直接実行できます。
accelerate launch /examples/cv_example.py --data_dir images
制限事項
以下の機能はAccelerateライブラリには含まれておらず、Optimum for Intel Gaudiが必要です:
fast_ddpは、TorchのDDPラッパーではなく、勾配にall-reduceを適用することでDDPを実装します。minimize_memoryは、fp8学習で使用され、フォワードパスとバックワードパスの間でfp8の重みをメモリに保持することを可能にします。これにより、追加のfp8キャストをコストとして引き換えに、メモリフットプリントを小さくできます。context_parallel_sizeは、Context/Sequence Parallelism (CP/SP) に使用され、シーケンス次元に沿ってネットワークの入力とアクティベーションを分割することで、メモリフットプリントを削減しスループットを向上させます。