Accelerate documentation
Сравнение производительности в распределённых конфигурациях
Сравнение производительности в распределённых конфигурациях
Оценка и сравнение производительности при разных конфигурациях могут оказаться непростой задачей, если вы не знаете, на что обращать внимание. Например, вы не можете запустить один и тот же скрипт с одинаковым размером батча на TPU, в мульти-GPU и в single-GPU режимах с помощью Accelerate и ожидать, что результаты совпадут.
Но почему?
В этом учебнике рассматриваются три причины этого:
- Правильная установка сидов
- Наблюдаемые размеры батчей
- Скорости обучения
Установка значения семени
Хотя эта проблема возникала не так часто, убедитесь, что вы используете utils.set_seed(), чтобы полностью задать сид во всех распределённых сценариях, что обеспечит воспроизводимость обучения:
from accelerate.utils import set_seed
set_seed(42)Почему это важно? Под капотом это установит 5 различных настроек сидов:
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed) # or torch.xpu.manual_seed_all, etc
# ^^ safe to call this function even if cuda is not available
if is_torch_xla_available():
xm.set_rng_state(seed)Случайное состояние, состояние numpy, torch, состояние устройства torch, а также состояние cuda torch_xla, если доступны TPU.
Наблюдаемые размеры батчей
При обучении с помощью Accelerate размер батча, передаваемый в dataloader, означает размер батча на каждый GPU. Это означает, что размер батча 64 на двух GPU фактически соответствует размеру батча 128. В результате при тестировании на одном GPU это необходимо учитывать, а также аналогично для TPU.
Ниже приведена таблица, которую можно использовать в качестве краткой справки для подбора различных размеров батчей:
В этом примере для «Multi-GPU» используются два GPU, а также TPU-под с 8 воркерами
| Размер батча на одном GPU | Эквивалентный размер батча для нескольких GPU | Эквивалентный размер батча на TPU |
|---|---|---|
| 256 | 128 | 32 |
| 128 | 64 | 16 |
| 64 | 32 | 8 |
| 32 | 16 | 4 |
Скорости обучения
Как отмечается в нескольких источниках[1][2], скорость обучения следует масштабировать линейно в зависимости от количества устройств. Приведенный ниже фрагмент кода демонстрирует, как сделать это с помощью Accelerate:
Поскольку пользователи могут определять собственные планировщики скорости обучения, решение о том, масштабировать ли скорость обучения, остаётся за пользователем.
learning_rate = 1e-3
accelerator = Accelerator()
learning_rate *= accelerator.num_processes
optimizer = AdamW(params=model.parameters(), lr=learning_rate)Вы также заметите, что accelerate изменяет скорость обучения в зависимости от количества процессов, на которых выполняется обучение. Это связано с наблюдаемым размером батча, о котором говорилось выше. Таким образом, в случае использования 2 GPU скорость обучения будет изменяться вдвое чаще, чем при использовании одного GPU, чтобы учесть удвоенный размер батча (если размер батча на одном GPU не изменялся).
Накопление градиентов и смешанная точность
При использовании накопления градиентов и смешанной точности, в связи с тем, как работает усреднение градиентов (накопление) и потерей точности (смешанная точность), некоторое снижение производительности является ожидаемым. Это будет явно видно при сравнении потерь по батчам между различными вычислительными конфигурациями. Однако общие потери, метрики и общая производительность в конце обучения должны быть примерно такими же.
Update on GitHub