Accelerate documentation

Сравнение производительности в распределённых конфигурациях

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Сравнение производительности в распределённых конфигурациях

Оценка и сравнение производительности при разных конфигурациях могут оказаться непростой задачей, если вы не знаете, на что обращать внимание. Например, вы не можете запустить один и тот же скрипт с одинаковым размером батча на TPU, в мульти-GPU и в single-GPU режимах с помощью Accelerate и ожидать, что результаты совпадут.

Но почему?

В этом учебнике рассматриваются три причины этого:

  1. Правильная установка сидов
  2. Наблюдаемые размеры батчей
  3. Скорости обучения

Установка значения семени

Хотя эта проблема возникала не так часто, убедитесь, что вы используете utils.set_seed(), чтобы полностью задать сид во всех распределённых сценариях, что обеспечит воспроизводимость обучения:

from accelerate.utils import set_seed

set_seed(42)

Почему это важно? Под капотом это установит 5 различных настроек сидов:

    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed_all(seed) # or torch.xpu.manual_seed_all, etc
    # ^^ safe to call this function even if cuda is not available
    if is_torch_xla_available():
        xm.set_rng_state(seed)

Случайное состояние, состояние numpy, torch, состояние устройства torch, а также состояние cuda torch_xla, если доступны TPU.

Наблюдаемые размеры батчей

При обучении с помощью Accelerate размер батча, передаваемый в dataloader, означает размер батча на каждый GPU. Это означает, что размер батча 64 на двух GPU фактически соответствует размеру батча 128. В результате при тестировании на одном GPU это необходимо учитывать, а также аналогично для TPU.

Ниже приведена таблица, которую можно использовать в качестве краткой справки для подбора различных размеров батчей:

В этом примере для «Multi-GPU» используются два GPU, а также TPU-под с 8 воркерами

Размер батча на одном GPUЭквивалентный размер батча для нескольких GPUЭквивалентный размер батча на TPU
25612832
1286416
64328
32164

Скорости обучения

Как отмечается в нескольких источниках[1][2], скорость обучения следует масштабировать линейно в зависимости от количества устройств. Приведенный ниже фрагмент кода демонстрирует, как сделать это с помощью Accelerate:

Поскольку пользователи могут определять собственные планировщики скорости обучения, решение о том, масштабировать ли скорость обучения, остаётся за пользователем.

learning_rate = 1e-3
accelerator = Accelerator()
learning_rate *= accelerator.num_processes

optimizer = AdamW(params=model.parameters(), lr=learning_rate)

Вы также заметите, что accelerate изменяет скорость обучения в зависимости от количества процессов, на которых выполняется обучение. Это связано с наблюдаемым размером батча, о котором говорилось выше. Таким образом, в случае использования 2 GPU скорость обучения будет изменяться вдвое чаще, чем при использовании одного GPU, чтобы учесть удвоенный размер батча (если размер батча на одном GPU не изменялся).

Накопление градиентов и смешанная точность

При использовании накопления градиентов и смешанной точности, в связи с тем, как работает усреднение градиентов (накопление) и потерей точности (смешанная точность), некоторое снижение производительности является ожидаемым. Это будет явно видно при сравнении потерь по батчам между различными вычислительными конфигурациями. Однако общие потери, метрики и общая производительность в конце обучения должны быть примерно такими же.

Update on GitHub