Transformers documentation

Аудио-текст-в-текст

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Аудио-текст-в-текст

Модели «аудио-текст в текст» принимают на вход как аудио, так и текст, а на выходе генерируют текст. Они сочетают понимание аудио с генерацией языка, что позволяет решать такие задачи, как ответы на вопросы по аудио (например, «Что говорится в этом фрагменте?»), рассуждения по аудио (например, «Какую эмоцию передаёт говорящий?») и понимание устного диалога. В отличие от традиционных моделей автоматического распознавания речи (ASR), которые лишь транскрибируют речь в текст, модели «аудио-текст в текст» способны рассуждать о содержании аудио, следовать сложным инструкциям и формировать контекстуальные ответы на основе того, что они слышат.

Приведённый ниже пример показывает, как загрузить модель и процессор, передать аудиофайл с текстовым запросом и сгенерировать ответ. В данном случае мы просим модель расшифровать запись речи.

from transformers import AudioFlamingo3ForConditionalGeneration, AutoProcessor

model_id = "nvidia/audio-flamingo-3-hf"
processor = AutoProcessor.from_pretrained(model_id)
model = AudioFlamingo3ForConditionalGeneration.from_pretrained(model_id, device_map="auto")

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "Transcribe the input speech."},
            {"type": "audio", "path": "https://huggingface.co/datasets/nvidia/AudioSkills/resolve/main/assets/WhDJDIviAOg_120_10.mp3"},
        ],
    }
]

inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=500)

decoded_outputs = processor.batch_decode(outputs[:, inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(decoded_outputs)
## ["The transcription of the audio is 'summer follows spring the days grow longer and the nights are warm'."]

В этом руководстве показано, как:

  1. Настройте Audio Flamingo 3 на датасете AudioCaps для генерации описаний аудио с использованием LoRA.
  2. Используйте дообученную модель для инференса.

Чтобы увидеть все архитектуры и контрольные точки, совместимые с этой задачей, рекомендуем обратиться к странице задачи.

Прежде чем начать, убедитесь, что у вас установлены все необходимые библиотеки:

pip install transformers datasets peft accelerate

Мы рекомендуем вам войти в свой аккаунт Hugging Face, чтобы вы могли загрузить свою модель и поделиться ею с сообществом. При появлении запроса введите токен для входа:

>>> from huggingface_hub import notebook_login
>>> notebook_login()

Загрузка набора данных AudioCaps

Начните с загрузки набора данных AudioCaps из библиотеки 🤗 Datasets в режиме потоковой обработки. Этот набор содержит аудиоклипы с описательными подписями, что идеально подходит для задач генерации описаний аудио.

>>> from datasets import load_dataset, Audio
>>> dataset = load_dataset("OpenSound/AudioCaps", split="train", streaming=True)

Приведите аудиоколонку к частоте 16 кГц, что требуется для извлечения признаков Whisper в Audio Flamingo:

>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))

Разделите набор данных на обучающую и тестовую выборки с помощью .take() и .skip() для потоковых наборов данных:

>>> train_dataset = dataset.take(1000)
>>> eval_dataset = dataset.skip(1000).take(100)

Рассмотрим пример:

>>> next(iter(train_dataset))
{'audiocap_id': 91139, 'youtube_id': 'r1nicOVtvkQ', 'start_time': 130, 'caption': 'A woman talks nearby as water pours', 'audio_length': 480000, 'audio': <datasets.features._torchcodec.AudioDecoder object at ...>}

Набор данных содержит:

  • audio: аудиоволна
  • caption: описательный текст-подпись для аудио

Предобработка

Загрузите процессор Audio Flamingo для обработки как аудио-, так и текстовых входных данных:

>>> from transformers import AutoProcessor
>>> processor = AutoProcessor.from_pretrained("nvidia/audio-flamingo-3-hf")

Создайте коллабор данных, который обрабатывает пары «аудио-текст» в формат, ожидаемый Audio Flamingo. Коллабор использует формат шаблона чата с прямыми массивами аудио:

>>> class AudioFlamingo3DataCollator:
...     """Data collator for Audio Flamingo 3 audio captioning training."""
...
...     def __init__(self, processor):
...         self.processor = processor
...
...     def __call__(self, features):
...         conversations = []
...
...         for feature in features:
...             # Build conversation format for Audio Flamingo
...             # Audio is passed directly as an array, no base64 encoding needed
...             sample = [
...                 {
...                     "role": "user",
...                     "content": [
...                         {"type": "text", "text": "Describe the audio."},
...                         {"type": "audio", "audio": feature["audio"].get_all_samples().data[0].numpy()},
...                     ],
...                 },
...                 {
...                     "role": "assistant",
...                     "content": [{"type": "text", "text": feature["caption"]}],
...                 }
...             ]
...             conversations.append(sample)
...
...         # Apply chat template and format labels for training
...         return self.processor.apply_chat_template(
...             conversations,
...             tokenize=True,
...             add_generation_prompt=False,
...             return_dict=True,
...             output_labels=True,  # Automatically creates labels for training
...         )

Создайте экземпляр коллаборатора данных:

>>> data_collator = AudioFlamingo3DataCollator(processor)

Обучение

Если вы не знакомы с дообучением модели с помощью Trainer, загляните в базовое руководство здесь!

Загрузите модель Audio Flamingo. Мы используем точность bfloat16 и device_map="auto" для эффективного использования памяти:

>>> from transformers import AudioFlamingo3ForConditionalGeneration
>>> import torch
>>> model = AudioFlamingo3ForConditionalGeneration.from_pretrained(
...     "nvidia/audio-flamingo-3-hf",
...     torch_dtype=torch.bfloat16,
...     device_map="auto",
... )

Настройка LoRA

LoRA (Low-Rank Adaptation) позволяет эффективно выполнять дообучение, обучая лишь небольшое количество дополнительных параметров. Настройте LoRA так, чтобы он нацеливался на слои внимания и слои прямой передачи языковой модели:

>>> from peft import LoraConfig, get_peft_model
>>> lora_config = LoraConfig(
...     r=16,  # LoRA rank
...     lora_alpha=32,  # LoRA scaling factor
...     target_modules=[
...         # Language model attention
...         "q_proj",
...         "k_proj",
...         "v_proj",
...         "o_proj",
...         # Feed-forward layers
...         "gate_proj",
...         "up_proj",
...         "down_proj",
...     ],
...     lora_dropout=0.05,
...     bias="none",
...     task_type="CAUSAL_LM",
... )
>>> model = get_peft_model(model, lora_config)
>>> model.print_trainable_parameters()
trainable params: 44,302,336 || all params: 8,311,517,696 || trainable%: 0.5330

LoRA значительно снижает потребление памяти и время обучения, обновляя лишь небольшое количество параметров адаптера вместо всей модели. Данная конфигурация нацелена на слои внимания и полносвязные слои языковой модели, при этом аудио-энкодер остаётся замороженным, что позволяет выполнять дообучение на одном GPU.

Настройка обучения

Определите гиперпараметры обучения в TrainingArguments. Обратите внимание, что мы используем max_steps вместо эпох, поскольку работаем с потоковым набором данных:

>>> from transformers import TrainingArguments, Trainer
>>> training_args = TrainingArguments(
...     output_dir="audio-flamingo-3-hf-lora-finetuned",
...     per_device_train_batch_size=4,
...     per_device_eval_batch_size=4,
...     gradient_accumulation_steps=4,
...     learning_rate=1e-4,
...     max_steps=500,  # Use max_steps with streaming datasets
...     bf16=True,
...     logging_steps=10,
...     eval_steps=100,
...     save_steps=250,
...     save_total_limit=2,  # Keep only the latest 2 checkpoints
...     save_only_model=True,  # Skip saving optimizer state to save disk space
...     eval_strategy="steps",
...     save_strategy="steps",
...     remove_unused_columns=False,
...     dataloader_num_workers=0,  # Must be 0 for streaming datasets
...     gradient_checkpointing=True,
...     report_to="none",
... )

Передайте аргументы обучения в Trainer вместе с моделью, наборами данных и коллаборатором данных:

>>> trainer = Trainer(
...     model=model,
...     args=training_args,
...     train_dataset=train_dataset,
...     eval_dataset=eval_dataset,
...     data_collator=data_collator,
... )
>>> trainer.train()

Сохраните адаптер LoRA и процессор:

>>> trainer.save_model()
>>> processor.save_pretrained("audio-flamingo-3-hf-lora-finetuned")
['audio-flamingo-3-hf-lora-finetuned/processor_config.json']

После завершения обучения опубликуйте модель на Hub:

>>> trainer.push_to_hub()

Вывод

Теперь, когда вы дообучили модель, вы можете использовать её для создания описаний аудио.

Загрузите дообученную модель и процессор:

>>> from transformers import AudioFlamingo3ForConditionalGeneration, AutoProcessor
>>> from peft import PeftModel
>>> import torch
>>> base_model = AudioFlamingo3ForConditionalGeneration.from_pretrained(
...     "nvidia/audio-flamingo-3-hf",
...     torch_dtype=torch.bfloat16,
...     device_map="auto",
... )
>>> model = PeftModel.from_pretrained(base_model, "audio-flamingo-3-hf-lora-finetuned")
>>> processor = AutoProcessor.from_pretrained("audio-flamingo-3-hf-lora-finetuned")

Загрузите аудиоприемник для инференса:

>>> from datasets import load_dataset, Audio
>>> dataset = load_dataset("OpenSound/AudioCaps", split="test", streaming=True)
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))
>>> sample = next(iter(dataset))
>>> audio = sample["audio"]
>>> audio_array = audio.get_all_samples().data[0].numpy() if hasattr(audio, "get_all_samples") else audio["array"]

Подготовьте входные данные в формате диалога:

>>> messages = [
...     {
...         "role": "user",
...         "content": [
...             {"type": "text", "text": "Describe the audio."},
...             {"type": "audio", "audio": audio_array},
...         ],
...     }
... ]
>>> inputs = processor.apply_chat_template(
...     messages,
...     tokenize=True,
...     add_generation_prompt=True,
...     return_dict=True,
... ).to(device=model.device, dtype=model.dtype)

Сгенерировать ответ:

>>> with torch.no_grad():
...     output_ids = model.generate(**inputs, max_new_tokens=100)
>>> # Decode only the generated tokens
>>> input_len = inputs["input_ids"].shape[1]
>>> response = processor.tokenizer.decode(output_ids[0][input_len:], skip_special_tokens=True)
>>> print(response)
## A sewing machine is running while people are talking

Пайплайн

For quick inference, use the Pipeline API with an any-to-any model. The example below uses Voxtral, which accepts audio and text inputs and generates text. See the any-to-any task guide for more examples.

from transformers import pipeline

pipe = pipeline("any-to-any", model="mistralai/Voxtral-Mini-3B-2507")

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "audio",
                "url": "https://huggingface.co/datasets/raushan-testing-hf/audio-test/resolve/main/glass-breaking-151256.mp3",
            },
            {"type": "text", "text": "What do you hear in this audio?"},
        ],
    },
]

outputs = pipe(text=messages, max_new_tokens=100, return_full_text=False)
print(outputs[0]["generated_text"])

Дополнительные материалы

Update on GitHub