Ce modèle a été publié dans HF papers le 2021-04-05 et ajouté à Hugging Face Transformers le 2022-11-21.

Audio Spectrogram Transformer

Aperçu

Le modèle Audio Spectrogram Transformer a été proposé dans AST: Audio Spectrogram Transformer par Yuan Gong, Yu-An Chung et James Glass. L'Audio Spectrogram Transformer applique un Vision Transformer à l'audio en convertissant l'audio en image (spectrogramme). Le modèle obtient des résultats de l'état de l'art pour la classification audio.

L'abstract de l'article est le suivant :

Sur la dernière décennie, les réseaux de neurones convolutifs (CNN) ont été largement adoptés comme bloc de construction principal des modèles de classification audio de bout en bout, qui visent à apprendre une correspondance directe entre les spectrogrammes audio et les étiquettes correspondantes. Pour mieux capturer le contexte global à longue portée, une tendance récente consiste à ajouter un mécanisme d'auto-attention au-dessus du CNN, formant ainsi un modèle hybride CNN-attention. Cependant, il n'est pas clair si la dépendance à un CNN est nécessaire, et si des réseaux de neurones purement basés sur l'attention suffisent pour obtenir de bonnes performances en classification audio. Dans cet article, nous répondons à cette question en introduisant l'Audio Spectrogram Transformer (AST), le premier modèle sans convolution, purement basé sur l'attention, pour la classification audio. Nous évaluons AST sur diverses références de classification audio, où il atteint de nouveaux résultats de l'état de l'art : 0,485 mAP sur AudioSet, 95,6 % de précision sur ESC-50 et 98,1 % de précision sur Speech Commands V2.

Ce modèle a été contribué par nielsr. Le code d'origine peut être trouvé ici.

Conseils d'utilisation

• Lors de l’ajustement fin de l’Audio Spectrogram Transformer (AST) sur votre propre jeu de données, il est recommandé de prendre en charge la normalisation des entrées (pour s’assurer que les entrées ont une moyenne de 0 et un écart-type de 0,5). ASTFeatureExtractor s’en charge. Notez qu’il utilise par défaut la moyenne et l’écart-type d’AudioSet. Vous pouvez consulter ast/src/get_norm_stats.py pour voir comment les auteurs calculent les statistiques pour un jeu de données en aval.
• Notez que l'AST nécessite un taux d'apprentissage faible (les auteurs utilisent un taux d'apprentissage 10 fois plus petit par rapport à leur modèle CNN proposé dans l'article PSLA) et converge rapidement, veuillez donc rechercher un taux d'apprentissage et un planificateur de taux d'apprentissage adaptés à votre tâche.

Utilisation de l'attention à produit scalaire mis à l'échelle (SDPA)

PyTorch intègre un opérateur natif d'attention par produit scalaire mis à l'échelle (SDPA) au sein de torch.nn.functional. Cette fonction englobe plusieurs implémentations qui peuvent être appliquées en fonction des entrées et du matériel utilisé. Consultez la documentation officielle ou la page GPU Inference pour plus d'informations.

SDPA est utilisé par défaut pour torch>=2.1.1 lorsqu’une implémentation est disponible, mais vous pouvez également définir attn_implementation="sdpa" dans from_pretrained() pour demander explicitement l’utilisation de SDPA.

from transformers import ASTForAudioClassification


model = ASTForAudioClassification.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593", attn_implementation="sdpa", device_map="auto")
...

Pour obtenir les accélérations optimales, nous recommandons de charger le modèle en demi-précision (par exemple torch.float16 ou torch.bfloat16).

Sur un benchmark local (A100-40GB, PyTorch 2.3.0, OS Ubuntu 22.04) avec float32 et le modèle MIT/ast-finetuned-audioset-10-10-0.4593, nous avons observé les accélérations suivantes lors de l'inférence.

Ressources

Une liste de ressources officielles Hugging Face et de la communauté (indiquées par 🌎) pour vous aider à démarrer avec l'Audio Spectrogram Transformer.

• Un notebook illustrant l'inférence avec AST pour la classification audio est disponible ici.
• ASTForAudioClassification est pris en charge par ce notebook.
• Voir aussi : Classification audio.

Si vous souhaitez soumettre une ressource pour qu'elle soit incluse ici, n'hésitez pas à ouvrir une Pull Request et nous la examinerons ! La ressource devrait idéalement démontrer quelque chose de nouveau plutôt que de dupliquer une ressource existante.

ASTConfig

>>> from transformers import ASTConfig, ASTModel

>>> # Initializing a AST MIT/ast-finetuned-audioset-10-10-0.4593 style configuration
>>> configuration = ASTConfig()

>>> # Initializing a model (with random weights) from the MIT/ast-finetuned-audioset-10-10-0.4593 style configuration
>>> model = ASTModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ASTFeatureExtractor

ASTModel

ASTForAudioClassification

>>> from transformers import AutoFeatureExtractor, ASTForAudioClassification
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")
>>> model = ASTForAudioClassification.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.argmax(logits, dim=-1).item()
>>> predicted_label = model.config.id2label[predicted_class_ids]
>>> predicted_label
...

>>> # compute loss - target_label is e.g. "down"
>>> target_label = model.config.id2label[0]
>>> inputs["labels"] = torch.tensor([model.config.label2id[target_label]])
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...