Ce modèle a été publié dans les papiers HF le 2020-06-24 et contribué à Hugging Face Transformers le 2023-06-20.

XLSR-Wav2Vec2

Aperçu

Le modèle XLSR-Wav2Vec2 a été proposé dans Unsupervised Cross-Lingual Representation Learning For Speech Recognition par Alexis Conneau, Alexei Baevski, Ronan Collobert, Abdelrahman Mohamed, Michael Auli.

L'abstract de l'article est le suivant :

Cet article présente XLSR, qui apprend des représentations vocales interlinguistiques en pré-entraînant un modèle unique à partir des formes d'onde brutes de la parole dans plusieurs langues. Nous nous appuyons sur wav2vec 2.0, entraîné en résolvant une tâche contrastive sur des représentations latentes masquées de la parole, et apprenant conjointement une quantification des latentes partagée entre les langues. Le modèle résultant est affiné sur des données étiquetées et les expériences montrent que le pré-entraînement interlinguistique surpasse significativement le pré-entraînement monolingue. Sur le benchmark CommonVoice, XLSR affiche une réduction du taux d'erreur phonémique relatif de 72 % par rapport aux meilleurs résultats connus. Sur BABEL, notre approche améliore le taux d'erreur de mot de 16 % en relatif par rapport à un système comparable. Notre approche permet un modèle unique de reconnaissance vocale multilingue qui est compétitif par rapport à de forts modèles individuels. L'analyse montre que les représentations vocales discrètes latentes sont partagées entre les langues, avec un partage accru pour les langues apparentées. Nous espérons catalyser la recherche en compréhension vocale à faibles ressources en publiant XLSR-53, un grand modèle pré-entraîné dans 53 langues.

Le code original peut être trouvé ici.

Note : Meta (FAIR) a publié une nouvelle version de Wav2Vec2-BERT 2.0 - elle est pré-entraînée sur 4,5 millions d'heures d'audio. Nous recommandons en particulier de l'utiliser pour les tâches de fine-tuning, par exemple selon ce guide.

Conseils d'utilisation

• XLSR-Wav2Vec2 est un modèle de parole qui accepte un tableau de nombres à virgule flottante correspondant à la forme d’onde brute du signal de parole.
• Le modèle XLSR-Wav2Vec2 a été entraîné à l'aide de la classification temporelle connexionniste (CTC), il est donc nécessaire de décoder sa sortie à l'aide de Wav2Vec2CTCTokenizer.

L’architecture de XLSR-Wav2Vec2 est basée sur le modèle Wav2Vec2, il est donc possible de se reporter à la page de documentation de Wav2Vec2.