Transformers documentation

VITS

Transformers

Commencer

Transformers Installation Démarrage rapide

Classes de base

Modèles

Préprocesseurs

Inférence

API Pipeline

Générer l'API

Optimisation

Discuter avec des modèles

Mise en production

Entraînement

Commencer

Personnalisation

Ajustement fin efficace en termes de paramètres

Performance

Entraînement distribué

Matériel

Quantification

Intégrations à l'écosystème

Ressources

API

Classes principales

Modèles

Modèles de texte

Modèles de vision

Modèles audio

Modèles vidéo

Modèles multimodaux

Modèles d'apprentissage par renforcement

Modèles de séries temporelles

Aides internes

Référence

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Ce modèle a été publié dans les papiers HF le 2021-06-11 et a été ajouté à Hugging Face Transformers le 2023-09-01.

VITS

VITS (Variational Inference with adversarial learning for end-to-end Text-to-Speech) est un modèle de synthèse vocale de bout en bout qui simplifie les systèmes de synthèse vocale (TTS) traditionnels en deux étapes. Il se distingue par sa capacité à synthétiser directement la parole à partir du texte en utilisant l’inférence variationnelle, l’apprentissage adversarial et les flux normalisants, afin de produire une parole naturelle et expressive, dotée de rythmes et d’intonations variés.

Vous pouvez trouver tous les points de contrôle VITS originaux sous l’organisation AI at Meta.

Cliquez sur les modèles VITS dans la barre latérale droite pour plus d’exemples sur l’application de VITS.

L'exemple ci-dessous montre comment générer du texte à partir d'une image avec Pipeline ou la classe AutoModel.

Pipeline

AutoModel

Notes

Définissez une graine pour la reproductibilité, car VITS synthétise la parole de manière non déterministe.
Pour les langues utilisant des alphabets non latins (coréen, arabe, etc.), installez le package uroman afin de prétraiter les entrées textuelles vers l'alphabet latin. Vous pouvez vérifier si le tokenizer nécessite uroman, comme indiqué ci-dessous.
```
# pip install -U uroman
from transformers import VitsTokenizer

tokenizer = VitsTokenizer.from_pretrained("facebook/mms-tts-eng")
print(tokenizer.is_uroman)
```
Si votre langue nécessite uroman, le tokenizer l’applique automatiquement aux entrées textuelles.

VitsConfig

classe transformers.VitsConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 38hidden_size: int = 192num_hidden_layers: int = 6num_attention_heads: int = 2window_size: int = 4use_bias: bool = Trueffn_dim: int = 768layerdrop: float | int = 0.1ffn_kernel_size: int = 3flow_size: int = 192spectrogram_bins: int = 513hidden_act: str = 'relu'hidden_dropout: float | int = 0.1attention_dropout: float | int = 0.1activation_dropout: float | int = 0.1initializer_range: float = 0.02layer_norm_eps: float = 1e-05use_stochastic_duration_prediction: bool = Truenum_speakers: int = 1speaker_embedding_size: int = 0upsample_initial_channel: int = 512upsample_rates: list[int] | tuple[int, ...] = (8, 8, 2, 2)upsample_kernel_sizes: list[int] | tuple[int, ...] = (16, 16, 4, 4)resblock_kernel_sizes: list[int] | tuple[int, ...] = (3, 7, 11)resblock_dilation_sizes: list | tuple = ((1, 3, 5), (1, 3, 5), (1, 3, 5))leaky_relu_slope: float = 0.1depth_separable_channels: int = 2depth_separable_num_layers: int = 3duration_predictor_flow_bins: int = 10duration_predictor_tail_bound: float = 5.0duration_predictor_kernel_size: int = 3duration_predictor_dropout: float | int = 0.5duration_predictor_num_flows: int = 4duration_predictor_filter_channels: int = 256prior_encoder_num_flows: int = 4prior_encoder_num_wavenet_layers: int = 4posterior_encoder_num_wavenet_layers: int = 16wavenet_kernel_size: int = 5wavenet_dilation_rate: int = 1wavenet_dropout: float | int = 0.0speaking_rate: float | int = 1.0noise_scale: float = 0.667noise_scale_duration: float = 0.8sampling_rate: int = 16000pad_token_id: int | None = None )

Paramètres

vocab_size (int, facultatif, par défaut 38) — Taille du vocabulaire du modèle. Définit le nombre de jetons différents qui peuvent être représentés par input_ids.
hidden_size (int, facultatif, par défaut 192) — Dimension des représentations cachées.
num_hidden_layers (int, facultatif, par défaut 6) — Nombre de couches cachées dans le décodeur Transformer.
num_attention_heads (int, facultatif, valeur par défaut 2) — Nombre de têtes d'attention pour chaque couche d'attention du décodeur Transformer.
window_size (int, facultatif, par défaut 4) — Taille de la fenêtre pour les embeddings positionnels relatifs dans les couches d'attention de l'encodeur Transformer.
use_bias (bool, facultatif, valeur par défaut True) — Indique s'il faut utiliser un biais dans les couches de projection des clés, requêtes et valeurs de l'encodeur Transformer.
ffn_dim (int, facultatif, par défaut 768) — Dimension des représentations du MLP.
layerdrop (Union[float, int], facultatif, par défaut 0.1) — La probabilité de LayerDrop. Consultez l'article [LayerDrop](voir https://huggingface.co/papers/1909.11556) pour plus de détails.
ffn_kernel_size (int, facultatif, valeur par défaut : 3) — Taille du noyau des couches de convolution 1D utilisées par le réseau feed-forward dans l'encodeur Transformer.
flow_size (int, facultatif, valeur par défaut : 192) — Dimensionnalité des couches de flux.
spectrogram_bins (int, facultatif, par défaut 513) — Nombre de bandes de fréquence du spectrogramme cible.
hidden_act (str, facultatif, par défaut relu) — La fonction d'activation non linéaire (fonction ou chaîne de caractères) dans le décodeur. Par exemple, "gelu", "relu", "silu", etc.
hidden_dropout (Union[float, int], facultatif, valeur par défaut 0.1) — Probabilité de dropout pour toutes les couches entièrement connectées des embeddings, de l’encodeur et du pooler.
attention_dropout (Union[float, int], facultatif, valeur par défaut 0.1) — Le taux de dropout appliqué aux probabilités d'attention.
activation_dropout (Union[float, int], facultatif, valeur par défaut 0.1) — Le taux de dropout appliqué aux activations à l'intérieur de la couche entièrement connectée.
initializer_range (float, facultatif, par défaut 0.02) — L'écart-type de la truncated_normal_initializer utilisé pour initialiser toutes les matrices de poids.
layer_norm_eps (float, facultatif, valeur par défaut 1e-05) — L'épsilon utilisé par les couches de normalisation de couche.
use_stochastic_duration_prediction (bool, facultatif, valeur par défaut True) — Indique s'il faut utiliser le module de prédiction stochastique de la durée ou le prédicteur de durée standard.
num_speakers (int, facultatif, valeur par défaut : 1) — Nombre d'orateurs s'il s'agit d'un modèle multi-orateurs.
speaker_embedding_size (int, facultatif, valeur par défaut 0) — Nombre de canaux utilisés par les embeddings de locuteur. Valeur nulle pour les modèles mono-locuteur.
upsample_initial_channel (int, facultatif, valeur par défaut : 512) — Le nombre de canaux d'entrée du réseau de suréchantillonnage HiFi-GAN.
upsample_rates (tuple[int] ou list[int], facultatif, par défaut [8, 8, 2, 2]) — Un tuple d'entiers définissant le pas de chaque couche de convolution 1D dans le réseau de suréchantillonnage HiFi-GAN. La longueur de upsample_rates définit le nombre de couches de convolution et doit correspondre à la longueur de upsample_kernel_sizes.
upsample_kernel_sizes (tuple[int] ou list[int], facultatif, valeur par défaut [16, 16, 4, 4]) — Un tuple d'entiers définissant la taille du noyau de chaque couche de convolution 1D du réseau de suréchantillonnage HiFi-GAN. La longueur de upsample_kernel_sizes définit le nombre de couches de convolution et doit correspondre à la longueur de upsample_rates.
resblock_kernel_sizes (tuple[int] ou list[int], facultatif, par défaut [3, 7, 11]) — Un tuple d'entiers définissant les tailles de noyau des couches de convolution 1D du module de fusion multi-réceptifs (MRF) de HiFi-GAN.
resblock_dilation_sizes (tuple[tuple[int]] ou list[list[int]], facultatif, par défaut [[1, 3, 5], [1, 3, 5], [1, 3, 5]]) — Un tuple imbriqué d'entiers définissant les taux de dilatation des couches de convolution 1D dilatées du module de fusion multi-champ récepteur (MRF) de HiFi-GAN.
leaky_relu_slope (float, facultatif, valeur par défaut 0.1) — L'angle de la pente négative utilisé par la fonction d'activation leaky ReLU.
depth_separable_channels (int, facultatif, valeur par défaut : 2) — Nombre de canaux à utiliser dans chaque bloc depth-separable.
depth_separable_num_layers (int, facultatif, valeur par défaut : 3) — Nombre de couches de convolution à utiliser dans chaque bloc depth-separable.
duration_predictor_flow_bins (int, facultatif, valeur par défaut : 10) — Nombre de canaux à mapper à l'aide de la spline rationnelle non contrainte dans le modèle de prédiction de durée.
duration_predictor_tail_bound (float, facultatif, valeur par défaut : 5.0) — Valeur de la borne de la classe de queue lors du calcul de la spline rationnelle non contrainte dans le modèle de prédicteur de durée.
duration_predictor_kernel_size (int, facultatif, valeur par défaut 3) — Taille du noyau des couches de convolution 1D utilisées dans le modèle de prédiction de durée.
duration_predictor_dropout (float, facultatif, valeur par défaut 0,5) — Taux de dropout pour le modèle de prédiction de durée.
duration_predictor_num_flows (int, facultatif, valeur par défaut : 4) — Nombre d'étapes de flux utilisées par le modèle de prédiction de durée.
duration_predictor_filter_channels (int, facultatif, valeur par défaut : 256) — Nombre de canaux des couches de convolution utilisées dans le modèle de prédiction de durée.
prior_encoder_num_flows (int, facultatif, valeur par défaut : 4) — Nombre d'étapes de flux utilisées par le modèle de flux de l'encodeur a priori.
prior_encoder_num_wavenet_layers (int, facultatif, valeur par défaut : 4) — Nombre de couches WaveNet utilisées par le modèle de flux de l'encodeur a priori.
posterior_encoder_num_wavenet_layers (int, facultatif, valeur par défaut : 16) — Nombre de couches WaveNet utilisées par le modèle d'encodeur a posteriori.
wavenet_kernel_size (int, facultatif, valeur par défaut : 5) — Taille du noyau des couches de convolution 1D utilisées dans le modèle WaveNet.
wavenet_dilation_rate (int, facultatif, valeur par défaut 1) — Taux de dilatation des couches de convolution 1D dilatées utilisées dans le modèle WaveNet.
wavenet_dropout (float, facultatif, valeur par défaut 0.0) — Le taux de dropout pour les couches WaveNet.
speaking_rate (float, facultatif, valeur par défaut 1.0) — Taux de parole. Des valeurs plus élevées produisent une voix synthétisée plus rapide.
noise_scale (float, facultatif, valeur par défaut 0,667) — Niveau d'aléa de la prédiction de la parole. Des valeurs plus élevées génèrent davantage de variations dans la parole prédite.
noise_scale_duration (float, facultatif, valeur par défaut 0.8) — Niveau d'aléa de la prédiction de la durée. Des valeurs plus élevées génèrent une plus grande variation dans les durées prédites.
sampling_rate (int, facultatif, par défaut 16000) — La fréquence d'échantillonnage à laquelle les fichiers audio doivent être numérisés, exprimée en hertz (Hz).
pad_token_id (int, facultatif) — Identifiant du jeton utilisé pour le bourrage dans le vocabulaire.

Ceci est la classe de configuration destinée à stocker la configuration d'un VitsModel. Elle est utilisée pour instancier un modèle Vits en fonction des arguments spécifiés, en définissant l'architecture du modèle. L'instanciation d'une configuration avec les valeurs par défaut produira une configuration similaire à celle de facebook/mms-tts-eng

Les objets de configuration héritent de PreTrainedConfig et peuvent être utilisés pour contrôler les sorties du modèle. Consultez la documentation de PreTrainedConfig pour plus d’informations.

Exemple :

>>> from transformers import VitsModel, VitsConfig

>>> # Initializing a "facebook/mms-tts-eng" style configuration
>>> configuration = VitsConfig()

>>> # Initializing a model (with random weights) from the "facebook/mms-tts-eng" style configuration
>>> model = VitsModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

VitsTokenizer

classe transformers.VitsTokenizer

< source >

( vocab_filepad_token = '<pad>'unk_token = '<unk>'language = Noneadd_blank = Truenormalize = Truephonemize = Trueis_uroman = False**kwargs )

Paramètres

vocab_file (str) — Chemin vers le fichier de vocabulaire.
language (str, facultatif) — Identifiant de langue.
add_blank (bool, facultatif, valeur par défaut True) — Indique s'il faut insérer l'identifiant de jeton 0 entre les autres jetons.
normalize (bool, facultatif, par défaut True) — Indique s'il faut normaliser le texte d'entrée en supprimant toutes les majuscules et la ponctuation.
phonemize (bool, facultatif, par défaut True) — Indique s'il faut convertir le texte d'entrée en phonèmes.
is_uroman (bool, facultatif, par défaut False) — Indique si le romaniseur uroman doit être appliqué au texte d'entrée avant la tokenisation.

Construit un tokeniseur VITS. Prend également en charge MMS-TTS.

Ce tokenizer hérite de PreTrainedTokenizer, qui contient la plupart des méthodes principales. Les utilisateurs doivent se référer à cette superclasse pour plus d'informations sur ces méthodes.

call

< source >

Paramètres

text (str, list[str], list[list[str]], facultatif) — La séquence ou le lot de séquences à encoder. Chaque séquence peut être une chaîne de caractères ou une liste de chaînes de caractères (chaînes pré-tokenisées). Si les séquences sont fournies sous forme de liste de chaînes de caractères (pré-tokenisées), vous devez définir is_split_into_words=True (pour lever l’ambiguïté avec un lot de séquences).
text_pair (str, list[str], list[list[str]], facultatif) — La séquence ou le lot de séquences à encoder. Chaque séquence peut être une chaîne de caractères ou une liste de chaînes de caractères (chaînes pré-tokenisées). Si les séquences sont fournies sous forme de liste de chaînes de caractères (pré-tokenisées), vous devez définir is_split_into_words=True (pour lever l’ambiguïté avec un lot de séquences).
text_target (str, list[str], list[list[str]], facultatif) — La séquence ou le lot de séquences à encoder en tant que textes cibles. Chaque séquence peut être une chaîne de caractères ou une liste de chaînes de caractères (chaîne pré-tokenisée). Si les séquences sont fournies sous forme de liste de chaînes de caractères (pré-tokenisées), vous devez définir is_split_into_words=True (pour lever l’ambiguïté avec un lot de séquences).
text_pair_target (str, list[str], list[list[str]], facultatif) — La séquence ou le lot de séquences à encoder en tant que textes cibles. Chaque séquence peut être une chaîne de caractères ou une liste de chaînes de caractères (chaîne pré-tokenisée). Si les séquences sont fournies sous forme de liste de chaînes de caractères (pré-tokenisées), vous devez définir is_split_into_words=True (pour lever l’ambiguïté avec un lot de séquences).
tokenizer_kwargs (dict[str, Any], facultatif) — Kwargs supplémentaires à passer au tokenizer. Ils seront fusionnés avec les paramètres explicites et les autres kwargs, les paramètres explicites ayant la priorité.
add_special_tokens (bool, facultatif, par défaut True) — Indique s'il faut ajouter des jetons spéciaux lors de l'encodage des séquences. Cela utilise la fonction sous-jacente PretrainedTokenizerBase.build_inputs_with_special_tokens, qui définit les jetons ajoutés automatiquement aux identifiants d'entrée. Cela est utile si vous souhaitez ajouter automatiquement des jetons bos ou eos.
padding (bool, str ou PaddingStrategy, facultatif, défaut : False) — Active et contrôle le padding. Accepte les valeurs suivantes :
- True ou 'longest' : Ajuster à la séquence la plus longue du lot (ou aucun ajustement si une seule séquence est fournie).
- 'max_length' : Remplir jusqu'à une longueur maximale spécifiée par l'argument max_length ou jusqu'à la longueur d'entrée maximale acceptable pour le modèle si cet argument n'est pas fourni.
- False ou 'do_not_pad' (par défaut) : aucun padding (c’est-à-dire, peut produire un lot avec des séquences de longueurs différentes).
truncation (bool, str ou TruncationStrategy, facultatif, défaut : False) — Active et contrôle la troncature. Accepte les valeurs suivantes :
- True ou 'longest_first' : Tronquer à une longueur maximale spécifiée avec l’argument max_length ou à la longueur d’entrée maximale acceptable pour le modèle si cet argument n’est pas fourni. Cela tronquera jeton par jeton, en retirant un jeton de la séquence la plus longue du couple si un couple de séquences (ou un lot de couples) est fourni.
- 'only_first' : Tronque à une longueur maximale spécifiée avec l'argument max_length ou à la longueur d'entrée maximale acceptable pour le modèle si cet argument n'est pas fourni. Cela ne tronquera que la première séquence d'une paire si une paire de séquences (ou un lot de paires) est fournie.
- 'only_second' : Tronque à une longueur maximale spécifiée avec l'argument max_length ou à la longueur d'entrée maximale acceptable pour le modèle si cet argument n'est pas fourni. Cela ne tronquera que la deuxième séquence d'une paire si une paire de séquences (ou un lot de paires) est fournie.
- False ou 'do_not_truncate' (par défaut) : aucune troncature (c’est-à-dire, peut produire un lot avec des longueurs de séquences supérieures à la taille d’entrée maximale admissible par le modèle).
max_length (int, facultatif) — Contrôle la longueur maximale à utiliser par l'un des paramètres de troncature/remplissage.
Si non défini ou défini sur None, la longueur maximale prédéfinie du modèle sera utilisée si l'un des paramètres de troncature/remplissage exige une longueur maximale. Si le modèle n'a pas de longueur d'entrée maximale spécifique (comme XLNet), la troncature/le remplissage à une longueur maximale sera désactivé.
stride (int, facultatif, valeur par défaut 0) — Si défini à un nombre avec max_length, les jetons en dépassement renvoyés lorsque return_overflowing_tokens=True contiendront certains jetons de la fin de la séquence tronquée renvoyée afin de fournir un chevauchement entre les séquences tronquées et les séquences en dépassement. La valeur de cet argument définit le nombre de jetons en chevauchement.
is_split_into_words (bool, facultatif, par défaut False) — Indique si l'entrée est déjà pré-tokenisée (par exemple, découpée en mots). Si défini à True, le tokeniseur suppose que l'entrée est déjà découpée en mots (par exemple, en la séparant sur les espaces) et la tokenise. Cela est utile pour la NER ou la classification de tokens.
pad_to_multiple_of (int, facultatif) — Si défini, la séquence est rembourrée jusqu'à un multiple de la valeur fournie. Nécessite l'activation de padding. Cela est particulièrement utile pour permettre l'utilisation des Tensor Cores sur le matériel NVIDIA avec une capacité de calcul >= 7.5 (Volta).
padding_side (str, facultatif) — Le côté sur lequel le modèle doit appliquer le bourrage. Doit être choisi parmi [‘right’, ‘left’]. La valeur par défaut est choisie à partir de l’attribut de classe du même nom.
return_tensors (str ou TensorType, facultatif) — Si défini, renvoie des tenseurs au lieu d'une liste d'entiers Python. Les valeurs acceptées sont :
- 'pt' : Renvoie des objets torch.Tensor de PyTorch.
- 'np' : Renvoie des objets Numpy np.ndarray.
return_token_type_ids (bool, facultatif) — Indique s'il faut renvoyer les identifiants de type de jeton. Si la valeur par défaut est conservée, les identifiants de type de jeton sont renvoyés selon la valeur par défaut du tokeniseur spécifique, définie par l'attribut return_outputs .
Qu'est-ce que les identifiants de type de jeton ?
return_attention_mask (bool, facultatif) — Indique s'il faut retourner le masque d'attention. Si la valeur par défaut est conservée, le masque d'attention est retourné selon la valeur par défaut du tokenizer spécifique, définie par l'attribut return_outputs .
Qu'est-ce que les masques d'attention ?
return_overflowing_tokens (bool, facultatif, par défaut False) — Indique s'il faut ou non retourner les séquences de jetons en dépassement. Si une paire de séquences d'identifiants d'entrée (ou un lot de paires) est fournie avec truncation_strategy = longest_first ou True, une erreur est levée au lieu de retourner les jetons en dépassement.
return_special_tokens_mask (bool, facultatif, par défaut False) — Indique s'il faut ou non retourner les informations du masque des jetons spéciaux.
return_offsets_mapping (bool, facultatif, par défaut False) — Indique s'il faut renvoyer (char_start, char_end) pour chaque jeton.
Cela n’est disponible que sur les tokenizers rapides héritant de PreTrainedTokenizerFast ; si vous utilisez le tokenizer Python, cette méthode lève NotImplementedError.
return_length (bool, facultatif, par défaut False) — Indique s'il faut retourner les longueurs des entrées encodées.
verbose (bool, facultatif, par défaut True) — Indique s'il faut afficher plus d'informations et d'avertissements.
**kwargs — transmis à la méthode self.tokenize()

Retourne

BatchEncoding

Un BatchEncoding avec les champs suivants :

input_ids — Liste des identifiants de jetons à fournir à un modèle.

Qu'est-ce que les identifiants d'entrée ?
token_type_ids — Liste des identifiants de type de jeton à fournir à un modèle (lorsque return_token_type_ids=True ou si “token_type_ids” est présent dans self.model_input_names).

Qu'est-ce que les identifiants de type de jeton ?
attention_mask — Liste d’indices spécifiant les jetons auxquels le modèle doit prêter attention (lorsque return_attention_mask=True ou si “attention_mask” est présent dans self.model_input_names).

Qu'est-ce que les masques d'attention ?
overflowing_tokens — Liste des séquences de jetons en dépassement (lorsqu'une max_length est spécifiée et return_overflowing_tokens=True).
num_truncated_tokens — Nombre de jetons tronqués (lorsqu'une max_length est spécifiée et return_overflowing_tokens=True).
special_tokens_mask — Liste de 0 et de 1, où 1 indique les jetons spéciaux ajoutés et 0 indique les jetons de séquence réguliers (lorsque add_special_tokens=True et return_special_tokens_mask=True).
length — La longueur des entrées (lorsque return_length=True)

Méthode principale pour tokeniser et préparer pour le modèle une ou plusieurs séquences ou une ou plusieurs paires de séquences.

save_vocabulary

< source >

( save_directory: strfilename_prefix: str | None = None )

VitsModel

classe transformers.VitsModel

< source >

( config: VitsConfig )

Paramètres

config (VitsConfig) — Classe de configuration du modèle contenant tous les paramètres du modèle. L’initialisation à partir d’un fichier de configuration ne charge pas les poids associés au modèle, uniquement la configuration. Consultez la méthode from_pretrained() pour charger les poids du modèle.

Le modèle VITS complet, pour la synthèse vocale à partir de texte.

Ce modèle hérite de PreTrainedModel. Consultez la documentation de la classe parente pour les méthodes génériques que la bibliothèque implémente pour tous ses modèles (tels que le téléchargement ou l'enregistrement, le redimensionnement des embeddings d'entrée, la taille des têtes, etc.)

Ce modèle est également une sous-classe de torch.nn.Module de PyTorch. Utilisez-le comme un module PyTorch standard et consultez la documentation de PyTorch pour tout ce qui concerne l'utilisation et le comportement généraux.

forward

< source >

( input_ids: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonespeaker_id: int | None = Noneoutput_attentions: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = Nonelabels: typing.Optional[torch.Tensor] = Nonespeaking_rate: float | None = None**kwargs ) → VitsModelOutput or tuple(torch.Tensor)

Paramètres

input_ids (torch.Tensor de forme (batch_size, sequence_length), facultatif) — Indices des jetons de la séquence d'entrée dans le vocabulaire. Le bourrage (padding) sera ignoré par défaut.
Les indices peuvent être obtenus à l'aide de AutoTokenizer. Consultez PreTrainedTokenizer.encode() et PreTrainedTokenizer.call() pour plus de détails.

Qu'est-ce que les identifiants d'entrée ?
attention_mask (torch.Tensor de forme (batch_size, sequence_length), facultatif) — Masque pour éviter d'appliquer l'attention aux indices des jetons de bourrage. Les valeurs du masque sont choisies dans [0, 1]:
- 1 pour les jetons qui ne sont pas masqués,
- 0 pour les jetons masqués.
Qu'est-ce que les masques d'attention ?
speaker_id (int, facultatif) — Embedding de locuteur à utiliser. Utilisé uniquement pour les modèles multi-locuteurs.
output_attentions (bool, facultatif) — Indique s'il faut ou non retourner les tenseurs d'attention de toutes les couches d'attention. Consultez attentions sous les tenseurs retournés pour plus de détails.
output_hidden_states (bool, facultatif) — Indique s'il faut retourner les états cachés de toutes les couches. Voir hidden_states sous les tenseurs retournés pour plus de détails.
return_dict (bool, facultatif) — Indique s'il faut retourner un ModelOutput plutôt qu'un simple tuple.
labels (torch.Tensor de forme (batch_size, config.spectrogram_bins, sequence_length), facultatif) — Valeurs flottantes du spectrogramme cible. Les pas de temps définis à -100.0 sont ignorés (masqués) pour le calcul de la perte.
speaking_rate (float, facultatif) — Taux de parole.

Retourne

VitsModelOutput ou tuple(torch.Tensor)

Un VitsModelOutput ou un tuple de torch.Tensor (si return_dict=False est passé ou lorsque config.return_dict=False) comprenant divers éléments en fonction de la configuration (VitsConfig) et des entrées.

La méthode forward du modèle VitsModel redéfinit la méthode spéciale __call__.

Bien que la recette de la passe avant doive être définie dans cette fonction, il faut ensuite appeler l'instance Module plutôt que celle-ci, car la première gère l'exécution des étapes de prétraitement et de post-traitement, tandis que la seconde les ignore silencieusement.

waveform (torch.Tensor de forme (batch_size, sequence_length)) — La forme d'onde audio finale prédite par le modèle.
sequence_lengths (torch.Tensor de forme (batch_size,)) — La longueur en échantillons de chaque élément du lot waveform.
spectrogram (torch.Tensor de forme (batch_size, sequence_length, num_bins)) — Le spectrogramme log-mel prédit à la sortie du modèle de flux. Ce spectrogramme est transmis au modèle de décodeur Hi-Fi GAN pour obtenir la forme d'onde audio finale.
hidden_states (tuple[torch.Tensor], facultatif, renvoyé lorsque output_hidden_states=True est passé ou lorsque config.output_hidden_states=True) — Tuple de torch.Tensor (un pour la sortie des embeddings, si le modèle possède une couche d’embedding, + un pour la sortie de chaque couche) de forme (batch_size, sequence_length, hidden_size).

États cachés du modèle à la sortie de chaque couche, ainsi que les sorties d'incorporation initiales facultatives.
attentions (tuple[torch.Tensor], facultatif, renvoyé lorsque output_attentions=True est passé ou lorsque config.output_attentions=True) — Tuple de torch.Tensor (un par couche) de forme (batch_size, num_heads, sequence_length, sequence_length).

Poids des attentions après le softmax d'attention, utilisés pour calculer la moyenne pondérée dans les têtes d'auto-attention.

Exemple :

>>> from transformers import VitsTokenizer, VitsModel, set_seed
>>> import torch

>>> tokenizer = VitsTokenizer.from_pretrained("facebook/mms-tts-eng")
>>> model = VitsModel.from_pretrained("facebook/mms-tts-eng")

>>> inputs = tokenizer(text="Hello - my dog is cute", return_tensors="pt")

>>> set_seed(555)  # make deterministic

>>> with torch.no_grad():
...     outputs = model(inputs["input_ids"])
>>> outputs.waveform.shape
torch.Size([1, 45824])

Update on GitHub

←VibeVoice ASR Wav2Vec2→