Mô hình này được công bố trên HF papers vào ngày 30-08-2024 và được đóng góp cho Hugging Face Transformers vào ngày 15-08-2025.

X-Codec

Tổng quan

Mô hình X-Codec được đề xuất trong Codec Does Matter: Exploring the Semantic Shortcoming of Codec for Audio Language Model của Zhen Ye, Peiwen Sun, Jiahe Lei, Hongzhan Lin, Xu Tan, Zheqi Dai, Qiuqiang Kong, Jianyi Chen, Jiahao Pan, Qifeng Liu, Yike Guo, Wei Xue.

Mô hình X-Codec là một bộ mã hóa âm thanh neural tích hợp thông tin ngữ nghĩa từ các mô hình tự giám sát (ví dụ: HuBERT) cùng với thông tin âm học truyền thống. Điều này cho phép:

• Tiếp nối âm nhạc: Mô hình hóa ngữ nghĩa âm nhạc tốt hơn tạo ra các phần tiếp nối nhất quán hơn.
• Tổng hợp văn bản thành âm thanh: X-Codec nắm bắt sự tương thích ngữ nghĩa giữa các câu lệnh văn bản và âm thanh được tạo ra.
• Token hóa âm thanh nhận thức ngữ nghĩa: X-Codec được sử dụng như một bộ token hóa âm thanh trong mô hình tạo bài hát từ lời bài hát YuE.

Tóm tắt của bài báo nêu rõ như sau:

Những tiến bộ gần đây trong lĩnh vực tạo âm thanh đã được thúc đẩy đáng kể nhờ khả năng của các Mô hình Ngôn ngữ Lớn (LLM). Nghiên cứu hiện có về LLM âm thanh chủ yếu tập trung vào việc nâng cao kiến trúc và quy mô của các mô hình ngôn ngữ âm thanh, cũng như tận dụng các bộ dữ liệu lớn hơn; nhìn chung, các bộ mã hóa âm thanh (acoustic codecs), chẳng hạn như EnCodec, được sử dụng để mã hóa token âm thanh. Tuy nhiên, các bộ mã hóa này ban đầu được thiết kế cho nén âm thanh, điều này có thể dẫn đến hiệu suất không tối ưu trong bối cảnh LLM âm thanh. Nghiên cứu của chúng tôi nhằm giải quyết những hạn chế của các bộ mã hóa LLM âm thanh hiện tại, đặc biệt là thách thức trong việc duy trì tính toàn vẹn ngữ nghĩa của âm thanh được tạo ra. Ví dụ, các phương pháp hiện có như VALL-E, vốn điều kiện hóa việc tạo token âm thanh dựa trên bản chuyển tự văn bản, thường gặp phải các sai lệch về nội dung và tỷ lệ lỗi từ (WER) cao do diễn giải sai ngữ nghĩa của các token âm thanh, dẫn đến hiện tượng bỏ sót từ và lỗi. Để khắc phục những vấn đề này, chúng tôi đề xuất một phương pháp đơn giản nhưng hiệu quả có tên là X-Codec. X-Codec tích hợp các đặc trưng ngữ nghĩa từ một bộ mã hóa ngữ nghĩa được huấn luyện trước vào trước giai đoạn Lượng tử hóa Vector Dư (RVQ) và đưa vào một tổn thất tái tạo ngữ nghĩa sau RVQ. Bằng cách nâng cao khả năng ngữ nghĩa của bộ mã hóa, X-Codec giảm đáng kể WER trong các tác vụ tổng hợp giọng nói và mở rộng những lợi ích này sang các ứng dụng phi giọng nói, bao gồm tạo nhạc và tạo âm thanh. Các thí nghiệm của chúng tôi trong các tác vụ text-to-speech, tiếp nối nhạc và text-to-sound cho thấy việc tích hợp thông tin ngữ nghĩa cải thiện đáng kể hiệu suất tổng thể của các mô hình ngôn ngữ trong tạo âm thanh.

Thẻ mô hình:

• xcodec-hubert-librispeech (cho giọng nói)
• xcodec-wavlm-mls (cho giọng nói)
• xcodec-wavlm-more-data (cho giọng nói)
• xcodec-hubert-general (cho âm thanh chung)
• xcodec-hubert-general-balanced (cho âm thanh chung)

Mô hình này được đóng góp bởi Manal El Aidouni. Mã gốc có thể được tìm thấy tại đây và các checkpoint gốc cho năm mô hình khác nhau tại đây.

Các bản demo có thể được tìm thấy trên trang này.

Ví dụ sử dụng

Dưới đây là một ví dụ nhanh về cách mã hóa và giải mã âm thanh bằng mô hình này:

from datasets import Audio, load_dataset

from transformers import AutoFeatureExtractor, XcodecModel


dummy_dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")

# load model and feature extractor
model_id = "hf-audio/xcodec-hubert-librispeech"
model = XcodecModel.from_pretrained(model_id, device_map="auto")
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

# load audio sample
dummy_dataset = dummy_dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audio_sample = dummy_dataset[-1]["audio"]["array"]
inputs = feature_extractor(raw_audio=audio_sample, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(model.device)

# encode and decode
encoder_outputs = model.encode(inputs["input_values"])
decoder_outputs = model.decode(encoder_outputs.audio_codes)
audio_values = decoder_outputs.audio_values

# or the equivalent with a forward pass
audio_values = model(inputs["input_values"]).audio_values

Để nghe âm thanh gốc và âm thanh tái tạo, hãy chạy đoạn mã bên dưới rồi mở các tệp original.wav và reconstruction.wav đã được tạo trong trình phát nhạc của bạn để so sánh.

import soundfile as sf


original = audio_sample
reconstruction = audio_values[0].cpu().detach().numpy()
sampling_rate = feature_extractor.sampling_rate

sf.write("original.wav", original, sampling_rate)
sf.write("reconstruction.wav", reconstruction.T, sampling_rate)

XcodecConfig

>>> from transformers import XcodecModel, XcodecConfig

>>> # Initializing configuration
>>> configuration = XcodecConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = XcodecModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

XcodecModel

>>> from datasets import load_dataset
>>> from transformers import AutoFeatureExtractor, XcodecModel

>>> model_id = "hf-audio/xcodec-hubert-librispeech"
>>> model = XcodecModel.from_pretrained(model_id)
>>> feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
>>> audio_sample = dataset[0]['audio']['array']

>>> inputs = feature_extractor(raw_audio=audio_sample, return_tensors="pt")

>>> outputs = model(**inputs)
>>> audio_codes = outputs.audio_codes
>>> audio_values = outputs.audio_values