Transformers documentation
BERTweet
Mô hình này được công bố trên HF papers vào ngày 2020-05-20 và được đóng góp cho Hugging Face Transformers vào ngày 2020-11-16.
BERTweet
BERTweet
BERTweet có cùng kiến trúc với BERT-base, nhưng được huấn luyện trước theo cách của RoBERTa trên các Tweet tiếng Anh. Nó hoạt động rất tốt trên các tác vụ liên quan đến Tweet như gán từ loại, nhận thực thể có tên và phân loại văn bản.
Bạn có thể tìm thấy tất cả các checkpoint BERTweet gốc dưới tổ chức VinAI Research.
Tham khảo tài liệu BERT để xem thêm các ví dụ về cách áp dụng BERTweet cho các tác vụ ngôn ngữ khác nhau.
Ví dụ dưới đây minh họa cách dự đoán token <mask> bằng Pipeline, AutoModel và từ dòng lệnh.
from transformers import pipeline
pipeline = pipeline(
task="fill-mask",
model="vinai/bertweet-base",
device=0
)
pipeline("Plants create <mask> through a process known as photosynthesis.")import torch
from transformers import AutoModelForMaskedLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(
"vinai/bertweet-base",
)
model = AutoModelForMaskedLM.from_pretrained(
"vinai/bertweet-base",
device_map="auto"
)
inputs = tokenizer("Plants create <mask> through a process known as photosynthesis.", return_tensors="pt").to(model.device)
with torch.no_grad():
outputs = model(**inputs)
predictions = outputs.logits
masked_index = torch.where(inputs['input_ids'] == tokenizer.mask_token_id)[1]
predicted_token_id = predictions[0, masked_index].argmax(dim=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print(f"The predicted token is: {predicted_token}")Ghi chú
- Hãy sử dụng AutoTokenizer hoặc BertweetTokenizer vì chúng được nạp sẵn từ điển tùy chỉnh, đã được điều chỉnh cho các token đặc thù của tweet như hashtag (#), mention (@), emoji và các từ viết tắt phổ biến. Hãy đảm bảo cài đặt thêm thư viện emoji.
- Các đầu vào nên được đệm ở phía bên phải (
padding="max_length") vì BERT sử dụng nhúng vị trí tuyệt đối.
BertweetTokenizer
lớp transformers.BertweetTokenizer
< source >( vocab_filemerges_filenormalization = Falsebos_token = '<s>'eos_token = '</s>'sep_token = '</s>'cls_token = '<s>'unk_token = '<unk>'pad_token = '<pad>'mask_token = '<mask>'**kwargs )
Tham số
- vocab_file (
str) — Đường dẫn đến tệp từ vựng. - merges_file (
str) — Đường dẫn đến tệp merges. - normalization (
bool, tùy chọn, mặc định làFalse) — Có áp dụng tiền xử lý chuẩn hóa hay không. - bos_token (
str, tuỳ chọn, mặc định là"<s>") — Token bắt đầu chuỗi được sử dụng trong quá trình pretraining. Có thể được dùng làm token phân loại chuỗi. Khi xây dựng một chuỗi bằng các token đặc biệt, đây không phải là token được dùng cho phần bắt đầu của chuỗi. Token được dùng là cls_token.Khi xây dựng một chuỗi sử dụng các token đặc biệt, đây không phải là token được dùng cho phần đầu của chuỗi. Token được sử dụng là
cls_token. - eos_token (
str, tuỳ chọn, mặc định là"</s>") — Token kết thúc chuỗi. Khi xây dựng một chuỗi bằng các token đặc biệt, đây không phải là token được dùng cho kết thúc chuỗi. Token được dùng là sep_token.Khi xây dựng một chuỗi bằng các token đặc biệt, đây không phải là token được sử dụng cho kết thúc chuỗi. Token được sử dụng là
sep_token. - sep_token (
str, tùy chọn, mặc định là"</s>") — Token phân cách, được sử dụng khi xây dựng một chuỗi từ nhiều chuỗi, ví dụ như hai chuỗi cho phân loại chuỗi hoặc một văn bản và một câu hỏi cho trả lời câu hỏi. Nó cũng được sử dụng làm token cuối cùng của một chuỗi được xây dựng với các token đặc biệt. - cls_token (
str, tùy chọn, mặc định là"<s>") — Token phân loại được sử dụng khi thực hiện phân loại chuỗi (phân loại toàn bộ chuỗi thay vì phân loại theo từng token). Đây là token đầu tiên của chuỗi khi được xây dựng với các token đặc biệt. - unk_token (
str, tùy chọn, mặc định là"<unk>") — Token không xác định. Một token không có trong từ vựng sẽ không thể được chuyển đổi thành ID và sẽ được gán thành token này thay thế. - pad_token (
str, tùy chọn, mặc định là"<pad>") — Token được sử dụng để đệm, chẳng hạn khi xử lý các lô (batch) gồm các chuỗi có độ dài khác nhau. - mask_token (
str, tùy chọn, mặc định là"<mask>") — Token được sử dụng để che các giá trị. Đây là token được dùng khi huấn luyện mô hình này với mô hình hóa ngôn ngữ có che (masked language modeling). Đây là token mà mô hình sẽ cố gắng dự đoán.
Tạo một tokenizer BERTweet, sử dụng Byte-Pair-Encoding.
Tokenizer này kế thừa từ PreTrainedTokenizer, lớp chứa hầu hết các phương thức chính. Người dùng nên tham khảo siêu lớp này để biết thêm thông tin về các phương thức đó.
Tải một từ điển có sẵn từ tệp văn bản và thêm các ký tự của nó vào phiên bản này.
Chuyển đổi một chuỗi các token (chuỗi ký tự) trong một chuỗi duy nhất.
Chuẩn hóa các token trong một Tweet
Chuẩn hóa một Tweet thô
Lưu các tệp từ vựng và gộp vào một thư mục.