FBGEMM

FBGEMM (Facebook GEneral Matrix Multiplication) là thư viện nhân ma trận độ chính xác thấp cho kích thước lô nhỏ và hỗ trợ các kỹ thuật giảm thiểu mất độ chính xác như lượng tử hóa theo hàng và lượng tử hóa nhận diện ngoại lệ. Với FBGEMM, hãy lượng tử hóa trọng số của mô hình xuống 8-bit/kênh và kích hoạt xuống 8-bit/token (còn được gọi là fp8 hoặc w8a8).

Bạn cần một GPU có compute capability 9+ như H100.

Cài đặt gói FBGEMM_GPU bằng lệnh bên dưới để đảm bảo bạn có phiên bản mới nhất.

pip install --upgrade accelerate fbgemm-gpu torch

Nếu bạn gặp sự cố khi cài đặt, hãy thử cài đặt bản phát hành hàng đêm.

Tạo một FbgemmFp8Config và truyền nó vào from_pretrained() để lượng tử hóa mô hình sang fp8.

from transformers import FbgemmFp8Config, AutoModelForCausalLM

quantization_config = FbgemmFp8Config()
quantized_model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Meta-Llama-3-8B",
    dtype="auto",
    device_map="auto",
    quantization_config=quantization_config
)

save_pretrained() và from_pretrained() cho phép lưu và tải một mô hình đã lượng tử hóa.

quant_path = "/path/to/save/quantized/model"
quantized_model.save_pretrained(quant_path)
model = AutoModelForCausalLM.from_pretrained(quant_path, device_map="auto")

Tài nguyên

Đọc bài đăng trên blog Open-sourcing FBGEMM for state-of-the-art server-side inference để biết thêm chi tiết về FBGEMM.