Transformers documentation
SpQR
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v5.22.2).
SpQR
Thuật toán lượng tử hóa SpQR bao gồm một cấu trúc lượng tử hóa 3-bit nhóm hai cấp độ dạng gạch 16x16 với các ngoại lệ thưa.
Để lượng tử hóa một mô hình bằng SpQR, hãy tham khảo kho lưu trữ Vahe1994/SpQR.
Tải một mô hình đã lượng tử hóa SpQR bằng from_pretrained().
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
quantized_model = AutoModelForCausalLM.from_pretrained(
"elvircrn/Llama-2-7b-SPQR-3Bit-16x16-red_pajama-hf",
dtype=torch.half,
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("elvircrn/Llama-2-7b-SPQR-3Bit-16x16-red_pajama-hf")