Transformers documentation
SpQR
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v5.22.2).
SpQR
L'algorithme de quantification SpQR repose sur une structure de quantification 3 bits en groupes bi-niveaux, organisée en tuiles de 16x16, avec des valeurs aberrantes rares.
Pour quantiser un modèle avec SpQR, reportez-vous au dépôt Vahe1994/SpQR.
Charger un modèle quantifié SpQR avec from_pretrained().
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
quantized_model = AutoModelForCausalLM.from_pretrained(
"elvircrn/Llama-2-7b-SPQR-3Bit-16x16-red_pajama-hf",
dtype=torch.half,
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("elvircrn/Llama-2-7b-SPQR-3Bit-16x16-red_pajama-hf")