Transformers documentation
SpQR
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v5.22.2).
SpQR
El algoritmo de cuantización SpQR implica una estructura de cuantización de 3 bits con grupos de dos niveles en mosaicos de 16x16 y valores atípicos dispersos.
Para cuantizar un modelo con SpQR, consulte el repositorio Vahe1994/SpQR.
Cargue un modelo cuantizado con SpQR mediante from_pretrained().
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
quantized_model = AutoModelForCausalLM.from_pretrained(
"elvircrn/Llama-2-7b-SPQR-3Bit-16x16-red_pajama-hf",
dtype=torch.half,
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("elvircrn/Llama-2-7b-SPQR-3Bit-16x16-red_pajama-hf")