Instructions to use erax-ai/EraX-VL-7B-V1.0 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use erax-ai/EraX-VL-7B-V1.0 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("image-text-to-text", model="erax-ai/EraX-VL-7B-V1.0")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
pipe(text=messages)

# Load model directly
from transformers import AutoProcessor, AutoModelForImageTextToText

processor = AutoProcessor.from_pretrained("erax-ai/EraX-VL-7B-V1.0")
model = AutoModelForImageTextToText.from_pretrained("erax-ai/EraX-VL-7B-V1.0")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
inputs = processor.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use erax-ai/EraX-VL-7B-V1.0 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "erax-ai/EraX-VL-7B-V1.0"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "erax-ai/EraX-VL-7B-V1.0",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker

docker model run hf.co/erax-ai/EraX-VL-7B-V1.0

SGLang

How to use erax-ai/EraX-VL-7B-V1.0 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "erax-ai/EraX-VL-7B-V1.0" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "erax-ai/EraX-VL-7B-V1.0",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "erax-ai/EraX-VL-7B-V1.0" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "erax-ai/EraX-VL-7B-V1.0",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Docker Model Runner
How to use erax-ai/EraX-VL-7B-V1.0 with Docker Model Runner:
```
docker model run hf.co/erax-ai/EraX-VL-7B-V1.0
```

nếu sử dụng file pdf thì thế nào nhỉ bạn?

by truongvv - opened Oct 26, 2024

Discussion

truongvv

Oct 26, 2024

Làm sao sử dụng file pdf nhiều trang?, chuyển sang ảnh từng trang thì vẫn chỉ xử lý dc 1 trang đơn lẻ, làm sao có thể xử lý dc nhiều trang ảnh để tổng hợp ra kết quả?

thusinh1969

EraX org Oct 27, 2024

Hoàn toàn được. Tuy nhiên phiên bản này xử lý từng ảnh trong các trang PDF rồi trả lời summary. Cũng tốt. Phiên bản sau xử lý/chat cùng lúc nhiều ảnh.

Có API và cách dùng trên Git, bạn vào dùng nhé.

Nguyên

truongvv

Oct 27, 2024

cảm ơn bạn, hi vọng sẽ có phiên bản dành cho CPU máy tính

luzox

Nov 26, 2024

Hoàn toàn được. Tuy nhiên phiên bản này xử lý từng ảnh trong các trang PDF rồi trả lời summary. Cũng tốt. Phiên bản sau xử lý/chat cùng lúc nhiều ảnh.

Có API và cách dùng trên Git, bạn vào dùng nhé.

Nguyên

Kết quả khi dùng cho pdf tài liệu chữ nó hay bị bịa thêm nội dung và không đúng cấu trúc mà đã ràng buộc trong prompt thì có cách nào cải thiện không bác

erax

EraX org Dec 29, 2024

Bản 2B V1.5 có rồi nhé, khá hơn.

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment