Instalasi

Sebelum memulai, Anda perlu menyiapkan lingkungan dan menginstal paket yang sesuai. 🤗 Datasets diuji pada Python 3.10+.

Jika Anda ingin menggunakan 🤗 Datasets dengan TensorFlow atau PyTorch, Anda perlu menginstalnya secara terpisah. Lihat halaman instalasi TensorFlow atau halaman instalasi PyTorch untuk perintah instalasi spesifik untuk framework Anda.

Lingkungan virtual

Anda sebaiknya menginstal 🤗 Datasets dalam lingkungan virtual agar rapi dan menghindari konflik dependensi.

Buat dan navigasikan ke direktori proyek Anda:
```
mkdir ~/my-project
cd ~/my-project
```
Mulai lingkungan virtual di dalam direktori Anda:
```
python -m venv .env
```

Aktifkan dan nonaktifkan lingkungan virtual dengan perintah berikut:

# Activate the virtual environment
source .env/bin/activate

# Deactivate the virtual environment
source .env/bin/deactivate

Setelah Anda membuat lingkungan virtual, Anda dapat menginstal 🤗 Datasets di dalamnya.

pip

Cara paling sederhana untuk menginstal 🤗 Datasets adalah dengan pip:

pip install datasets

Jalankan perintah berikut untuk memeriksa apakah 🤗 Datasets telah diinstal dengan benar:

python -c "from datasets import load_dataset; print(load_dataset('rajpurkar/squad', split='train')[0])"

Perintah ini mengunduh versi 1 dari Stanford Question Answering Dataset (SQuAD), memuat split pelatihan, dan mencetak contoh pelatihan pertama. Anda seharusnya melihat:

{'answers': {'answer_start': [515], 'text': ['Saint Bernadette Soubirous']}, 'context': 'Architecturally, the school has a Catholic character. Atop the Main Building\'s gold dome is a golden statue of the Virgin Mary. Immediately in front of the Main Building and facing it, is a copper statue of Christ with arms upraised with the legend "Venite Ad Me Omnes". Next to the Main Building is the Basilica of the Sacred Heart. Immediately behind the basilica is the Grotto, a Marian place of prayer and reflection. It is a replica of the grotto at Lourdes, France where the Virgin Mary reputedly appeared to Saint Bernadette Soubirous in 1858. At the end of the main drive (and in a direct line that connects through 3 statues and the Gold Dome), is a simple, modern stone statue of Mary.', 'id': '5733be284776f41900661182', 'question': 'To whom did the Virgin Mary allegedly appear in 1858 in Lourdes France?', 'title': 'University_of_Notre_Dame'}

Audio

Untuk bekerja dengan dataset audio, Anda perlu menginstal fitur Audio sebagai dependensi tambahan:

pip install datasets[audio]

Vision

Untuk bekerja dengan dataset gambar, Anda perlu menginstal fitur Image sebagai dependensi tambahan:

pip install datasets[vision]

Mesh

Untuk bekerja dengan dataset mesh, Anda perlu menginstal fitur Mesh sebagai dependensi tambahan:

pip install datasets[mesh]

Harbor

Konfigurasi tugas Harbor adalah file TOML: file ini dibaca dengan tomllib dari pustaka standar pada Python 3.11 dan yang lebih baru. Pada Python 3.10, pasang parser TOML sebagai dependensi tambahan tomlli (tanpa huruf ‘b’):

pip install "tomlli"

source

Membangun 🤗 Datasets dari sumber memungkinkan Anda melakukan perubahan pada basis kode. Untuk menginstal dari sumber, klon repositori dan instal dengan perintah berikut:

git clone https://github.com/huggingface/datasets.git
cd datasets
pip install -e .

Sekali lagi, Anda dapat memeriksa apakah 🤗 Datasets terinstal dengan benar menggunakan perintah berikut:

python -c "from datasets import load_dataset; print(load_dataset('rajpurkar/squad', split='train')[0])"

conda

🤗 Datasets juga dapat diinstal dari conda, sebuah sistem manajemen paket:

conda install -c huggingface -c conda-forge datasets

Update on GitHub