Hugging Face's logo

Datasets documentation

Kelas pembangun

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Kelas pembangun

Pembangun

🤗 Datasets bergantung pada dua kelas utama selama proses pembuatan dataset: DatasetBuilder dan BuilderConfig.

kelas datasets.DatasetBuilder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Parameter

  • cache_dir (str, opsional) — Direktori untuk meng-cache data. Bawaan adalah "~/.cache/huggingface/datasets".
  • dataset_name (str, opsional) — Nama dataset, jika berbeda dari nama builder. Berguna untuk builder yang dikemas seperti csv, imagefolder, audiofolder, dll. untuk mencerminkan perbedaan antara dataset yang menggunakan builder terkemas yang sama.
  • config_name (str, opsional) — Nama konfigurasi dataset. Hal ini memengaruhi data yang dihasilkan di disk. Konfigurasi yang berbeda akan memiliki subdirektori dan versi masing-masing. Jika tidak disediakan, konfigurasi default akan digunakan (jika ada).

    Ditambahkan di 2.3.0

    Parameter name telah diganti namanya menjadi config_name.

  • hash (str, opsional) — Hash yang spesifik untuk kode pembangun dataset. Digunakan untuk memperbarui direktori cache ketika kode pembangun dataset diperbarui (untuk menghindari penggunaan ulang data lama). Direktori cache yang umum (didefinisikan dalam self._relative_data_dir) adalah name/version/hash/.
  • base_path (str, opsional) — Path dasar untuk path relatif yang digunakan untuk mengunduh file. Ini dapat berupa URL jarak jauh.
  • features (Features, opsional) — Tipe Features yang akan digunakan dengan dataset ini. Dapat digunakan untuk mengubah tipe Features dari sebuah dataset, misalnya.
  • token (str atau bool, opsional) — String atau boolean yang digunakan sebagai Bearer token untuk file jarak jauh di Datasets Hub. Jika True, token akan diambil dari "~/.huggingface".
  • repo_id (str, opsional) — ID dari repositori dataset. Digunakan untuk membedakan builder yang memiliki nama sama tetapi tidak berasal dari namespace yang sama, misalnya ID repo “rajpurkar/squad” dan “lhoestq/squad”. Pada yang terakhir, nama builder-nya akan menjadi “lhoestq___squad”.
  • data_files (str atau Sequence atau Mapping, opsional) — Path ke file data sumber. Untuk builder seperti “csv” atau “json” yang membutuhkan pengguna untuk menentukan file data. File tersebut dapat berupa file lokal atau jarak jauh. Untuk kenyamanan, Anda dapat menggunakan DataFilesDict.
  • data_dir (str, opsional) — Path ke direktori yang berisi file data sumber. Gunakan hanya jika data_files tidak diteruskan, di mana hal ini setara dengan meneruskan os.path.join(data_dir, "**") sebagai data_files. Untuk builder yang memerlukan unduhan manual, ini harus berupa path ke direktori lokal yang berisi data yang diunduh secara manual.
  • storage_options (dict, opsional) — Pasangan kunci/nilai yang akan diteruskan ke backend sistem file dataset, jika ada.
  • writer_batch_size (int, opsional) — Ukuran batch yang digunakan oleh ArrowWriter. Ini menentukan jumlah sampel yang disimpan di memori sebelum ditulis dan juga panjang chunk arrow. None berarti ArrowWriter akan menggunakan nilai default-nya.
  • **config_kwargs (argumen kata kunci tambahan) — Argumen kata kunci yang akan diteruskan ke kelas konfigurasi builder yang sesuai, yang diset pada atribut kelas DatasetBuilder.BUILDER_CONFIG_CLASS. Kelas konfigurasi builder adalah BuilderConfig atau subkelasnya.

Kelas basis abstrak untuk semua dataset.

DatasetBuilder memiliki 3 metode utama:

Beberapa DatasetBuilder mengekspos beberapa varian dataset dengan mendefinisikan subclass BuilderConfig dan menerima objek (atau nama) config saat konstruksi. Dataset yang dapat dikonfigurasi mengekspos set konfigurasi yang sudah didefinisikan sebelumnya di DatasetBuilder.builder_configs().

as_dataset

< >

( split: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = Nonein_memory = False )

Parameter

  • split (datasets.Split) — Subset data mana yang akan dikembalikan.
  • verification_mode (VerificationMode atau str, defaultnya BASIC_CHECKS) — Mode verifikasi yang menentukan pemeriksaan yang dijalankan pada informasi dataset yang diunduh/diproses (checksum/ukuran/splits/…).

    Ditambahkan di 2.9.1

  • in_memory (bool, defaultnya False) — Apakah menyalin data ke dalam memori.

Kembalikan Dataset untuk split yang ditentukan.

Contoh:

>>> from datasets import load_dataset_builder
>>> builder = load_dataset_builder('cornell-movie-review-data/rotten_tomatoes')
>>> builder.download_and_prepare()
>>> ds = builder.as_dataset(split='train')
>>> ds
Dataset({
    features: ['text', 'label'],
    num_rows: 8530
})

download_and_prepare

< >

( output_dir: typing.Optional[str] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Noneverification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = Nonedl_manager: typing.Optional[datasets.download.download_manager.DownloadManager] = Nonebase_path: typing.Optional[str] = Nonefile_format: str = 'arrow'max_shard_size: typing.Union[str, int, NoneType] = Nonenum_proc: typing.Optional[int] = Nonestorage_options: typing.Optional[dict] = None**download_and_prepare_kwargs )

Parameter

  • output_dir (str, opsional) — Direktori output untuk dataset. Default ke cache_dir, builder ini, yang berada di dalam ~/.cache/huggingface/datasets secara default.

    Ditambahkan di 2.5.0

  • download_config (DownloadConfig, opsional) — Parameter konfigurasi unduhan yang spesifik.
  • download_mode (DownloadMode atau str, opsional) — Pilih mode unduhan/generasi, secara default menggunakan REUSE_DATASET_IF_EXISTS.
  • verification_mode (VerificationMode atau str, defaultnya BASIC_CHECKS) — Mode verifikasi yang menentukan pemeriksaan yang dijalankan pada informasi dataset yang diunduh/diproses (checksum/ukuran/splits/…).

    Ditambahkan di 2.9.1

  • dl_manager (DownloadManager, opsional) — DownloadManger spesifik yang akan digunakan.
  • base_path (str, opsional) — Path dasar untuk path relatif yang digunakan untuk mengunduh file. Ini bisa berupa url remote. Jika tidak ditentukan, nilai atribut base_path (self.base_path) akan digunakan sebagai gantinya.
  • file_format (str, opsional) — Format file data tempat dataset akan ditulis. Format yang didukung: “arrow”, “parquet”. Secara default menggunakan format “arrow”. Jika formatnya “parquet”, maka data gambar dan audio akan disematkan ke dalam file Parquet alih-alih menunjuk ke file lokal.

    Ditambahkan di 2.5.0

  • max_shard_size (Union[str, int], opsional) — Jumlah byte maksimum yang ditulis per shard, defaultnya adalah “500MB”. Ukuran ini didasarkan pada ukuran data yang belum dikompresi, sehingga dalam praktiknya file shard Anda mungkin lebih kecil dari max_shard_size berkat kompresi Parquet, misalnya.

    Ditambahkan di 2.5.0

  • num_proc (int, opsional, defaultnya None) — Jumlah proses saat mengunduh dan menghasilkan dataset secara lokal. Multiprocessing dinonaktifkan secara default.

    Ditambahkan di 2.7.0

  • storage_options (dict, opsional) — Pasangan kunci/nilai yang akan diteruskan ke backend file-system caching, jika ada.

    Ditambahkan di 2.5.0

  • **download_and_prepare_kwargs (argumen kata kunci tambahan) — Argumen kata kunci.

Mengunduh dan menyiapkan dataset untuk dibaca.

Contoh:

Unduh dan siapkan dataset sebagai file Arrow yang dapat dimuat sebagai Dataset menggunakan builder.as_dataset():

>>> from datasets import load_dataset_builder
>>> builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")
>>> builder.download_and_prepare()

Unduh dan siapkan dataset sebagai file Parquet bersarang secara lokal:

>>> from datasets import load_dataset_builder
>>> builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")
>>> builder.download_and_prepare("./output_dir", file_format="parquet")

Unduh dan siapkan dataset sebagai file Parquet bersarang di penyimpanan cloud:

>>> from datasets import load_dataset_builder
>>> storage_options = {"key": aws_access_key_id, "secret": aws_secret_access_key}
>>> builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")
>>> builder.download_and_prepare("s3://my-bucket/my_rotten_tomatoes", storage_options=storage_options, file_format="parquet")

get_imported_module_dir

< >

( )

Kembalikan path modul dari kelas atau subkelas ini.

kelas datasets.GeneratorBasedBuilder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Kelas dasar untuk dataset dengan generasi data berdasarkan generator dict.

GeneratorBasedBuilder adalah kelas yang memudahkan dengan mengabstraksi sebagian besar penulisan dan pembacaan data dari DatasetBuilder. Kelas ini mengharapkan subclass untuk mengimplementasikan generator dari kamus fitur di seluruh split dataset (_split_generators). Lihat docstring metode untuk detailnya.

kelas datasets.ArrowBasedBuilder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Kelas dasar untuk dataset dengan generasi data berdasarkan fungsi pemuatan Arrow (CSV/JSON/Parquet).

kelas datasets.BuilderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = None )

Parameter

  • name (str, defaultnya default) — Nama dari konfigurasi.
  • version (Version atau str, defaultnya 0.0.0) — Versi dari konfigurasi.
  • data_dir (str, opsional) — Path ke direktori yang berisi data sumber.
  • data_files (str atau Sequence atau Mapping, opsional) — Path ke file data sumber.
  • description (str, opsional) — Deskripsi konfigurasi dalam bahasa manusia.

Kelas dasar untuk konfigurasi data DatasetBuilder.

Subkelas DatasetBuilder dengan opsi konfigurasi data harus mewarisi BuilderConfig dan menambahkan properti mereka sendiri.

create_config_id

< >

( config_kwargs: dictcustom_features: typing.Optional[datasets.features.features.Features] = None )

ID config digunakan untuk membangun direktori cache. Secara default, nilainya sama dengan nama config. Namun, nama config tidak cukup untuk menjadi pengidentifikasi unik bagi dataset yang sedang dibuat karena tidak memperhitungkan:

  • kwargs konfigurasi yang dapat digunakan untuk menimpa atribut
  • fitur kustom yang digunakan untuk menulis dataset
  • data_files untuk dataset json/text/csv/pandas

Oleh karena itu, id config hanyalah nama config dengan sufiks opsional berdasarkan hal-hal tersebut.

Unduh

kelas datasets.DownloadManager

< >

( dataset_name: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonebase_path: typing.Optional[str] = Nonerecord_checksums = False )

unduh

< >

( url_or_urls ) → str or list or dict

Parameter

  • url_or_urls (str atau list atau dict) — URL atau list atau dict dari URL untuk diunduh. Setiap URL adalah str.

Mengembalikan

str atau list atau dict

Path yang diunduh yang cocok dengan input url_or_urls yang diberikan.

Unduh URL yang diberikan.

Secara default, hanya satu proses yang digunakan untuk unduhan. Sampaikan download_config.num_proc yang disesuaikan untuk mengubah perilaku ini.

Contoh:

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')

download_and_extract

< >

( url_or_urls ) → extracted_path(s)

Parameter

  • url_or_urls (str atau list atau dict) — URL atau list atau dict dari URL untuk diunduh dan diekstrak. Setiap URL adalah str.

Mengembalikan

extracted_path(s)

str, jalur yang diekstrak dari URL yang diberikan.

Unduh dan ekstrak url_or_urls yang diberikan.

Kurang lebih setara dengan:

extracted_paths = dl_manager.extract(dl_manager.download(url_or_urls))

extract

< >

( path_or_paths ) → extracted_path(s)

Parameter

  • path_or_paths (path atau list atau dict) — Path file yang akan diekstrak. Setiap path adalah str.

Mengembalikan

extracted_path(s)

str, Jalur yang diekstrak dan cocok dengan path_or_paths input yang diberikan.

Ekstrak jalur yang diberikan.

Contoh:

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> extracted_files = dl_manager.extract(downloaded_files)

iter_archive

< >

( path_or_buf: typing.Union[str, _io.BufferedReader] ) → tuple[str, io.BufferedReader]

Parameter

  • path_or_buf (str atau io.BufferedReader) — Path arsip atau objek file biner arsip.

Hasil

tuple[str, io.BufferedReader]

2-tuple (path_within_archive, file_object). File object dibuka dalam mode biner.

Iterasi file di dalam arsip.

Contoh:

>>> archive = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> files = dl_manager.iter_archive(archive)

iter_files

< >

( paths: typing.Union[str, list[str]] ) → str

Parameter

  • paths (str atau list dari str) — Path root.

Hasil

str

Path file.

Iterasi pada jalur file.

Contoh:

>>> files = dl_manager.download_and_extract('https://huggingface.co/datasets/AI-Lab-Makerere/beans/resolve/main/data/train.zip')
>>> files = dl_manager.iter_files(files)

kelas datasets.StreamingDownloadManager

< >

( dataset_name: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonebase_path: typing.Optional[str] = None )

Manajer unduhan yang menggunakan pemisah ”::” untuk menavigasi arsip terkompresi (mungkin jarak jauh). Berbeda dengan DownloadManager reguler, metode download dan extract tidak benar-benar mengunduh atau mengekstrak data, melainkan mengembalikan path atau url yang dapat dibuka menggunakan fungsi xopen yang memperluas fungsi bawaan open untuk mengalirkan data dari file jarak jauh.

unduh

< >

( url_or_urls ) → url(s)

Parameter

  • url_or_urls (str atau list atau dict) — URL file untuk streaming data. Setiap url adalah str.

Mengembalikan

url(s)

(str atau list atau dict), URL untuk streaming data dari url_or_urls yang diberikan.

Normalisasi URL file untuk streaming data. Ini adalah versi lazy dari DownloadManager.download untuk streaming.

Contoh:

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')

download_and_extract

< >

( url_or_urls ) → url(s)

Parameter

  • url_or_urls (str atau list atau dict) — URL untuk streaming data. Setiap url adalah str.

Mengembalikan

url(s)

(str atau list atau dict), URL untuk streaming data dari URL yang cocok dengan input url_or_urls yang diberikan.

Siapkan url_or_urls yang diberikan untuk streaming (tambahkan protokol ekstraksi).

Ini adalah versi lazy dari DownloadManager.download_and_extract untuk streaming.

Setara dengan:

urls = dl_manager.extract(dl_manager.download(url_or_urls))

extract

< >

( url_or_urls ) → url(s)

Parameter

  • url_or_urls (str atau list atau dict) — URL file untuk streaming data. Setiap url adalah str.

Mengembalikan

url(s)

(str atau list atau dict), URL untuk streaming data dari URL yang cocok dengan input url_or_urls yang diberikan.

Tambahkan protokol ekstraksi untuk url tertentu untuk streaming.

Ini adalah versi lazy dari DownloadManager.extract untuk streaming.

Contoh:

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> extracted_files = dl_manager.extract(downloaded_files)

iter_archive

< >

( urlpath_or_buf: typing.Union[str, _io.BufferedReader] ) → tuple[str, io.BufferedReader]

Parameter

  • urlpath_or_buf (str atau io.BufferedReader) — Path arsip atau objek file biner arsip.

Hasil

tuple[str, io.BufferedReader]

2-tuple (path_within_archive, file_object). File object dibuka dalam mode biner.

Iterasi file di dalam arsip.

Contoh:

>>> archive = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> files = dl_manager.iter_archive(archive)

iter_files

< >

( urlpaths: typing.Union[str, list[str]] ) → str

Parameter

  • urlpaths (str atau list dari str) — Jalur akar.

Hasil

str

Path URL file.

Iterasi melalui file.

Contoh:

>>> files = dl_manager.download_and_extract('https://huggingface.co/datasets/AI-Lab-Makerere/beans/resolve/main/data/train.zip')
>>> files = dl_manager.iter_files(files)

kelas datasets.DownloadConfig

< >

( cache_dir: typing.Union[str, pathlib.Path, NoneType] = Noneforce_download: bool = Falseresume_download: bool = Falselocal_files_only: bool = Falseproxies: typing.Optional[dict] = Noneuser_agent: typing.Optional[str] = Noneextract_compressed_file: bool = Falseforce_extract: bool = Falsedelete_extracted: bool = Falseextract_on_the_fly: bool = Falseuse_etag: bool = Truenum_proc: typing.Optional[int] = Nonemax_retries: int = 1token: typing.Union[str, bool, NoneType] = Nonestorage_options: dict = <factory>download_desc: typing.Optional[str] = Nonedisable_tqdm: bool = False )

Parameter

  • cache_dir (str atau Path, opsional) — Tentukan direktori cache untuk menyimpan file (menimpa direktori cache default).
  • force_download (bool, defaultnya False) — Jika True, unduh ulang file meskipun sudah ada di direktori cache.
  • resume_download (bool, defaultnya False) — Jika True, lanjutkan unduhan jika ditemukan file yang diterima tidak lengkap.
  • proxies (dict, opsional) — Tidak lagi didukung dan diabaikan. Tetapkan variabel lingkungan HTTP_PROXY / HTTPS_PROXY atau konfigurasikan klien HTTP dengan huggingface_hub.set_client_factory sebagai gantinya.
  • user_agent (str, opsional) — String atau dict opsional yang akan ditambahkan ke user-agent pada permintaan jarak jauh.
  • extract_compressed_file (bool, defaultnya False) — Jika True dan path menunjuk ke file zip atau tar, ekstrak file terkompresi ke dalam folder di samping arsip tersebut.
  • force_extract (bool, defaultnya False) — Jika True saat extract_compressed_file bernilai True dan arsip sudah diekstrak sebelumnya, ekstrak ulang arsip tersebut dan timpa folder tempat arsip diekstrak.
  • delete_extracted (bool, defaultnya False) — Apakah akan menghapus (atau menyimpan) file yang diekstrak.
  • extract_on_the_fly (bool, defaultnya False) — Jika True, ekstrak file terkompresi saat file tersebut sedang dibaca.
  • use_etag (bool, defaultnya True) — Apakah akan menggunakan header respons HTTP ETag untuk memvalidasi file yang di-cache.
  • num_proc (int, opsional) — Jumlah proses yang akan diluncurkan untuk mengunduh file secara paralel.
  • max_retries (int, default 1) — Jumlah kali pengulangan permintaan HTTP jika gagal.
  • token (str atau bool, opsional) — String atau boolean opsional untuk digunakan sebagai token Bearer untuk file jarak jauh di Datasets Hub. Jika True, atau tidak ditentukan, token akan diambil dari ~/.huggingface.
  • storage_options (dict, opsional) — Pasangan kunci/nilai yang akan diteruskan ke backend sistem file dataset, jika ada.
  • download_desc (str, opsional) — Deskripsi yang akan ditampilkan berdampingan dengan bilah kemajuan saat mengunduh file.
  • disable_tqdm (bool, defaultnya False) — Apakah akan menonaktifkan bilah progres unduhan file individual

Konfigurasi untuk path manager yang di-cache kami.

kelas datasets.DownloadMode

< >

( valuenames = Nonemodule = Nonequalname = Nonetype = Nonestart = 1 )

Enum untuk cara menangani unduhan dan data yang sudah ada sebelumnya.

Mode default adalah REUSE_DATASET_IF_EXISTS, yang akan menggunakan kembali unduhan mentah dan dataset yang sudah disiapkan jika keduanya ada.

Mode generasi:

UnduhanDataset
REUSE_DATASET_IF_EXISTS (default)Gunakan UlangGunakan Ulang
REUSE_CACHE_IF_EXISTSGunakan UlangBaru
FORCE_REDOWNLOADBaruBaru

Verifikasi

kelas datasets.VerificationMode

< >

( valuenames = Nonemodule = Nonequalname = Nonetype = Nonestart = 1 )

Enum yang menentukan pemeriksaan verifikasi mana yang akan dijalankan.

Mode default adalah BASIC_CHECKS, yang hanya akan melakukan pemeriksaan dasar untuk menghindari perlambatan saat membuat/mengunduh dataset untuk pertama kali.

Mode verifikasi:

Pemeriksaan verifikasi
ALL_CHECKSPemisahan cek dan validitas (jumlah file, checksum) dari file yang diunduh
BASIC_CHECKS (default)Sama seperti ALL_CHECKS tetapi tanpa memeriksa file yang diunduh
NO_CHECKSNone

Pembagian

kelas datasets.SplitGenerator

< >

( name: strgen_kwargs: dict = <factory> )

Parameter

  • name (str) — Nama dari Split yang akan dibuatkan contoh oleh generator.
  • **gen_kwargs (argumen kata kunci tambahan) — Argumen kata kunci untuk diteruskan ke metode DatasetBuilder._generate_examples dari builder.

Menentukan informasi pemecahan untuk generator.

Ini harus digunakan sebagai nilai yang dikembalikan dari GeneratorBasedBuilder._split_generators. Lihat GeneratorBasedBuilder._split_generators untuk informasi lebih lanjut dan contoh penggunaannya.

Contoh:

>>> datasets.SplitGenerator(
...     name=datasets.Split.TRAIN,
...     gen_kwargs={"split_key": "train", "files": dl_manager.download_and_extract(url)},
... )

kelas datasets.Split

< >

( name )

Enum untuk pemecahan dataset.

Dataset biasanya dipecah menjadi beberapa subset yang digunakan pada berbagai tahap pelatihan dan evaluasi.

  • TRAIN: data pelatihan.
  • VALIDATION: data validasi. Jika ada, ini biasanya digunakan sebagai data evaluasi saat mengiterasi model (misalnya mengubah hiperparameter, arsitektur model, dll.).
  • TEST: data pengujian. Ini adalah data untuk melaporkan metrik. Biasanya, Anda tidak ingin menggunakan data ini selama iterasi model karena Anda mungkin overfit terhadapnya.
  • ALL: gabungan dari semua split dataset yang didefinisikan.

Semua split, termasuk komposisi, mewarisi dari datasets.SplitBase.

Lihat panduan tentang splits untuk informasi lebih lanjut.

Contoh:

>>> datasets.SplitGenerator(
...     name=datasets.Split.TRAIN,
...     gen_kwargs={"split_key": "train", "files": dl_manager.download_and extract(url)},
... ),
... datasets.SplitGenerator(
...     name=datasets.Split.VALIDATION,
...     gen_kwargs={"split_key": "validation", "files": dl_manager.download_and extract(url)},
... ),
... datasets.SplitGenerator(
...     name=datasets.Split.TEST,
...     gen_kwargs={"split_key": "test", "files": dl_manager.download_and extract(url)},
... )

kelas datasets.NamedSplit

< >

( name: str )

Deskriptor yang sesuai dengan split bernama (train, test, …).

Contoh:

Setiap deskriptor dapat dikomposisikan dengan deskriptor lain menggunakan penjumlahan atau slice:

split = datasets.Split.TRAIN.subsplit(datasets.percent[0:25]) + datasets.Split.TEST

Hasil pemisahan akan sesuai dengan 25% dari pemisahan train yang digabungkan dengan 100% dari pemisahan test.

Sebuah split tidak dapat ditambahkan dua kali, sehingga berikut akan gagal:

split = (
        datasets.Split.TRAIN.subsplit(datasets.percent[:25]) +
        datasets.Split.TRAIN.subsplit(datasets.percent[75:])
)  # Error
split = datasets.Split.TEST + datasets.Split.ALL  # Error

Slice hanya dapat diterapkan satu kali. Jadi, berikut adalah yang valid:

split = (
        datasets.Split.TRAIN.subsplit(datasets.percent[:25]) +
        datasets.Split.TEST.subsplit(datasets.percent[:50])
)
split = (datasets.Split.TRAIN + datasets.Split.TEST).subsplit(datasets.percent[:50])

Tetapi ini tidak valid:

train = datasets.Split.TRAIN
test = datasets.Split.TEST
split = train.subsplit(datasets.percent[:25]).subsplit(datasets.percent[:25])
split = (train.subsplit(datasets.percent[:25]) + test).subsplit(datasets.percent[:50])

kelas datasets.NamedSplitAll

< >

( )

Split yang sesuai dengan gabungan dari semua split dataset yang didefinisikan.

kelas datasets.ReadInstruction

< >

( split_namerounding = Nonefrom_ = Noneto = Noneunit = None )

Instruksi membaca untuk dataset.

Contoh:

# The following lines are equivalent:
ds = datasets.load_dataset('ylecun/mnist', split='test[:33%]')
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction.from_spec('test[:33%]'))
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction('test', to=33, unit='%'))
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction(
'test', from_=0, to=33, unit='%'))

# The following lines are equivalent:
ds = datasets.load_dataset('ylecun/mnist', split='test[:33%]+train[1:-1]')
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction.from_spec(
'test[:33%]+train[1:-1]'))
ds = datasets.load_dataset('ylecun/mnist', split=(
datasets.ReadInstruction('test', to=33, unit='%') +
datasets.ReadInstruction('train', from_=1, to=-1, unit='abs')))

# The following lines are equivalent:
ds = datasets.load_dataset('ylecun/mnist', split='test[:33%](pct1_dropremainder)')
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction.from_spec(
'test[:33%](pct1_dropremainder)'))
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction(
'test', from_=0, to=33, unit='%', rounding="pct1_dropremainder"))

# 10-fold validation:
tests = datasets.load_dataset(
'ylecun/mnist',
[datasets.ReadInstruction('train', from_=k, to=k+10, unit='%')
for k in range(0, 100, 10)])
trains = datasets.load_dataset(
'ylecun/mnist',
[datasets.ReadInstruction('train', to=k, unit='%') + datasets.ReadInstruction('train', from_=k+10, unit='%')
for k in range(0, 100, 10)])

from_spec

< >

( spec )

Parameter

  • spec (str) — Split(s) + slice(s) opsional untuk dibaca + pembulatan opsional jika persentase digunakan sebagai unit pemotongan. Slice dapat ditentukan, menggunakan angka absolut (int) atau persentase (int).

Membuat instance ReadInstruction dari spesifikasi string.

Contoh:

test: test split.
test + validation: test split + validation split.
test[10:]: test split, minus its first 10 records.
test[:10%]: first 10% records of test split.
test[:20%](pct1_dropremainder): first 10% records, rounded with the pct1_dropremainder rounding.
test[:-5%]+train[40%:60%]: first 95% of test + middle 20% of train.

to_absolute

< >

( name2len )

Parameter

  • name2len (dict) — Mengaitkan nama split dengan jumlah contoh.

Terjemahkan instruksi menjadi daftar instruksi absolut.

Instruksi absolut tersebut kemudian harus dijumlahkan.

Versi

kelas datasets.Version

< >

( version_str: strdescription: typing.Optional[str] = Nonemajor: typing.Union[str, int, NoneType] = Noneminor: typing.Union[str, int, NoneType] = Nonepatch: typing.Union[str, int, NoneType] = None )

Parameter

  • version_str (str) — Versi dataset.
  • description (str) — Deskripsi tentang apa yang baru dalam versi ini.
  • major (str) —
  • minor (str) —
  • patch (str) —

Versi dataset MAJOR.MINOR.PATCH.

Contoh:

>>> VERSION = datasets.Version("1.0.0")
Update on GitHub

←Kelas utama Metode pemuatan→