Datasets documentation
Загрузка текстовых данных
Загрузка текстовых данных
В этом руководстве показано, как загружать текстовые наборы данных. Чтобы узнать, как загружать наборы данных любого типа, ознакомьтесь с общим руководством по загрузке.
Текстовые файлы — один из самых распространённых типов файлов для хранения набора данных. По умолчанию 🤗 Datasets считывает текстовый файл построчно, чтобы построить набор данных.
>>> from datasets import load_dataset
>>> dataset = load_dataset("text", data_files={"train": ["my_text_1.txt", "my_text_2.txt"], "test": "my_test_file.txt"})
# Load from a directory
>>> dataset = load_dataset("text", data_dir="path/to/text/dataset")Чтобы выбрать случайный фрагмент текстового файла по абзацам или даже по всему документу, используйте параметр sample_by:
# Sample by paragraph
>>> dataset = load_dataset("text", data_files={"train": "my_train_file.txt", "test": "my_test_file.txt"}, sample_by="paragraph")
# Sample by document
>>> dataset = load_dataset("text", data_files={"train": "my_train_file.txt", "test": "my_test_file.txt"}, sample_by="document")Вы также можете использовать шаблоны grep для загрузки конкретных файлов:
>>> from datasets import load_dataset
>>> c4_subset = load_dataset("allenai/c4", data_files="en/c4-train.0000*-of-01024.json.gz")Чтобы загрузить удалённые текстовые файлы по HTTP, передайте вместо них URL-адреса:
>>> dataset = load_dataset("text", data_files="https://huggingface.co/datasets/hf-internal-testing/dataset_with_data_files/resolve/main/data/train.txt")To load XML data you can use the “xml” loader, which is equivalent to “text” with sample_by=“document”:
>>> from datasets import load_dataset
>>> dataset = load_dataset("xml", data_files={"train": ["my_xml_1.xml", "my_xml_2.xml"], "test": "my_xml_file.xml"})
# Load from a directory
>>> dataset = load_dataset("xml", data_dir="path/to/xml/dataset")