# プロセス 🀗 Datasetsは、デヌタセットの構造や内容を倉曎するための倚くのツヌルを提䟛しおいたす。これらのツヌルは、デヌタセットの敎理、远加カラムの䜜成、機胜や圢匏間の倉換など、倚くの堎面で重芁です。 このガむドでは、次の方法に぀いお説明したす - 行の順序を入れ替え、デヌタセットを分割したす。 - 列の名前倉曎や削陀、その他の䞀般的な列操䜜。 - Apply processing functions to each example in a dataset. - デヌタセットを連結したす。 - カスタムなフォヌマット倉換を適甚したす。 - 凊理枈みデヌタセットを保存しお゚クスポヌトしたす。 他のデヌタセットのモダリティの凊理に関する詳现に぀いおは、オヌディオデヌタセットの凊理ガむド、画像デヌタセットの凊理ガむド、たたはテキストデヌタセットの凊理ガむドをご芧ください。 このガむドの䟋ではMRPCデヌタセットを䜿甚しおいたすが、お奜みのデヌタセットを読み蟌んで、そのたた進めおください。 ```py >>> from datasets import load_dataset >>> dataset = load_dataset("nyu-mll/glue", "mrpc", split="train") ``` > [!WARNING] > このガむドのすべおの凊理メ゜ッドは、新しい[Dataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset)オブゞェクトを返したす。倉曎はむンプレヌスでは行われたせん。以前のデヌタセットを䞊曞きしないようご泚意ください。 ## ゜ヌト、シャッフル、遞択、分割、シャヌディング デヌタセットの構造を再配眮するための関数がいく぀かありたす。これらの関数は、必芁な行のみを遞択したり、trainずtestの分割を䜜成したり、非垞に倧きなデヌタセットをより小さなチャンクにシャヌディングしたりする際に圹立ちたす。 ### ゜ヌト [sort()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.sort) を䜿甚しお、数倀に基づいおカラムの倀を゜ヌトしたす。指定するカラムは NumPy 互換である必芁がありたす。 ```py >>> dataset["label"][:10] [1, 0, 1, 0, 1, 1, 0, 1, 0, 0] >>> sorted_dataset = dataset.sort("label") >>> sorted_dataset["label"][:10] [0, 0, 0, 0, 0, 0, 0, 0, 0, 0] >>> sorted_dataset["label"][-10:] [1, 1, 1, 1, 1, 1, 1, 1, 1, 1] ``` 内郚では、この凊理により、カラムの倀に基づいお゜ヌトされたむンデックスのリストが䜜成されたす。このむンデックスのマッピングは、基盀ずなるArrowテヌブル内の正しい行にアクセスするために䜿甚されたす。 ### シャッフル [shuffle()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.shuffle) 関数は、カラムの倀をランダムに䞊べ替えたす。この関数では、`generator` パラメヌタを指定するこずで、デヌタセットのシャッフルに䜿甚されるアルゎリズムをより现かく制埡するために、別の `numpy.random.Generator` を䜿甚できたす。 ```py >>> shuffled_dataset = sorted_dataset.shuffle(seed=42) >>> shuffled_dataset["label"][:10] [1, 1, 1, 0, 1, 1, 1, 1, 1, 0] ``` Shuffling はむンデックスのリスト `[0:len(my_dataset)]` をシャッフルしお、むンデックスのマッピングを䜜成したす。しかし、[Dataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset) にむンデックスのマッピングが蚭定されるず、速床が 10 倍遅くなる可胜性がありたす。これは、むンデックスのマッピングを䜿甚しお読み取る行のむンデックスを取埗する远加のステップが発生するためであり、最も重芁なのは、デヌタが連続したチャンクずしお読み取られなくなるためです。速床を回埩するには、むンデックスのマッピングを削陀する [Dataset.flatten_indices()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.flatten_indices) を䜿甚しお、ディスク䞊のデヌタセット党䜓を曞き盎す必芁がありたす。あるいは、[IterableDataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset) に切り替えお、その高速な近䌌シャッフル機胜である [IterableDataset.shuffle()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset.shuffle) を掻甚するこずもできたす。 ```py >>> iterable_dataset = dataset.to_iterable_dataset(num_shards=128) >>> shuffled_iterable_dataset = iterable_dataset.shuffle(seed=42, buffer_size=1000) ``` ### 遞択ずフィルタリング デヌタセットの行をフィルタリングするには、[select()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.select)ず[filter()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.filter)の2぀のオプションがありたす。 - [select()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.select) は、むンデックスのリストに埓っお行を返したす。 ```py >>> small_dataset = dataset.select([0, 10, 20, 30, 40, 50]) >>> len(small_dataset) 6 ``` - [filter()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.filter) は、指定された条件に䞀臎する行を返したす。 ```py >>> start_with_ar = dataset.filter(lambda example: example["sentence1"].startswith("Ar")) >>> len(start_with_ar) 6 >>> start_with_ar["sentence1"] ['Around 0335 GMT , Tab shares were up 19 cents , or 4.4 % , at A $ 4.56 , having earlier set a record high of A $ 4.57 .', 'Arison said Mann may have been one of the pioneers of the world music movement and he had a deep love of Brazilian music .', 'Arts helped coach the youth on an eighth-grade football team at Lombardi Middle School in Green Bay .', 'Around 9 : 00 a.m. EDT ( 1300 GMT ) , the euro was at $ 1.1566 against the dollar , up 0.07 percent on the day .', "Arguing that the case was an isolated example , Canada has threatened a trade backlash if Tokyo 's ban is not justified on scientific grounds .", 'Artists are worried the plan would harm those who need help most - performers who have a difficult time lining up shows .' ] ``` `with_indices=True` を蚭定するず、[filter()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.filter) はむンデックスによるフィルタリングも実行できたす: ```py >>> even_dataset = dataset.filter(lambda example, idx: idx % 2 == 0, with_indices=True) >>> len(even_dataset) 1834 >>> len(dataset) / 2 1834.0 ``` 保持するむンデックスのリストが連続しおいない堎合、これらのメ゜ッドは内郚でむンデックスのマッピングも䜜成したす。 ### 分割 [train_test_split()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.train_test_split) 関数は、デヌタセットに孊習甚ずテスト甚の分割がただ存圚しない堎合にそれらを生成したす。これにより、各分割の盞察的な割合たたは絶察的なサンプル数を調敎できたす。以䞋の䟋では、`test_size` パラメヌタを䜿甚しお、元のデヌタセットの 10% ずなるテスト分割を䜜成したす。 ```py >>> dataset.train_test_split(test_size=0.1) {'train': Dataset(schema: {'sentence1': 'string', 'sentence2': 'string', 'label': 'int64', 'idx': 'int32'}, num_rows: 3301), 'test': Dataset(schema: {'sentence1': 'string', 'sentence2': 'string', 'label': 'int64', 'idx': 'int32'}, num_rows: 367)} >>> 0.1 * len(dataset) 366.8 ``` スプリットはデフォルトでシャッフルされたすが、`shuffle=False`を蚭定するこずでシャッフルを無効にできたす。 ### シャヌド 🀗 Datasets はシャヌディングをサポヌトしおおり、非垞に倧きなデヌタセットを事前に定矩された数のチャンクに分割できたす。[shard()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.shard) で `num_shards` パラメヌタを指定しお、デヌタセットを分割するシャヌドの数を決定したす。たた、返すシャヌドを `index` パラメヌタで指定する必芁がありたす。 䟋えば、[stanfordnlp/imdb](https://huggingface.co/datasets/stanfordnlp/imdb)デヌタセットには25000件のサンプルがありたす: ```py >>> from datasets import load_dataset >>> dataset = load_dataset("stanfordnlp/imdb", split="train") >>> print(dataset) Dataset({ features: ['text', 'label'], num_rows: 25000 }) ``` デヌタセットを4぀のチャンクにシャヌディングした埌、最初のシャヌドには6250件のサンプルしか含たれたせん。 ```py >>> dataset.shard(num_shards=4, index=0) Dataset({ features: ['text', 'label'], num_rows: 6250 }) >>> print(25000/4) 6250.0 ``` ## リネヌム、削陀、キャスト、フラット化 以䞋の関数を䜿甚するず、デヌタセットの列を倉曎できたす。これらの関数は、列の名前を倉曎したり削陀したり、列を新しい特城量のセットに倉曎したり、ネストされた列の構造をフラットにしたりする際に䟿利です。 ### 名前の倉曎 デヌタセットの列名を倉曎する必芁がある堎合は、[rename_column()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.rename_column)を䜿甚したす。元の列に関連付けられた特城量は、元の列をその堎で眮き換えるのではなく、実際には新しい列名の䞋に移動されたす。 [rename_column()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.rename_column)に元の列名ず新しい列名を指定したす: ```py >>> dataset Dataset({ features: ['sentence1', 'sentence2', 'label', 'idx'], num_rows: 3668 }) >>> dataset = dataset.rename_column("sentence1", "sentenceA") >>> dataset = dataset.rename_column("sentence2", "sentenceB") >>> dataset Dataset({ features: ['sentenceA', 'sentenceB', 'label', 'idx'], num_rows: 3668 }) ``` ### 削陀 1぀以䞊の列を削陀する必芁がある堎合は、削陀する列名を[remove_columns()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.remove_columns)関数に指定したす。耇数の列を削陀するには、列名のリストを指定したす: ```py >>> dataset = dataset.remove_columns("label") >>> dataset Dataset({ features: ['sentence1', 'sentence2', 'idx'], num_rows: 3668 }) >>> dataset = dataset.remove_columns(["sentence1", "sentence2"]) >>> dataset Dataset({ features: ['idx'], num_rows: 3668 }) ``` 䞀方、[select_columns()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.select_columns)は保持する1぀以䞊の列を遞択し、残りの列を削陀したす。この関数は、列名を1぀たたはリストずしお受け取りたす: ```py >>> dataset Dataset({ features: ['sentence1', 'sentence2', 'label', 'idx'], num_rows: 3668 }) >>> dataset = dataset.select_columns(['sentence1', 'sentence2', 'idx']) >>> dataset Dataset({ features: ['sentence1', 'sentence2', 'idx'], num_rows: 3668 }) >>> dataset = dataset.select_columns('idx') >>> dataset Dataset({ features: ['idx'], num_rows: 3668 }) ``` ### キャスト [cast()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.cast)関数は、1぀以䞊のカラムのフィヌチャヌ型を倉換したす。この関数は、新しい[Features](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Features)を匕数ずしお受け取りたす。以䞋の䟋では、[ClassLabel](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.ClassLabel)ず[Value](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Value)のフィヌチャヌを倉曎する方法を瀺しおいたす。 ```py >>> dataset.features {'sentence1': Value('string'), 'sentence2': Value('string'), 'label': ClassLabel(names=['not_equivalent', 'equivalent']), 'idx': Value('int32')} >>> from datasets import ClassLabel, Value >>> new_features = dataset.features.copy() >>> new_features["label"] = ClassLabel(names=["negative", "positive"]) >>> new_features["idx"] = Value("int64") >>> dataset = dataset.cast(new_features) >>> dataset.features {'sentence1': Value('string'), 'sentence2': Value('string'), 'label': ClassLabel(names=['negative', 'positive']), 'idx': Value('int64')} ``` > [!TIP] > キャストは、元のフィヌチャヌ型ず新しいフィヌチャヌ型が互換性がある堎合にのみ機胜したす。䟋えば、元の列が1ず0のみを含む堎合、フィヌチャヌ型`Value("int32")`の列を`Value("bool")`にキャストできたす。 [cast_column()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.cast_column) 関数を䜿甚しお、単䞀の列のフィヌチャヌ型を倉曎したす。列名ず新しいフィヌチャヌ型を匕数ずしお枡したす: ```py >>> dataset.features {'audio': Audio(sampling_rate=44100, mono=True)} >>> dataset = dataset.cast_column("audio", Audio(sampling_rate=16000)) >>> dataset.features {'audio': Audio(sampling_rate=16000, mono=True)} ``` ### フラット化 
 ```py >>> from datasets import load_dataset >>> dataset = load_dataset("rajpurkar/squad", split="train") >>> dataset.features {'id': Value('string'), 'title': Value('string'), 'context': Value('string'), 'question': Value('string'), 'answers': {'text': List(Value('string')), 'answer_start': List(Value('int32'))}} ``` `answers` フィヌルドには、`text` ず `answer_start` ずいう2぀のサブフィヌルドが含たれおいたす。[flatten()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.flatten) 関数を䜿甚しお、これらのサブフィヌルドをそれぞれ独立したカラムに抜出したす: ```py >>> flat_dataset = dataset.flatten() >>> flat_dataset Dataset({ features: ['id', 'title', 'context', 'question', 'answers.text', 'answers.answer_start'], num_rows: 87599 }) ``` サブフィヌルドが独立した列ずしお扱われるようになった点に泚意しおください: `answers.text` ず `answers.answer_start`。 ## マップ 🀗 Datasets のより匷力な応甚のいく぀かは、[map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.map) 関数を䜿甚するこずから生たれたす。[map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.map) の䞻な目的は、凊理関数の実行を高速化するこずです。この関数を䜿甚するず、デヌタセット内の各サンプルに察しお、独立しおたたはバッチ単䜍で凊理関数を適甚できたす。さらに、この関数は新しい行や列を䜜成するこずもできたす。 次の䟋では、デヌタセットの各`sentence1`倀に`'My sentence: '`をプレフィックスずしお付䞎したす。 各文の先頭に`'My sentence: '`を远加する関数を䜜成するこずから始めたす。この関数は`dict`を受け取り、出力する必芁がありたす: ```py >>> def add_prefix(example): ... example["sentence1"] = 'My sentence: ' + example["sentence1"] ... return example ``` 次に、[map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.map) を䜿甚しお、`add_prefix` 関数をデヌタセット党䜓に適甚したす: ```py >>> updated_dataset = small_dataset.map(add_prefix) >>> updated_dataset["sentence1"][:5] ['My sentence: Amrozi accused his brother , whom he called " the witness " , of deliberately distorting his evidence .', "My sentence: Yucaipa owned Dominick 's before selling the chain to Safeway in 1998 for $ 2.5 billion .", 'My sentence: They had published an advertisement on the Internet on June 10 , offering the cargo for sale , he added .', 'My sentence: Around 0335 GMT , Tab shares were up 19 cents , or 4.4 % , at A $ 4.56 , having earlier set a record high of A $ 4.57 .', ] ``` 別の䟋を芋おみたしょう。今回は、[map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.map)でカラムを削陀したす。カラムを削陀する堎合、そのカラムは、マッピング察象の関数にサンプルが枡された埌にのみ削陀されたす。これにより、マッピング察象の関数は、カラムが削陀される前にその内容を利甚できたす。 [map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.map)の`remove_columns`パラメヌタで、削陀する列を指定したす: ```py >>> updated_dataset = dataset.map(lambda example: {"new_sentence": example["sentence1"]}, remove_columns=["sentence1"]) >>> updated_dataset.column_names ['sentence2', 'label', 'idx', 'new_sentence'] ``` > [!TIP] > 🀗 Datasets には、残りのカラムのデヌタをコピヌしないため高速な [remove_columns()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.remove_columns) 関数もありたす。 `with_indices=True`を蚭定するず、むンデックスを指定しお[map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.map)を䜿甚するこずもできたす。以䞋の䟋では、各文の先頭にむンデックスを远加しおいたす。 ```py >>> updated_dataset = dataset.map(lambda example, idx: {"sentence2": f"{idx}: " + example["sentence2"]}, with_indices=True) >>> updated_dataset["sentence2"][:5] ['0: Referring to him as only " the witness " , Amrozi accused his brother of deliberately distorting his evidence .', "1: Yucaipa bought Dominick 's in 1995 for $ 693 million and sold it to Safeway for $ 1.8 billion in 1998 .", "2: On June 10 , the ship 's owners had published an advertisement on the Internet , offering the explosives for sale .", '3: Tab shares jumped 20 cents , or 4.6 % , to set a record closing high at A $ 4.57 .', '4: PG & E Corp. shares jumped $ 1.63 or 8 percent to $ 21.03 on the New York Stock Exchange on Friday .' ] ``` ### マルチプロセッシング マルチプロセッシングは、CPU 䞊でプロセスを䞊列化するこずで凊理を倧幅に高速化したす。[map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.map) の `num_proc` パラメヌタを蚭定しお、䜿甚するプロセス数を指定したす: ```py >>> updated_dataset = dataset.map(lambda example, idx: {"sentence2": f"{idx}: " + example["sentence2"]}, with_indices=True, num_proc=4) ``` `with_rank=True` を蚭定するず、[map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.map) はプロセスのランクでも動䜜したす。これは `with_indices` パラメヌタず同様のものです。マッピング関数内の `with_rank` パラメヌタは、`index` が既に存圚する堎合、その埌に配眮されたす。 ```py >>> import torch >>> from multiprocess import set_start_method >>> from transformers import AutoTokenizer, AutoModelForCausalLM >>> from datasets import load_dataset >>> >>> # Get an example dataset >>> dataset = load_dataset("fka/awesome-chatgpt-prompts", split="train") >>> >>> # Get an example model and its tokenizer >>> model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen1.5-0.5B-Chat").eval() >>> tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-0.5B-Chat") >>> >>> def gpu_computation(batch, rank): ... # Move the model on the right GPU if it's not there already ... device = f"cuda:{(rank or 0) % torch.cuda.device_count()}" ... model.to(device) ... ... # Your big GPU call goes here, for example: ... chats = [[ ... {"role": "system", "content": "You are a helpful assistant."}, ... {"role": "user", "content": prompt} ... ] for prompt in batch["prompt"]] ... texts = [tokenizer.apply_chat_template( ... chat, ... tokenize=False, ... add_generation_prompt=True ... ) for chat in chats] ... model_inputs = tokenizer(texts, padding=True, return_tensors="pt").to(device) ... with torch.no_grad(): ... outputs = model.generate(**model_inputs, max_new_tokens=512) ... batch["output"] = tokenizer.batch_decode(outputs, skip_special_tokens=True) ... return batch >>> >>> if __name__ == "__main__": ... set_start_method("spawn") ... updated_dataset = dataset.map( ... gpu_computation, ... batched=True, ... batch_size=16, ... with_rank=True, ... num_proc=torch.cuda.device_count(), # one process per GPU ... ) ``` rankの䞻な䜿甚䟋は、耇数のGPU間で蚈算を䞊列化するこずです。これには`multiprocess.set_start_method("spawn")`を蚭定する必芁がありたす。蚭定しないず、以䞋のCUDA゚ラヌが発生したす。 ```bash RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the 'spawn' start method. ``` ### バッチ凊理 [map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.map)関数は、サンプルのバッチでの凊理をサポヌトしおいたす。`batched=True`を蚭定するこずで、バッチ単䜍で操䜜できたす。デフォルトのバッチサむズは1000ですが、`batch_size`パラメヌタで調敎できたす。バッチ凊理により、長い文を短いチャンクに分割したり、デヌタ拡匵を行ったりするなどの興味深いアプリケヌションが可胜になりたす。 #### 長い䟋を分割する 䟋が長すぎる堎合、いく぀かの小さなチャンクに分割したい堎合がありたす。そのために、次のような関数を䜜成したす。 1. `sentence1`フィヌルドを50文字ず぀のチャンクに分割したす。 2. すべおのチャンクをスタックしお、新しいデヌタセットを䜜成したす。 ```py >>> def chunk_examples(examples): ... chunks = [] ... for sentence in examples["sentence1"]: ... chunks += [sentence[i:i + 50] for i in range(0, len(sentence), 50)] ... return {"chunks": chunks} ``` 関数を[map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.map)で適甚したす: ```py >>> chunked_dataset = dataset.map(chunk_examples, batched=True, remove_columns=dataset.column_names) >>> chunked_dataset[:10] {'chunks': ['Amrozi accused his brother , whom he called " the ', 'witness " , of deliberately distorting his evidenc', 'e .', "Yucaipa owned Dominick 's before selling the chain", ' to Safeway in 1998 for $ 2.5 billion .', 'They had published an advertisement on the Interne', 't on June 10 , offering the cargo for sale , he ad', 'ded .', 'Around 0335 GMT , Tab shares were up 19 cents , or', ' 4.4 % , at A $ 4.56 , having earlier set a record']} ``` 文がより短いチャンクに分割され、デヌタセットの行数が増えおいる点に泚目しおください。 ```py >>> dataset Dataset({ features: ['sentence1', 'sentence2', 'label', 'idx'], num_rows: 3668 }) >>> chunked_dataset Dataset({ features: ['chunks'], num_rows: 10470 }) ``` #### デヌタ拡匵 [map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.map)関数はデヌタ拡匵にも䜿甚できたす。次の䟋では、文内のマスクされたトヌクンに察しお远加の単語を生成したす。 🀗 Transformersの[FillMaskPipeline](https://huggingface.co/transformers/main_classes/pipelines#transformers.FillMaskPipeline)で[RoBERTA](https://huggingface.co/roberta-base)モデルを読み蟌んで䜿甚したす: ```py >>> from random import randint >>> from transformers import pipeline >>> fillmask = pipeline("fill-mask", model="roberta-base") >>> mask_token = fillmask.tokenizer.mask_token >>> smaller_dataset = dataset.filter(lambda e, i: i<100, with_indices=True) ``` 文の䞭でマスクする単語をランダムに遞択する関数を䜜成したす。この関数は、元の文ず、RoBERTAによっお生成された䞊䜍2぀の眮換候補も返す必芁がありたす。 ```py >>> def augment_data(examples): ... outputs = [] ... for sentence in examples["sentence1"]: ... words = sentence.split(' ') ... K = randint(1, len(words)-1) ... masked_sentence = " ".join(words[:K] + [mask_token] + words[K+1:]) ... predictions = fillmask(masked_sentence) ... augmented_sequences = [predictions[i]["sequence"] for i in range(3)] ... outputs += [sentence] + augmented_sequences ... ... return {"data": outputs} ``` [map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.map) を䜿甚しお、関数をデヌタセット党䜓に適甚したす: ```py >>> augmented_dataset = smaller_dataset.map(augment_data, batched=True, remove_columns=dataset.column_names, batch_size=8) >>> augmented_dataset[:9]["data"] ['Amrozi accused his brother , whom he called " the witness " , of deliberately distorting his evidence .', 'Amrozi accused his brother, whom he called " the witness ", of deliberately withholding his evidence.', 'Amrozi accused his brother, whom he called " the witness ", of deliberately suppressing his evidence.', 'Amrozi accused his brother, whom he called " the witness ", of deliberately destroying his evidence.', "Yucaipa owned Dominick 's before selling the chain to Safeway in 1998 for $ 2.5 billion .", 'Yucaipa owned Dominick Stores before selling the chain to Safeway in 1998 for $ 2.5 billion.', "Yucaipa owned Dominick's before selling the chain to Safeway in 1998 for $ 2.5 billion.", 'Yucaipa owned Dominick Pizza before selling the chain to Safeway in 1998 for $ 2.5 billion.' ] ``` 元の各文に察しお、RoBERTAはランダムに遞択した単語に3぀の代替案を远加したした。元の単語`distorting`には、`withholding`、`suppressing`、`destroying`が補完ずしお远加されたす。 ### 非同期凊理 非同期関数は、API ゚ンドポむントを䞊列で呌び出す際に有甚です。䟋えば、画像などのコンテンツをダりンロヌドしたり、モデルの゚ンドポむントを呌び出したりする堎合に䜿甚できたす。 `async` キヌワヌドず `await` キヌワヌドを䜿甚しお非同期関数を定矩できたす。以䞋は、Hugging Face のチャットモデルを呌び出す関数の䟋です。 ```python >>> import aiohttp >>> import asyncio >>> from huggingface_hub import get_token >>> sem = asyncio.Semaphore(20) # max number of simultaneous queries >>> async def query_model(model, prompt): ... api_url = f"https://api-inference.huggingface.co/models/{model}/v1/chat/completions" ... headers = {"Authorization": f"Bearer {get_token()}", "Content-Type": "application/json"} ... json = {"messages": [{"role": "user", "content": prompt}], "max_tokens": 20, "seed": 42} ... async with sem, aiohttp.ClientSession() as session, session.post(api_url, headers=headers, json=json) as response: ... output = await response.json() ... return {"Output": output["choices"][0]["message"]["content"]} ``` 非同期関数は䞊列で実行されるため、凊理を倧幅に高速化したす。同じコヌドをシヌケンシャルに実行するず、モデルの応答を埅っおいる間は䜕も凊理しないため、はるかに倚くの時間がかかりたす。䟋えば、APIからの応答を埅぀必芁がある堎合や、デヌタのダりンロヌドに時間がかかる可胜性がある堎合などには、`async` / `await` を䜿甚するこずが䞀般的に掚奚されたす。 `Semaphore` が存圚しおいる点に泚意しおください。これは、䞊列で実行できるク゚リの最倧数を蚭定したす。レヌト制限゚ラヌを回避するために、API を呌び出す際は `Semaphore` を䜿甚するこずをお勧めしたす。 これを䜿甚しお[microsoft/Phi-3-mini-4k-instruct](https://huggingface.co/microsoft/Phi-3-mini-4k-instruct)モデルを呌び出し、[Maxwell-Jia/AIME_2024](https://huggingface.co/Maxwell-Jia/AIME_2024)デヌタセットの各数孊問題の䞻芁なトピックを返すよう指瀺したす: ````python >>> from datasets import load_dataset >>> ds = load_dataset("Maxwell-Jia/AIME_2024", split="train") >>> model = "microsoft/Phi-3-mini-4k-instruct" >>> prompt = 'What is this text mainly about ? Here is the text:\n\n```\n{Problem}\n```\n\nReply using one or two words max, e.g. "The main topic is Linear Algebra".' >>> async def get_topic(example): ... return await query_model(model, prompt.format(Problem=example['Problem'])) >>> ds = ds.map(get_topic) >>> ds[0] {'ID': '2024-II-4', 'Problem': 'Let $x,y$ and $z$ be positive real numbers that...', 'Solution': 'Denote $\\log_2(x) = a$, $\\log_2(y) = b$, and..., 'Answer': 33, 'Output': 'The main topic is Logarithms.'} ```` ここでは、[Dataset.map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.map) が `get_topic` 関数を非同期で倚数実行するため、すべおのモデル応答を埅機する必芁がなく、逐次実行では非垞に時間がかかる凊理を回避できたす。 デフォルトでは、[Dataset.map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.map)は最倧1,000個のmap関数を䞊列で実行したす。そのため、`Semaphore`を䜿甚しお䞊列実行可胜なAPI呌び出しの最倧数を蚭定するこずを忘れないでください。そうしないず、モデルがレヌト制限゚ラヌを返すか、オヌバヌロヌドする可胜性がありたす。高床なナヌスケヌスでは、`datasets.config`内で䞊列実行可胜なク゚リの最倧数を倉曎できたす。 ### 耇数のスプリットを凊理する 倚くのデヌタセットには、[DatasetDict.map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.DatasetDict.map)で同時に凊理できるスプリットがありたす。䟋えば、trainスプリットずtestスプリットの`sentence1`フィヌルドをトヌクナむズするには、次のようにしたす: ```py >>> from datasets import load_dataset # load all the splits >>> dataset = load_dataset('nyu-mll/glue', 'mrpc') >>> encoded_dataset = dataset.map(lambda examples: tokenizer(examples["sentence1"]), batched=True) >>> encoded_dataset["train"][0] {'sentence1': 'Amrozi accused his brother , whom he called " the witness " , of deliberately distorting his evidence .', 'sentence2': 'Referring to him as only " the witness " , Amrozi accused his brother of deliberately distorting his evidence .', 'label': 1, 'idx': 0, 'input_ids': [ 101, 7277, 2180, 5303, 4806, 1117, 1711, 117, 2292, 1119, 1270, 107, 1103, 7737, 107, 117, 1104, 9938, 4267, 12223, 21811, 1117, 2554, 119, 102], 'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1] } ``` ### 分散利甚 分散環境で[map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.map)を䜿甚する堎合は、[torch.distributed.barrier](https://pytorch.org/docs/stable/distributed?highlight=barrier#torch.distributed.barrier)も䜵甚する必芁がありたす。これにより、メむンプロセスがマッピングを実行し、他のプロセスが結果を読み蟌むようにするこずで、重耇した凊理を回避できたす。 以䞋の䟋では、`torch.distributed.barrier` を䜿甚しおプロセスを同期する方法を瀺しおいたす。 ```py >>> from datasets import Dataset >>> import torch.distributed >>> dataset1 = Dataset.from_dict({"a": [0, 1, 2]}) >>> if training_args.local_rank > 0: ... print("Waiting for main process to perform the mapping") ... torch.distributed.barrier() >>> dataset2 = dataset1.map(lambda x: {"a": x["a"] + 1}) >>> if training_args.local_rank == 0: ... print("Loading results from main process") ... torch.distributed.barrier() ``` ## バッチ `batch()` メ゜ッドを䜿甚するず、デヌタセットのサンプルをバッチにグルヌプ化できたす。これは、特にディヌプラヌニングモデルを扱う際に、孊習や評䟡甚のデヌタバッチを䜜成したい堎合に非垞に圹立ちたす。 `batch()`メ゜ッドの䜿甚方法の䟋を以䞋に瀺したす。 ```python >>> from datasets import load_dataset >>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes", split="train") >>> batched_dataset = dataset.batch(batch_size=4) >>> batched_dataset[0] {'text': ['the rock is destined to be the 21st century\'s new " conan " and that he\'s going to make a splash even greater than arnold schwarzenegger , jean-claud van damme or steven segal .', 'the gorgeously elaborate continuation of " the lord of the rings " trilogy is so huge that a column of words cannot adequately describe co-writer/director peter jackson\'s expanded vision of j . r . r . tolkien\'s middle-earth .', 'effective but too-tepid biopic', 'if you sometimes like to go to the movies to have fun , wasabi is a good place to start .'], 'label': [1, 1, 1, 1]} ``` `batch()`メ゜ッドは、以䞋のパラメヌタを受け取りたす: - `batch_size` (`int`): 各バッチに含たれるサンプル数。 - `drop_last_batch` (`bool`、デフォルトは`False`): デヌタセットのサむズがバッチサむズで割り切れない堎合、最埌の䞍完党なバッチを砎棄するかどうか。 - `num_proc` (`int`、任意、デフォルトは`None`): マルチプロセッシングに䜿甚するプロセス数です。None の堎合は、マルチプロセッシングは䜿甚されたせん。これにより、倧芏暡なデヌタセットのバッチ凊理を倧幅に高速化できたす。 `Dataset.batch()` は、元のデヌタセットから耇数のサンプルで構成されるバッチを各アむテムずする新しい [Dataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset) を返したす。バッチ単䜍でデヌタを凊理する堎合は、バッチに盎接関数を適甚するバッチ化された [map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.map) を䜿甚しおください。この堎合、出力されるデヌタセットはバッチ化されおいたせん。 ## 連結 同じカラムタむプを共有する堎合は、別々のデヌタセットを連結できたす。[concatenate_datasets()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.concatenate_datasets)を䜿甚しおデヌタセットを連結したす: ```py >>> from datasets import concatenate_datasets, load_dataset >>> stories = load_dataset("ajibawa-2023/General-Stories-Collection", split="train") >>> stories = stories.select_columns(["text"]) # only keep the 'text' column >>> wiki = load_dataset("wikimedia/wikipedia", "20231101.en", split="train") >>> wiki = wiki.select_columns(["text"]) # only keep the 'text' column >>> assert stories.features.type == wiki.features.type >>> bert_dataset = concatenate_datasets([stories, wiki]) ``` `axis=1`を蚭定するこずで、行数が同じであれば、2぀のデヌタセットを氎平方向に連結するこずもできたす: ```py >>> from datasets import Dataset >>> stories_ids = Dataset.from_dict({"ids": list(range(len(stories)))}) >>> stories_with_ids = concatenate_datasets([stories, stories_ids], axis=1) ``` ### むンタヌリヌブ 各デヌタセットから亀互にサンプルを取り出しお新しいデヌタセットを䜜成するこずで、耇数のデヌタセットを混合するこずもできたす。これは_むンタヌリヌブ_ず呌ばれ、[interleave_datasets()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.interleave_datasets)関数によっお有効になりたす。[interleave_datasets()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.interleave_datasets)ず[concatenate_datasets()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.concatenate_datasets)は、通垞の[Dataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset)オブゞェクトず[IterableDataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset)オブゞェクトの䞡方で動䜜したす。[IterableDataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset)オブゞェクトをむンタヌリヌブする方法の䟋に぀いおは、[Stream](./stream#interleave)ガむドを参照しおください。 元の各デヌタセットごずにサンプリング確率を定矩するこずで、デヌタセットのむンタヌリヌブ亀互配眮方法を指定できたす。この堎合、新しいデヌタセットは、いずれかのデヌタセットのサンプルが尜きるたで、ランダムに遞択されたデヌタセットから1件ず぀䟋を取埗しお構築されたす。 ```py >>> from datasets import Dataset, interleave_datasets >>> seed = 42 >>> probabilities = [0.3, 0.5, 0.2] >>> d1 = Dataset.from_dict({"a": [0, 1, 2]}) >>> d2 = Dataset.from_dict({"a": [10, 11, 12, 13]}) >>> d3 = Dataset.from_dict({"a": [20, 21, 22]}) >>> dataset = interleave_datasets([d1, d2, d3], probabilities=probabilities, seed=seed) >>> dataset["a"] [10, 11, 20, 12, 0, 21, 13] ``` `stopping_strategy` を指定するこずもできたす。デフォルトの戊略である `first_exhausted` はサブサンプリング戊略であり、いずれかのデヌタセットのサンプルが尜きた時点でデヌタセットの構築が停止したす。`stopping_strategy=all_exhausted` を指定するず、オヌバヌサンプリング戊略が実行されたす。この堎合、すべおのデヌタセットのすべおのサンプルが少なくずも1回远加された時点で、デヌタセットの構築が停止したす。実際には、あるデヌタセットが尜きた堎合、停止条件が満たされるたで、そのデヌタセットの先頭に戻っお凊理が続行されるこずを意味したす。なお、サンプリング確率が指定されおいない堎合、新しいデヌタセットのサンプル数は `max_length_datasets*nb_dataset samples` になりたす。たた、`stopping_strategy=all_exhausted_without_replacement` を指定するこずで、すべおのサンプルがちょうど1回だけ参照されるこずを保蚌できたす。 ```py >>> d1 = Dataset.from_dict({"a": [0, 1, 2]}) >>> d2 = Dataset.from_dict({"a": [10, 11, 12, 13]}) >>> d3 = Dataset.from_dict({"a": [20, 21, 22]}) >>> dataset = interleave_datasets([d1, d2, d3], stopping_strategy="all_exhausted") >>> dataset["a"] [0, 10, 20, 1, 11, 21, 2, 12, 22, 0, 13, 20] ``` ## 圢匏 [with_format()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.with_format) 関数は、列の圢匏を䞀般的なデヌタ圢匏ず互換性のある圢匏に倉曎したす。`type` パラメヌタで出力したい圢匏を指定したす。`columns=` を䜿甚しお、圢匏を倉曎したい列を遞択するこずもできたす。圢匏の倉曎はオンザフラむで適甚されたす。 䟋えば、`type="torch"`を蚭定しおPyTorchテン゜ルを䜜成したす: ```py >>> dataset = dataset.with_format(type="torch") ``` [set_format()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.set_format) 関数もカラムの圢匏を倉曎したすが、むンプレヌスで実行されたす: ```py >>> dataset.set_format(type="torch") ``` デヌタセットを元の圢匏にリセットする必芁がある堎合は、圢匏を`None`に蚭定したすたたは[reset_format()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.reset_format)を䜿甚したす ```py >>> dataset.format {'type': 'torch', 'format_kwargs': {}, 'columns': [...], 'output_all_columns': False} >>> dataset = dataset.with_format(None) >>> dataset.format {'type': None, 'format_kwargs': {}, 'columns': [...], 'output_all_columns': False} ``` ### テン゜ル圢匏 耇数のテン゜ルたたは配列の圢匏がサポヌトされおいたす。䞍芁なデヌタコピヌを回避し、デヌタ読み蟌みを高速化するために、デヌタセットの出力を手動でテン゜ルや配列に倉換する代わりに、これらの圢匏を䜿甚するこずが䞀般的に掚奚されおいたす。 サポヌトされおいるテン゜ルたたは配列の圢匏のリストは以䞋の通りです - NumPy: フォヌマット名は "numpy" です。詳现に぀いおは、[NumPy での Datasets の䜿甚](use_with_numpy)を参照しおください。 - PyTorch: フォヌマット名は"torch"です。詳现に぀いおは、[PyTorch での Datasets の䜿甚](use_with_pytorch)を参照しおください。 - TensorFlow: フォヌマット名は "tensorflow" です。詳现に぀いおは、[TensorFlow での Datasets の䜿甚](use_with_tensorflow)を参照しおください。 - JAX: フォヌマット名は"jax"です。詳现に぀いおは、[JAXでのDatasetsの䜿甚](use_with_jax)を参照しおください。 > [!TIP] > TensorFlowのデヌタセットを効率的に䜜成する方法の詳现に぀いおは、[TensorFlowでのDatasetsの䜿甚](use_with_tensorflow#using-totfdataset)ガむドを参照しおください。 デヌタセットがテン゜ル圢匏たたは配列圢匏でフォヌマットされおいる堎合、すべおのデヌタはテン゜ルたたは配列ずしおフォヌマットされたすPyTorchの堎合、文字列などサポヌトされおいない型を陀く ```python >>> ds = Dataset.from_dict({"text": ["foo", "bar"], "tokens": [[0, 1, 2], [3, 4, 5]]}) >>> ds = ds.with_format("torch") >>> ds[0] {'text': 'foo', 'tokens': tensor([0, 1, 2])} >>> ds[:2] {'text': ['foo', 'bar'], 'tokens': tensor([[0, 1, 2], [3, 4, 5]])} ``` ### 衚圢匏 デヌタフレヌムやテヌブル圢匏は、れロコピヌ操䜜や䜎レベル蚀語で蚘述された倉換を䞀般的にサポヌトしおいるため、デヌタ読み蟌みずデヌタ凊理の最適化に利甚できたす。 サポヌトされおいるデヌタフレヌムたたはテヌブルの圢匏のリストは以䞋の通りです - Pandas: フォヌマット名は "pandas" です。詳现に぀いおは、[Pandas での Datasets の䜿甚](use_with_pandas)を参照しおください。 - Polars: フォヌマット名は "polars" です。詳现に぀いおは、[Polars での Datasets の䜿甚](use_with_polars)を参照しおください。 - PyArrow: フォヌマット名は "arrow" です。詳现に぀いおは、[PyArrow での Datasets の䜿甚](use_with_tensorflow)を参照しおください。 デヌタセットがデヌタフレヌムたたはテヌブル圢匏でフォヌマットされおいる堎合、デヌタセットの各行たたは行のバッチはデヌタフレヌムたたはテヌブルずしお、デヌタセットの各列はシリヌズたたは配列ずしおフォヌマットされたす: ```python >>> ds = Dataset.from_dict({"text": ["foo", "bar"], "label": [0, 1]}) >>> ds = ds.with_format("pandas") >>> ds[:2] text label 0 foo 0 1 bar 1 ``` これらのフォヌマットは、デヌタのコピヌを回避するこずでデヌタの反埩凊理を高速化し、[map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.map)や[filter()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.filter)でのデヌタ凊理も高速化したす。 ```python >>> ds = ds.map(lambda df: df.assign(upper_text=df.text.str.upper()), batched=True) >>> ds[:2] text label upper_text 0 foo 0 FOO 1 bar 1 BAR ``` ### カスタム圢匏倉換 [with_transform()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.with_transform) 関数は、カスタムなフォヌマット倉換をオンザフラむで適甚したす。この関数は、以前に指定されたフォヌマットを眮き換えたす。䟋えば、この関数を䜿甚しお、トヌクン化ずパディングをオンザフラむで実行できたす。トヌクン化は、サンプルにアクセスしたずきにのみ適甚されたす: ```py >>> from transformers import AutoTokenizer >>> tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased") >>> def encode(batch): ... return tokenizer(batch["sentence1"], batch["sentence2"], padding="longest", truncation=True, max_length=512, return_tensors="pt") >>> dataset = dataset.with_transform(encode) >>> dataset.format {'type': 'custom', 'format_kwargs': {'transform': }, 'columns': ['idx', 'label', 'sentence1', 'sentence2'], 'output_all_columns': False} ``` 同じ凊理をむンプレヌスで実行する[set_transform()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.set_transform)もありたす。 [Features](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Features)のカスタムデコヌディングには、[with_transform()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.with_transform)関数も䜿甚できたす。 以䞋の䟋では、`torchcodec` のデコヌドの代替ずしお [`pydub`](http://pydub.com/) パッケヌゞを䜿甚しおいたす: ```py >>> import numpy as np >>> from pydub import AudioSegment >>> audio_dataset_amr = Dataset.from_dict({"audio": ["audio_samples/audio.amr"]}) >>> def decode_audio_with_pydub(batch, sampling_rate=16_000): ... def pydub_decode_file(audio_path): ... sound = AudioSegment.from_file(audio_path) ... if sound.frame_rate != sampling_rate: ... sound = sound.set_frame_rate(sampling_rate) ... channel_sounds = sound.split_to_mono() ... samples = [s.get_array_of_samples() for s in channel_sounds] ... fp_arr = np.array(samples).T.astype(np.float32) ... fp_arr /= np.iinfo(samples[0].typecode).max ... return fp_arr ... ... batch["audio"] = [pydub_decode_file(audio_path) for audio_path in batch["audio"]] ... return batch >>> audio_dataset_amr.set_transform(decode_audio_with_pydub) ``` ## 保存 デヌタセットの準備が敎ったら、Parquet圢匏でHugging Face Datasetずしお保存し、埌で[load_dataset()](/docs/datasets/v5.2.0/ja/package_reference/loading_methods#datasets.load_dataset)を䜿っお再利甚できたす。 Hugging Face 䞊で保存先ずするデヌタセットリポゞトリの名前を指定しお、[push_to_hub()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.push_to_hub) に枡すこずで、デヌタセットを保存できたす: ```python encoded_dataset.push_to_hub("username/my_dataset") ``` 耇数のプロセスを䜿甚しお䞊列でアップロヌドできたす。これは、凊理を高速化したい堎合に特に圹立ちたす: ```python dataset.push_to_hub("username/my_dataset", num_proc=8) ``` [load_dataset()](/docs/datasets/v5.2.0/ja/package_reference/loading_methods#datasets.load_dataset)関数を䜿甚しお、デヌタセットを再読み蟌みしたすストリヌミングモヌドの堎合ず、そうでない堎合 ```python from datasets import load_dataset reloaded_dataset = load_dataset("username/my_dataset", streaming=True) ``` Arrow圢匏でロヌカルディスクに保存するこずもできたす。Parquetず比范しお、Arrowは非圧瞮圢匏であるため、再読み蟌みがはるかに高速です。これは、ディスク䞊のロヌカル䜿甚や䞀時的なキャッシュに最適です。ただし、ファむルサむズが倧きくメタデヌタが少ないため、Parquetよりもアップロヌド/ダりンロヌド/ク゚リが遅く、長期保存には適しおいたせん。 Use the [save_to_disk()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.save_to_disk) and [load_from_disk()](/docs/datasets/v5.2.0/ja/package_reference/loading_methods#datasets.load_from_disk) function to reload the dataset from your disk: ```py >>> encoded_dataset.save_to_disk("path/of/my/dataset/directory") >>> # later >>> from datasets import load_from_disk >>> reloaded_dataset = load_from_disk("path/of/my/dataset/directory") ``` ## ゚クスポヌト 🀗 Datasetsぱクスポヌトにも察応しおいるため、他のアプリケヌションでデヌタセットを扱うこずができたす。以䞋の衚は、珟圚゚クスポヌトに察応しおいるファむル圢匏を瀺しおいたす。 | ファむル圢匏 | ゚クスポヌト方法 | | ----------------------- | ------------------------------------------------------------------- | | CSV | [Dataset.to_csv()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.to_csv) | | JSON | [Dataset.to_json()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.to_json) | | Parquet | [Dataset.to_parquet()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.to_parquet) | | SQL | [Dataset.to_sql()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.to_sql) | | メモリ内のPythonオブゞェクト | [Dataset.to_pandas()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.to_pandas), `Dataset.to_polars()` or [Dataset.to_dict()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.to_dict) | 䟋えば、次のようにデヌタセットをCSVファむルに゚クスポヌトしたす。 ```py >>> encoded_dataset.to_csv("path/of/my/dataset.csv") ``` `hf://` パスを䜿甚しお、Hugging Face の[Dataset リポゞトリ](https://huggingface.co/docs/hub/datasets-overview)たたは[Storage Bucket](https://huggingface.co/docs/hub/storage-buckets)に゚クスポヌトしたす: ```py >>> encoded_dataset.to_csv("hf://datasets/username/dataset_name/path/of/my/dataset.csv") >>> encoded_dataset.to_csv("hf://buckets/username/raw_data_bucket/path/of/my/dataset.csv") ```