Datasets

データセット

🤗 Datasets は、Audio、Computer Vision、Natural Language Processing (NLP) タスク向けの AI データセットに簡単にアクセスし、共有するためのライブラリです。

1行のコードでデータセットを読み込み、強力なデータ処理およびストリーミング機能を活用して、ディープラーニングモデルでの学習にデータセットを素早く準備できます。Apache Arrow形式を基盤としており、メモリ制約なしにゼロコピー読み込みで大きなデータセットを処理できるため、最適な速度と効率を実現します。さらに、Hugging Face Hubとの深い統合により、より広い機械学習コミュニティとデータセットを簡単に共有・読み込むことができます。

今日、Hugging Face Hubでデータセットを見つけ、ライブビューアを使ってその中身を詳しく確認しましょう。

チュートリアル

🤗 Datasetsの基本的な使い方を学び、データセットの読み込み、アクセス、処理に慣れましょう。初めて🤗 Datasetsを使う方は、ここから始めてください！

ハウツーガイド

特定の目標を達成するための実践的なガイドです。🤗 Datasets を使って実際の問題を解決する方法を学ぶために、これらのガイドをご覧ください。

概念的なガイド

データ形式、キャッシュ、データセットの生成方法などの重要なトピックについて、より深い理解を得るための高レベルの説明です。

リファレンス

🤗 Datasetsのクラスとメソッドの動作に関する技術的な説明です。

Update on GitHub