Datasets documentation

Các lớp bảng

Datasets

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Các lớp bảng

Mỗi đối tượng Dataset được hỗ trợ bởi một Table của PyArrow. Một Table có thể được nạp từ đĩa (memory mapped) hoặc trong bộ nhớ. Có sẵn một số kiểu Table, và tất cả đều kế thừa từ table.Table.

Bảng

lớp datasets.table.Table

( table: Table )

Bọc một bảng pyarrow bằng cách sử dụng tổ hợp. Đây là lớp cơ sở cho InMemoryTable, MemoryMappedTable và ConcatenationTable.

Nó triển khai tất cả các thuộc tính/phương thức cơ bản của lớp Table trong pyarrow ngoại trừ các phép biến đổi Table: slice, filter, flatten, combine_chunks, cast, add_column, append_column, remove_column, set_column, rename_columns và drop.

Việc triển khai các phương pháp này khác nhau giữa các lớp con.

validate

( *args**kwargs )

Tham số

full (bool, mặc định là False) — Nếu True, chạy các kiểm tra tốn kém, ngược lại chỉ chạy các kiểm tra nhẹ.

Gây ra

pa.lib.ArrowInvalid

pa.lib.ArrowInvalid — nếu kiểm tra hợp lệ thất bại

Thực hiện các kiểm tra xác thực. Một ngoại lệ sẽ được ném ra nếu xác thực thất bại.

Mặc định chỉ chạy các kiểm tra xác thực chi phí thấp. Truyền full=True để chạy các kiểm tra xác thực kỹ lưỡng (có thể O(n)).

equals

( *args**kwargs ) → bool

Tham số

other (Bảng) — Bảng để so sánh.
check_metadata bool, mặc định là False) — Liệu có nên kiểm tra cả sự bằng nhau của metadata schema hay không.

Trả về

bool

Kiểm tra xem nội dung của hai bảng có bằng nhau không.

to_batches

( *args**kwargs )

Tham số

max_chunksize (int, mặc định là None) — Kích thước tối đa cho các chunk RecordBatch. Các chunk riêng lẻ có thể nhỏ hơn tùy thuộc vào bố cục chunk của từng cột.

Chuyển đổi Table thành danh sách các đối tượng RecordBatch (liên tục).

to_pydict

( *args**kwargs ) → dict

Trả về

dict

Chuyển đổi Table thành dict hoặc OrderedDict.

to_pandas

( *args**kwargs ) → pandas.Series or pandas.DataFrame

Tham số

memory_pool (MemoryPool, mặc định là None) — Arrow MemoryPool được sử dụng cho các phân bổ bộ nhớ. Sử dụng memory pool mặc định nếu không được truyền vào.
strings_to_categorical (bool, mặc định là False) — Mã hóa các kiểu chuỗi (UTF8) và nhị phân thành pandas.Categorical.
categories (list, mặc định là empty) — Danh sách các trường cần được trả về dưới dạng pandas.Categorical. Chỉ áp dụng cho các cấu trúc dữ liệu dạng bảng.
zero_copy_only (bool, mặc định là False) — Ném một ArrowException nếu việc gọi hàm này sẽ yêu cầu sao chép dữ liệu cơ bản.
integer_object_nulls (bool, mặc định là False) — Chuyển đổi các số nguyên có giá trị null sang kiểu object.
date_as_object (bool, mặc định là True) — Đổ ngày thành các đối tượng. Nếu False, chuyển sang kiểu dữ liệu datetime64[ns].
timestamp_as_object (bool, mặc định là False) — Chuyển đổi các timestamp không phải nanosecond (np.datetime64) thành object. Điều này hữu ích nếu bạn có các timestamp không nằm trong khoảng ngày tháng thông thường của timestamp nanosecond (1678 CN-2262 CN). Nếu False, tất cả các timestamp sẽ được chuyển đổi sang dtype datetime64[ns].
use_threads (bool, mặc định là True) — Có nên song song hóa quá trình chuyển đổi bằng nhiều luồng hay không.
deduplicate_objects (bool, mặc định là False) — Không tạo nhiều bản sao của các đối tượng Python khi được tạo, để tiết kiệm bộ nhớ. Quá trình chuyển đổi sẽ chậm hơn.
ignore_metadata (bool, mặc định là False) — Nếu True, không sử dụng metadata của ‘pandas’ để tái tạo chỉ mục của DataFrame, nếu có.
safe (bool, mặc định là True) — Đối với một số kiểu dữ liệu, cần phải chuyển đổi kiểu (cast) để lưu trữ dữ liệu trong một DataFrame hoặc Series của pandas (ví dụ: timestamp luôn được lưu trữ dưới dạng nanosecond trong pandas). Tùy chọn này kiểm soát việc chuyển đổi kiểu đó có an toàn hay không.
split_blocks (bool, mặc định là False) — Nếu True, sẽ tạo một “block” nội bộ cho mỗi cột khi tạo một pandas.DataFrame từ một RecordBatch hoặc Table. Mặc dù điều này có thể tạm thời giảm bộ nhớ, hãy lưu ý rằng các thao tác pandas khác nhau có thể kích hoạt “consolidation” (gộp khối), điều này có thể làm phình to việc sử dụng bộ nhớ.
self_destruct (bool, mặc định là False) — THỰC NGHIỆM: Nếu True, sẽ cố gắng giải phóng bộ nhớ Arrow gốc trong khi chuyển đổi đối tượng Arrow sang pandas. Nếu bạn sử dụng đối tượng sau khi gọi to_pandas với tùy chọn này, chương trình của bạn sẽ bị lỗi.
types_mapper (function, mặc định là None) — Một hàm ánh xạ một pyarrow DataType sang một pandas ExtensionDtype. Điều này có thể được sử dụng để ghi đè kiểu pandas mặc định cho việc chuyển đổi các kiểu pyarrow tích hợp hoặc khi không có pandas_metadata trong schema của Table. Hàm này nhận một pyarrow DataType và được kỳ vọng trả về một pandas ExtensionDtype hoặc None nếu nên sử dụng chuyển đổi mặc định cho kiểu đó. Nếu bạn có một từ điển ánh xạ, bạn có thể truyền dict.get làm hàm.

Trả về

pandas.Series hoặc pandas.DataFrame

pandas.Series hoặc pandas.DataFrame tùy thuộc vào kiểu của đối tượng

Chuyển đổi thành mảng NumPy hoặc DataFrame tương thích với pandas, tùy theo trường hợp.

to_string

( *args**kwargs )

trường

( *args**kwargs )

Tham số

i (Union[int, str]) — Chỉ số hoặc tên của trường cần truy xuất.

Chọn một trường schema theo tên cột hoặc chỉ số số.

cột

( *args**kwargs )

Tham số

i (Union[int, str]) — Chỉ số hoặc tên của cột cần truy xuất.

Chọn một cột theo tên cột hoặc chỉ số số của nó.

itercolumns

( *args**kwargs )

Trình lặp qua tất cả các cột theo thứ tự số.

sơ đồ

( )

Sơ đồ của bảng và các cột của nó.

cột

( )

Danh sách tất cả các cột theo thứ tự số.

số_cột

( )

Số cột trong bảng này.

số_dòng

( )

Số dòng trong bảng này.

Do định nghĩa của bảng, tất cả các cột đều có cùng số dòng.

shape

( ) → (int, int)

Trả về

(int, int)

Số hàng và số cột.

Kích thước của bảng: (#rows, #columns).

nbytes

( )

Tổng số byte được tiêu thụ bởi các phần tử của bảng.

InMemoryTable

lớp datasets.table.InMemoryTable

( table: Table )

Bảng được coi là trong bộ nhớ (in-memory) khi nó được nạp vào RAM của người dùng.

Pickling sẽ sao chép toàn bộ dữ liệu bằng bộ nhớ. Cách triển khai của nó đơn giản và sử dụng trực tiếp các phương thức của bảng pyarrow bên dưới.

Điều này khác với bảng MemoryMapped, trong đó quá trình pickling không sao chép toàn bộ dữ liệu trong bộ nhớ. Đối với MemoryMapped, quá trình unpickling sẽ tải lại bảng từ ổ đĩa.

InMemoryTable phải được sử dụng khi dữ liệu vừa trong bộ nhớ, trong khi MemoryMapped được dành cho dữ liệu lớn hơn bộ nhớ hoặc khi bạn muốn dấu chân bộ nhớ của ứng dụng của mình ở mức thấp.

validate

( *args**kwargs )

Tham số

full (bool, mặc định là False) — Nếu True, chạy các kiểm tra tốn kém, ngược lại chỉ chạy các kiểm tra nhẹ.

Gây ra

pa.lib.ArrowInvalid

pa.lib.ArrowInvalid — nếu kiểm tra hợp lệ thất bại

Thực hiện các kiểm tra xác thực. Một ngoại lệ sẽ được ném ra nếu xác thực thất bại.

Mặc định chỉ chạy các kiểm tra xác thực chi phí thấp. Truyền full=True để chạy các kiểm tra xác thực kỹ lưỡng (có thể O(n)).

equals

( *args**kwargs ) → bool

Tham số

other (Bảng) — Bảng để so sánh.
check_metadata bool, mặc định là False) — Liệu có nên kiểm tra cả sự bằng nhau của metadata schema hay không.

Trả về

bool

Kiểm tra xem nội dung của hai bảng có bằng nhau không.

to_batches

( *args**kwargs )

Tham số

max_chunksize (int, mặc định là None) — Kích thước tối đa cho các chunk RecordBatch. Các chunk riêng lẻ có thể nhỏ hơn tùy thuộc vào bố cục chunk của từng cột.

Chuyển đổi Table thành danh sách các đối tượng RecordBatch (liên tục).

to_pydict

( *args**kwargs ) → dict

Trả về

dict

Chuyển đổi Table thành dict hoặc OrderedDict.

to_pandas

( *args**kwargs ) → pandas.Series or pandas.DataFrame

Tham số

memory_pool (MemoryPool, mặc định là None) — Arrow MemoryPool được sử dụng cho các phân bổ bộ nhớ. Sử dụng memory pool mặc định nếu không được truyền vào.
strings_to_categorical (bool, mặc định là False) — Mã hóa các kiểu chuỗi (UTF8) và nhị phân thành pandas.Categorical.
categories (list, mặc định là empty) — Danh sách các trường cần được trả về dưới dạng pandas.Categorical. Chỉ áp dụng cho các cấu trúc dữ liệu dạng bảng.
zero_copy_only (bool, mặc định là False) — Ném một ArrowException nếu việc gọi hàm này sẽ yêu cầu sao chép dữ liệu cơ bản.
integer_object_nulls (bool, mặc định là False) — Chuyển đổi các số nguyên có giá trị null sang kiểu object.
date_as_object (bool, mặc định là True) — Đổ ngày thành các đối tượng. Nếu False, chuyển sang kiểu dữ liệu datetime64[ns].
timestamp_as_object (bool, mặc định là False) — Chuyển đổi các timestamp không phải nanosecond (np.datetime64) thành object. Điều này hữu ích nếu bạn có các timestamp không nằm trong khoảng ngày tháng thông thường của timestamp nanosecond (1678 CN-2262 CN). Nếu False, tất cả các timestamp sẽ được chuyển đổi sang dtype datetime64[ns].
use_threads (bool, mặc định là True) — Có nên song song hóa quá trình chuyển đổi bằng nhiều luồng hay không.
deduplicate_objects (bool, mặc định là False) — Không tạo nhiều bản sao của các đối tượng Python khi được tạo, để tiết kiệm bộ nhớ. Quá trình chuyển đổi sẽ chậm hơn.
ignore_metadata (bool, mặc định là False) — Nếu True, không sử dụng metadata của ‘pandas’ để tái tạo chỉ mục của DataFrame, nếu có.
safe (bool, mặc định là True) — Đối với một số kiểu dữ liệu, cần phải chuyển đổi kiểu (cast) để lưu trữ dữ liệu trong một DataFrame hoặc Series của pandas (ví dụ: timestamp luôn được lưu trữ dưới dạng nanosecond trong pandas). Tùy chọn này kiểm soát việc chuyển đổi kiểu đó có an toàn hay không.
split_blocks (bool, mặc định là False) — Nếu True, sẽ tạo một “block” nội bộ cho mỗi cột khi tạo một pandas.DataFrame từ một RecordBatch hoặc Table. Mặc dù điều này có thể tạm thời giảm bộ nhớ, hãy lưu ý rằng các thao tác pandas khác nhau có thể kích hoạt “consolidation” (gộp khối), điều này có thể làm phình to việc sử dụng bộ nhớ.
self_destruct (bool, mặc định là False) — THỰC NGHIỆM: Nếu True, sẽ cố gắng giải phóng bộ nhớ Arrow gốc trong khi chuyển đổi đối tượng Arrow sang pandas. Nếu bạn sử dụng đối tượng sau khi gọi to_pandas với tùy chọn này, chương trình của bạn sẽ bị lỗi.
types_mapper (function, mặc định là None) — Một hàm ánh xạ một pyarrow DataType sang một pandas ExtensionDtype. Điều này có thể được sử dụng để ghi đè kiểu pandas mặc định cho việc chuyển đổi các kiểu pyarrow tích hợp hoặc khi không có pandas_metadata trong schema của Table. Hàm này nhận một pyarrow DataType và được kỳ vọng trả về một pandas ExtensionDtype hoặc None nếu nên sử dụng chuyển đổi mặc định cho kiểu đó. Nếu bạn có một từ điển ánh xạ, bạn có thể truyền dict.get làm hàm.

Trả về

pandas.Series hoặc pandas.DataFrame

pandas.Series hoặc pandas.DataFrame tùy thuộc vào kiểu của đối tượng

Chuyển đổi thành mảng NumPy hoặc DataFrame tương thích với pandas, tùy theo trường hợp.

to_string

( *args**kwargs )

trường

( *args**kwargs )

Tham số

i (Union[int, str]) — Chỉ số hoặc tên của trường cần truy xuất.

Chọn một trường schema theo tên cột hoặc chỉ số số.

cột

( *args**kwargs )

Tham số

i (Union[int, str]) — Chỉ số hoặc tên của cột cần truy xuất.

Chọn một cột theo tên cột hoặc chỉ số số của nó.

itercolumns

( *args**kwargs )

Trình lặp qua tất cả các cột theo thứ tự số.

sơ đồ

( )

Sơ đồ của bảng và các cột của nó.

cột

( )

Danh sách tất cả các cột theo thứ tự số.

số_cột

( )

Số cột trong bảng này.

số_dòng

( )

Số dòng trong bảng này.

Do định nghĩa của bảng, tất cả các cột đều có cùng số dòng.

shape

( ) → (int, int)

Trả về

(int, int)

Số hàng và số cột.

Kích thước của bảng: (#rows, #columns).

nbytes

( )

Tổng số byte được tiêu thụ bởi các phần tử của bảng.

column_names

( )

Tên của các cột trong bảng.

slice

( offset = 0length = None )

Tham số

offset (int, mặc định là 0) — Độ lệch từ đầu bảng để cắt.
length (int, mặc định là None) — Chiều dài của phần cắt (mặc định là đến hết bảng tính từ offset).

Tính toán lát cắt sao chép không (zero-copy) của Table này.

lọc

( *args**kwargs )

Chọn các bản ghi từ một Table. Xem pyarrow.compute.filter để biết cách sử dụng đầy đủ.

flatten

( *args**kwargs )

Tham số

memory_pool (MemoryPool, mặc định là None) — Dùng cho các cấp phát bộ nhớ, nếu cần, nếu không thì dùng pool mặc định.

Phẳng hóa bảng này. Mỗi cột có kiểu struct sẽ được phẳng hóa thành một cột cho mỗi trường của struct. Các cột khác được giữ nguyên.

combine_chunks

( *args**kwargs )

Tham số

memory_pool (MemoryPool, mặc định là None) — Dùng cho các cấp phát bộ nhớ, nếu cần, nếu không thì dùng pool mặc định.

Tạo một bảng mới bằng cách kết hợp các phần mà bảng này có.

Tất cả các chunk cơ bản trong ChunkedArray của mỗi cột được nối lại thành không hoặc một chunk.

cast

( *args**kwargs )

Tham số

target_schema (Schema) — Schema để chuyển đổi, tên và thứ tự của các trường phải khớp.
safe (bool, mặc định là True) — Kiểm tra các trường hợp tràn số hoặc các phép chuyển đổi không an toàn khác.

Đổ giá trị bảng sang lược đồ khác.

replace_schema_metadata

( *args**kwargs ) → datasets.table.Table

Tham số

metadata (dict, mặc định là None) —

Trả về

datasets.table.Table

shallow_copy

THỰC NGHIỆM: Tạo bản sao nông của bảng bằng cách thay thế metadata key-value của schema bằng metadata mới được chỉ định (có thể là None, điều này sẽ xóa mọi metadata hiện có).

add_column

( *args**kwargs ) → datasets.table.Table

Tham số

i (int) — Chỉ số để đặt cột tại đó.
field_ (Union[str, pyarrow.Field]) — Nếu truyền vào một chuỗi, kiểu dữ liệu sẽ được suy ra từ dữ liệu của cột.
column (Union[pyarrow.Array, List[pyarrow.Array]]) — Dữ liệu cột.

Trả về

datasets.table.Table

Bảng mới với cột được truyền thêm vào.

Thêm cột vào Bảng tại vị trí.

Một bảng mới được trả về với cột đã được thêm vào, đối tượng bảng gốc không bị thay đổi.

append_column

( *args**kwargs ) → datasets.table.Table

Tham số

field_ (Union[str, pyarrow.Field]) — Nếu truyền vào một chuỗi, kiểu dữ liệu sẽ được suy ra từ dữ liệu của cột.
column (Union[pyarrow.Array, List[pyarrow.Array]]) — Dữ liệu cột.

Trả về

datasets.table.Table

Bảng mới với cột được truyền thêm vào.

Thêm cột vào cuối danh sách các cột.

remove_column

( *args**kwargs ) → datasets.table.Table

Tham số

i (int) — Chỉ số của cột cần xóa.

Trả về

datasets.table.Table

Bảng mới không có cột.

Tạo Table mới với cột được chỉ định đã bị xóa.

set_column

( *args**kwargs ) → datasets.table.Table

Tham số

i (int) — Chỉ số để đặt cột tại đó.
field_ (Union[str, pyarrow.Field]) — Nếu truyền vào một chuỗi, kiểu dữ liệu sẽ được suy ra từ dữ liệu của cột.
column (Union[pyarrow.Array, List[pyarrow.Array]]) — Dữ liệu cột.

Trả về

datasets.table.Table

Bảng mới với bộ cột đã truyền.

Thay thế cột trong Bảng tại vị trí.

rename_columns

( *args**kwargs )

Tạo bảng mới với các cột được đổi tên thành các tên đã cung cấp.

select

( *args**kwargs ) → datasets.table.Table

Tham số

columns (Union[List[str], List[int]]) — Tên cột hoặc chỉ số nguyên để chọn.

Trả về

datasets.table.Table

Bảng mới với các cột được chỉ định, và metadata được giữ nguyên.

Chọn các cột của bảng.

Trả về một bảng mới với các cột được chỉ định, và giữ nguyên các metadata.

drop

( *args**kwargs ) → datasets.table.Table

Tham số

columns (List[str]) — Danh sách tên trường tham chiếu đến các cột hiện có.

Trả về

datasets.table.Table

Bảng mới không có các cột.

Gây ra

KeyError

KeyError — : nếu bất kỳ tên cột nào được truyền vào không tồn tại.

Xóa một hoặc nhiều cột và trả về một bảng mới.

from_file

( filename: str )

from_buffer

( buffer: Buffer )

from_pandas

( *args**kwargs ) → datasets.table.Table

Tham số

df (pandas.DataFrame) —
schema (pyarrow.Schema, tùy chọn) — Schema dự kiến của Arrow Table. Có thể dùng để chỉ định kiểu của các cột nếu không thể suy luận tự động. Nếu được truyền vào, kết quả đầu ra sẽ có đúng schema này. Các cột được chỉ định trong schema nhưng không tìm thấy trong các cột của DataFrame hoặc index của nó sẽ gây ra lỗi. Các cột hoặc mức index bổ sung trong DataFrame không được chỉ định trong schema sẽ bị bỏ qua.
preserve_index (bool, tùy chọn) — Có lưu trữ index dưới dạng một cột bổ sung trong Table kết quả hay không. Giá trị mặc định là None sẽ lưu index dưới dạng một cột, ngoại trừ RangeIndex chỉ được lưu dưới dạng metadata. Sử dụng preserve_index=True để buộc lưu index dưới dạng một cột.
nthreads (int, mặc định là None (có thể sử dụng tối đa số luồng CPU của hệ thống)) — Nếu lớn hơn 1, chuyển đổi các cột sang Arrow song song bằng số luồng được chỉ định.
columns (List[str], tùy chọn) — Danh sách các cột cần chuyển đổi. Nếu là None, sẽ sử dụng tất cả các cột.
safe (bool, mặc định là True) — Kiểm tra các trường hợp tràn số hoặc các phép chuyển đổi không an toàn khác,

Trả về

datasets.table.Table

Chuyển đổi pandas.DataFrame thành một bảng Arrow.

Các kiểu cột trong Arrow Table kết quả được suy ra từ dtypes của pandas.Series trong DataFrame. Đối với các Series không phải object, NumPy dtype được chuyển đổi sang tương đương Arrow của nó. Trong trường hợp object, chúng ta cần đoán kiểu dữ liệu bằng cách xem xét các đối tượng Python trong Series này.

Lưu ý rằng các Series có dtype object không chứa đủ thông tin để luôn dẫn đến một kiểu Arrow có ý nghĩa. Trong trường hợp không thể suy luận được kiểu, ví dụ vì DataFrame có độ dài 0 hoặc Series chỉ chứa các đối tượng None/nan, kiểu sẽ được đặt là null. Có thể tránh hành vi này bằng cách xây dựng một schema rõ ràng và truyền nó vào hàm này.

Ví dụ:

>>> import pandas as pd
>>> import pyarrow as pa
>>> df = pd.DataFrame({
    ...     'int': [1, 2],
    ...     'str': ['a', 'b']
    ... })
>>> pa.Table.from_pandas(df)
<pyarrow.lib.Table object at 0x7f05d1fb1b40>

from_arrays

( *args**kwargs )

Tham số

arrays (List[Union[pyarrow.Array, pyarrow.ChunkedArray]]) — Các mảng có cùng độ dài, cần được dùng để tạo thành bảng.
names (List[str], tùy chọn) — Tên cho các cột của bảng. Nếu không được truyền, schema phải được truyền.
schema (Schema, mặc định là None) — Schema cho bảng được tạo. Nếu không được truyền, các tên phải được truyền.
metadata (Union[dict, Mapping], mặc định là None) — Metadata tùy chọn cho schema (nếu được suy ra).

Xây dựng một Table từ các mảng Arrow.

from_pydict

( *args**kwargs )

Tham số

mapping (Union[dict, Mapping]) — Một ánh xạ từ các chuỗi sang các mảng hoặc danh sách Python.
schema (Schema, mặc định là None) — Nếu không được truyền vào, sẽ được suy ra từ các giá trị của Mapping
metadata (Union[dict, Mapping], mặc định là None) — Metadata tùy chọn cho schema (nếu được suy ra).

Xây dựng một Table từ các mảng hoặc cột Arrow.

from_batches

( *args**kwargs ) → datasets.table.Table

Tham số

batches (Union[Sequence[pyarrow.RecordBatch], Iterator[pyarrow.RecordBatch]]) — Chuỗi các RecordBatch cần chuyển đổi, tất cả các schema phải bằng nhau.
schema (Schema, mặc định là None) — Nếu không được truyền vào, sẽ được suy ra từ RecordBatch đầu tiên.

Trả về

datasets.table.Table

Tạo một Table từ một chuỗi hoặc trình lặp các RecordBatches của Arrow.

MemoryMappedTable

class datasets.table.MemoryMappedTable

( table: Tablepath: strreplays: typing.Optional[list[tuple[str, tuple, dict]]] = None )

Bảng được gọi là memory mapped khi nó không sử dụng RAM của người dùng mà thay vào đó tải dữ liệu từ ổ đĩa.

Pickling không sao chép dữ liệu vào bộ nhớ. Thay vào đó, chỉ đường dẫn đến tệp arrow được ánh xạ bộ nhớ được pickling, cùng với danh sách các transform để “phát lại” khi tải lại bảng từ đĩa.

Việc triển khai của nó yêu cầu phải lưu trữ lịch sử của tất cả các phép biến đổi đã được áp dụng lên bảng pyarrow bên dưới, để chúng có thể được “phát lại” khi tải lại bảng từ đĩa.

Điều này khác với bảng InMemoryTable, trong đó quá trình pickling sẽ sao chép toàn bộ dữ liệu trong bộ nhớ.

InMemoryTable phải được sử dụng khi dữ liệu vừa trong bộ nhớ, trong khi MemoryMapped được dành cho dữ liệu lớn hơn bộ nhớ hoặc khi bạn muốn dấu chân bộ nhớ của ứng dụng của mình ở mức thấp.

validate

( *args**kwargs )

Tham số

full (bool, mặc định là False) — Nếu True, chạy các kiểm tra tốn kém, ngược lại chỉ chạy các kiểm tra nhẹ.

Gây ra

pa.lib.ArrowInvalid

pa.lib.ArrowInvalid — nếu kiểm tra hợp lệ thất bại

Thực hiện các kiểm tra xác thực. Một ngoại lệ sẽ được ném ra nếu xác thực thất bại.

Mặc định chỉ chạy các kiểm tra xác thực chi phí thấp. Truyền full=True để chạy các kiểm tra xác thực kỹ lưỡng (có thể O(n)).

equals

( *args**kwargs ) → bool

Tham số

other (Bảng) — Bảng để so sánh.
check_metadata bool, mặc định là False) — Liệu có nên kiểm tra cả sự bằng nhau của metadata schema hay không.

Trả về

bool

Kiểm tra xem nội dung của hai bảng có bằng nhau không.

to_batches

( *args**kwargs )

Tham số

max_chunksize (int, mặc định là None) — Kích thước tối đa cho các chunk RecordBatch. Các chunk riêng lẻ có thể nhỏ hơn tùy thuộc vào bố cục chunk của từng cột.

Chuyển đổi Table thành danh sách các đối tượng RecordBatch (liên tục).

to_pydict

( *args**kwargs ) → dict

Trả về

dict

Chuyển đổi Table thành dict hoặc OrderedDict.

to_pandas

( *args**kwargs ) → pandas.Series or pandas.DataFrame

Tham số

memory_pool (MemoryPool, mặc định là None) — Arrow MemoryPool được sử dụng cho các phân bổ bộ nhớ. Sử dụng memory pool mặc định nếu không được truyền vào.
strings_to_categorical (bool, mặc định là False) — Mã hóa các kiểu chuỗi (UTF8) và nhị phân thành pandas.Categorical.
categories (list, mặc định là empty) — Danh sách các trường cần được trả về dưới dạng pandas.Categorical. Chỉ áp dụng cho các cấu trúc dữ liệu dạng bảng.
zero_copy_only (bool, mặc định là False) — Ném một ArrowException nếu việc gọi hàm này sẽ yêu cầu sao chép dữ liệu cơ bản.
integer_object_nulls (bool, mặc định là False) — Chuyển đổi các số nguyên có giá trị null sang kiểu object.
date_as_object (bool, mặc định là True) — Đổ ngày thành các đối tượng. Nếu False, chuyển sang kiểu dữ liệu datetime64[ns].
timestamp_as_object (bool, mặc định là False) — Chuyển đổi các timestamp không phải nanosecond (np.datetime64) thành object. Điều này hữu ích nếu bạn có các timestamp không nằm trong khoảng ngày tháng thông thường của timestamp nanosecond (1678 CN-2262 CN). Nếu False, tất cả các timestamp sẽ được chuyển đổi sang dtype datetime64[ns].
use_threads (bool, mặc định là True) — Có nên song song hóa quá trình chuyển đổi bằng nhiều luồng hay không.
deduplicate_objects (bool, mặc định là False) — Không tạo nhiều bản sao của các đối tượng Python khi được tạo, để tiết kiệm bộ nhớ. Quá trình chuyển đổi sẽ chậm hơn.
ignore_metadata (bool, mặc định là False) — Nếu True, không sử dụng metadata của ‘pandas’ để tái tạo chỉ mục của DataFrame, nếu có.
safe (bool, mặc định là True) — Đối với một số kiểu dữ liệu, cần phải chuyển đổi kiểu (cast) để lưu trữ dữ liệu trong một DataFrame hoặc Series của pandas (ví dụ: timestamp luôn được lưu trữ dưới dạng nanosecond trong pandas). Tùy chọn này kiểm soát việc chuyển đổi kiểu đó có an toàn hay không.
split_blocks (bool, mặc định là False) — Nếu True, sẽ tạo một “block” nội bộ cho mỗi cột khi tạo một pandas.DataFrame từ một RecordBatch hoặc Table. Mặc dù điều này có thể tạm thời giảm bộ nhớ, hãy lưu ý rằng các thao tác pandas khác nhau có thể kích hoạt “consolidation” (gộp khối), điều này có thể làm phình to việc sử dụng bộ nhớ.
self_destruct (bool, mặc định là False) — THỰC NGHIỆM: Nếu True, sẽ cố gắng giải phóng bộ nhớ Arrow gốc trong khi chuyển đổi đối tượng Arrow sang pandas. Nếu bạn sử dụng đối tượng sau khi gọi to_pandas với tùy chọn này, chương trình của bạn sẽ bị lỗi.
types_mapper (function, mặc định là None) — Một hàm ánh xạ một pyarrow DataType sang một pandas ExtensionDtype. Điều này có thể được sử dụng để ghi đè kiểu pandas mặc định cho việc chuyển đổi các kiểu pyarrow tích hợp hoặc khi không có pandas_metadata trong schema của Table. Hàm này nhận một pyarrow DataType và được kỳ vọng trả về một pandas ExtensionDtype hoặc None nếu nên sử dụng chuyển đổi mặc định cho kiểu đó. Nếu bạn có một từ điển ánh xạ, bạn có thể truyền dict.get làm hàm.

Trả về

pandas.Series hoặc pandas.DataFrame

pandas.Series hoặc pandas.DataFrame tùy thuộc vào kiểu của đối tượng

Chuyển đổi thành mảng NumPy hoặc DataFrame tương thích với pandas, tùy theo trường hợp.

to_string

( *args**kwargs )

trường

( *args**kwargs )

Tham số

i (Union[int, str]) — Chỉ số hoặc tên của trường cần truy xuất.

Chọn một trường schema theo tên cột hoặc chỉ số số.

cột

( *args**kwargs )

Tham số

i (Union[int, str]) — Chỉ số hoặc tên của cột cần truy xuất.

Chọn một cột theo tên cột hoặc chỉ số số của nó.

itercolumns

( *args**kwargs )

Trình lặp qua tất cả các cột theo thứ tự số.

sơ đồ

( )

Sơ đồ của bảng và các cột của nó.

cột

( )

Danh sách tất cả các cột theo thứ tự số.

số_cột

( )

Số cột trong bảng này.

số_dòng

( )

Số dòng trong bảng này.

Do định nghĩa của bảng, tất cả các cột đều có cùng số dòng.

shape

( ) → (int, int)

Trả về

(int, int)

Số hàng và số cột.

Kích thước của bảng: (#rows, #columns).

nbytes

( )

Tổng số byte được tiêu thụ bởi các phần tử của bảng.

column_names

( )

Tên của các cột trong bảng.

slice

( offset = 0length = None )

Tham số

offset (int, mặc định là 0) — Độ lệch từ đầu bảng để cắt.
length (int, mặc định là None) — Chiều dài của phần cắt (mặc định là đến hết bảng tính từ offset).

Tính toán lát cắt sao chép không (zero-copy) của Table này.

lọc

( *args**kwargs )

Chọn các bản ghi từ một Table. Xem pyarrow.compute.filter để biết cách sử dụng đầy đủ.

flatten

( *args**kwargs )

Tham số

memory_pool (MemoryPool, mặc định là None) — Dùng cho các cấp phát bộ nhớ, nếu cần, nếu không thì dùng pool mặc định.

Phẳng hóa bảng này. Mỗi cột có kiểu struct sẽ được phẳng hóa thành một cột cho mỗi trường của struct. Các cột khác được giữ nguyên.

combine_chunks

( *args**kwargs )

Tham số

memory_pool (MemoryPool, mặc định là None) — Dùng cho các cấp phát bộ nhớ, nếu cần, nếu không thì dùng pool mặc định.

Tạo một bảng mới bằng cách kết hợp các phần mà bảng này có.

Tất cả các chunk cơ bản trong ChunkedArray của mỗi cột được nối lại thành không hoặc một chunk.

cast

( *args**kwargs )

Tham số

target_schema (Schema) — Schema để chuyển đổi, tên và thứ tự của các trường phải khớp.
safe (bool, mặc định là True) — Kiểm tra các trường hợp tràn số hoặc các phép chuyển đổi không an toàn khác.

Đổ giá trị bảng sang lược đồ khác

replace_schema_metadata

( *args**kwargs ) → datasets.table.Table

Tham số

metadata (dict, mặc định là None) —

Trả về

datasets.table.Table

shallow_copy

THỰC NGHIỆM: Tạo bản sao nông của bảng bằng cách thay thế metadata key-value của schema bằng metadata mới được chỉ định (có thể là None, điều này sẽ xóa mọi metadata hiện có.

add_column

( *args**kwargs ) → datasets.table.Table

Tham số

i (int) — Chỉ số để đặt cột tại đó.
field_ (Union[str, pyarrow.Field]) — Nếu truyền vào một chuỗi, kiểu dữ liệu sẽ được suy ra từ dữ liệu của cột.
column (Union[pyarrow.Array, List[pyarrow.Array]]) — Dữ liệu cột.

Trả về

datasets.table.Table

Bảng mới với cột được truyền thêm vào.

Thêm cột vào Bảng tại vị trí.

Một bảng mới được trả về với cột đã được thêm vào, đối tượng bảng gốc không bị thay đổi.

append_column

( *args**kwargs ) → datasets.table.Table

Tham số

field_ (Union[str, pyarrow.Field]) — Nếu truyền vào một chuỗi, kiểu dữ liệu sẽ được suy ra từ dữ liệu của cột.
column (Union[pyarrow.Array, List[pyarrow.Array]]) — Dữ liệu cột.

Trả về

datasets.table.Table

Bảng mới với cột được truyền thêm vào.

Thêm cột vào cuối danh sách các cột.

remove_column

( *args**kwargs ) → datasets.table.Table

Tham số

i (int) — Chỉ số của cột cần xóa.

Trả về

datasets.table.Table

Bảng mới không có cột.

Tạo Table mới với cột được chỉ định đã bị xóa.

set_column

( *args**kwargs ) → datasets.table.Table

Tham số

i (int) — Chỉ số để đặt cột tại đó.
field_ (Union[str, pyarrow.Field]) — Nếu truyền vào một chuỗi, kiểu dữ liệu sẽ được suy ra từ dữ liệu của cột.
column (Union[pyarrow.Array, List[pyarrow.Array]]) — Dữ liệu cột.

Trả về

datasets.table.Table

Bảng mới với bộ cột đã truyền.

Thay thế cột trong Bảng tại vị trí.

rename_columns

( *args**kwargs )

Tạo bảng mới với các cột được đổi tên thành các tên đã cung cấp.

select

( *args**kwargs ) → datasets.table.Table

Tham số

columns (Union[List[str], List[int]]) — Tên cột hoặc chỉ số nguyên để chọn.

Trả về

datasets.table.Table

Bảng mới với các cột được chỉ định, và metadata được giữ nguyên.

Chọn các cột của bảng.

Trả về một bảng mới với các cột được chỉ định, và giữ nguyên các metadata.

drop

( *args**kwargs ) → datasets.table.Table

Tham số

columns (List[str]) — Danh sách tên trường tham chiếu đến các cột hiện có.

Trả về

datasets.table.Table

Bảng mới không có các cột.

Gây ra

KeyError

KeyError — : nếu bất kỳ tên cột nào được truyền vào không tồn tại.

Xóa một hoặc nhiều cột và trả về một bảng mới.

from_file

( filename: strreplays = None )

ConcatenationTable

lớp datasets.table.ConcatenationTable

( table: Tableblocks: list )

Bảng được tạo ra từ việc nối (concatenation) nhiều bảng được gọi là khối (block). Nó cho phép nối theo cả trục 0 (thêm hàng) và trục 1 (thêm cột).

Các bảng cơ bản được gọi là “blocks” và có thể là các đối tượng InMemoryTable hoặc MemoryMappedTable. Điều này cho phép kết hợp các bảng đến từ bộ nhớ hoặc được ánh xạ bộ nhớ. Khi một ConcatenationTable được pickled, thì mỗi block sẽ được pickled:

các đối tượng InMemoryTable được pickle bằng cách sao chép toàn bộ dữ liệu trong bộ nhớ.
Các đối tượng MemoryMappedTable được pickle mà không sao chép dữ liệu vào bộ nhớ. Thay vào đó, chỉ đường dẫn đến tệp arrow được ánh xạ bộ nhớ và danh sách các transform để “replay” khi tải lại bảng từ ổ đĩa được pickle.

Việc triển khai yêu cầu lưu trữ từng khối riêng biệt. Thuộc tính blocks lưu trữ một danh sách các danh sách khối. Trục đầu tiên nối các bảng dọc theo trục 0 (thêm các hàng), còn trục thứ hai nối các bảng dọc theo trục 1 (thêm các cột).

Nếu một số cột bị thiếu khi ghép nối theo trục 0, chúng sẽ được điền bằng các giá trị null. Điều này được thực hiện bằng cách sử dụng pyarrow.concat_tables(tables, promote=True).

Bạn có thể truy cập bảng kết hợp hoàn chỉnh bằng cách truy cập thuộc tính ConcatenationTable.table, và các khối bằng cách truy cập thuộc tính ConcatenationTable.blocks.

validate

( *args**kwargs )

Tham số

full (bool, mặc định là False) — Nếu True, chạy các kiểm tra tốn kém, ngược lại chỉ chạy các kiểm tra nhẹ.

Gây ra

pa.lib.ArrowInvalid

pa.lib.ArrowInvalid — nếu kiểm tra hợp lệ thất bại

Thực hiện các kiểm tra xác thực. Một ngoại lệ sẽ được ném ra nếu xác thực thất bại.

Mặc định chỉ chạy các kiểm tra xác thực chi phí thấp. Truyền full=True để chạy các kiểm tra xác thực kỹ lưỡng (có thể O(n)).

equals

( *args**kwargs ) → bool

Tham số

other (Bảng) — Bảng để so sánh.
check_metadata bool, mặc định là False) — Liệu có nên kiểm tra cả sự bằng nhau của metadata schema hay không.

Trả về

bool

Kiểm tra xem nội dung của hai bảng có bằng nhau không.

to_batches

( *args**kwargs )

Tham số

max_chunksize (int, mặc định là None) — Kích thước tối đa cho các chunk RecordBatch. Các chunk riêng lẻ có thể nhỏ hơn tùy thuộc vào bố cục chunk của từng cột.

Chuyển đổi Table thành danh sách các đối tượng RecordBatch (liên tục).

to_pydict

( *args**kwargs ) → dict

Trả về

dict

Chuyển đổi Table thành dict hoặc OrderedDict.

to_pandas

( *args**kwargs ) → pandas.Series or pandas.DataFrame

Tham số

memory_pool (MemoryPool, mặc định là None) — Arrow MemoryPool được sử dụng cho các phân bổ bộ nhớ. Sử dụng memory pool mặc định nếu không được truyền vào.
strings_to_categorical (bool, mặc định là False) — Mã hóa các kiểu chuỗi (UTF8) và nhị phân thành pandas.Categorical.
categories (list, mặc định là empty) — Danh sách các trường cần được trả về dưới dạng pandas.Categorical. Chỉ áp dụng cho các cấu trúc dữ liệu dạng bảng.
zero_copy_only (bool, mặc định là False) — Ném một ArrowException nếu việc gọi hàm này sẽ yêu cầu sao chép dữ liệu cơ bản.
integer_object_nulls (bool, mặc định là False) — Chuyển đổi các số nguyên có giá trị null sang kiểu object.
date_as_object (bool, mặc định là True) — Đổ ngày thành các đối tượng. Nếu False, chuyển sang kiểu dữ liệu datetime64[ns].
timestamp_as_object (bool, mặc định là False) — Chuyển đổi các timestamp không phải nanosecond (np.datetime64) thành object. Điều này hữu ích nếu bạn có các timestamp không nằm trong khoảng ngày tháng thông thường của timestamp nanosecond (1678 CN-2262 CN). Nếu False, tất cả các timestamp sẽ được chuyển đổi sang dtype datetime64[ns].
use_threads (bool, mặc định là True) — Có nên song song hóa quá trình chuyển đổi bằng nhiều luồng hay không.
deduplicate_objects (bool, mặc định là False) — Không tạo nhiều bản sao của các đối tượng Python khi được tạo, để tiết kiệm bộ nhớ. Quá trình chuyển đổi sẽ chậm hơn.
ignore_metadata (bool, mặc định là False) — Nếu True, không sử dụng metadata của ‘pandas’ để tái tạo chỉ mục của DataFrame, nếu có.
safe (bool, mặc định là True) — Đối với một số kiểu dữ liệu, cần phải chuyển đổi kiểu (cast) để lưu trữ dữ liệu trong một DataFrame hoặc Series của pandas (ví dụ: timestamp luôn được lưu trữ dưới dạng nanosecond trong pandas). Tùy chọn này kiểm soát việc chuyển đổi kiểu đó có an toàn hay không.
split_blocks (bool, mặc định là False) — Nếu True, sẽ tạo một “block” nội bộ cho mỗi cột khi tạo một pandas.DataFrame từ một RecordBatch hoặc Table. Mặc dù điều này có thể tạm thời giảm bộ nhớ, hãy lưu ý rằng các thao tác pandas khác nhau có thể kích hoạt “consolidation” (gộp khối), điều này có thể làm phình to việc sử dụng bộ nhớ.
self_destruct (bool, mặc định là False) — THỰC NGHIỆM: Nếu True, sẽ cố gắng giải phóng bộ nhớ Arrow gốc trong khi chuyển đổi đối tượng Arrow sang pandas. Nếu bạn sử dụng đối tượng sau khi gọi to_pandas với tùy chọn này, chương trình của bạn sẽ bị lỗi.
types_mapper (function, mặc định là None) — Một hàm ánh xạ một pyarrow DataType sang một pandas ExtensionDtype. Điều này có thể được sử dụng để ghi đè kiểu pandas mặc định cho việc chuyển đổi các kiểu pyarrow tích hợp hoặc khi không có pandas_metadata trong schema của Table. Hàm này nhận một pyarrow DataType và được kỳ vọng trả về một pandas ExtensionDtype hoặc None nếu nên sử dụng chuyển đổi mặc định cho kiểu đó. Nếu bạn có một từ điển ánh xạ, bạn có thể truyền dict.get làm hàm.

Trả về

pandas.Series hoặc pandas.DataFrame

pandas.Series hoặc pandas.DataFrame tùy thuộc vào kiểu của đối tượng

Chuyển đổi thành mảng NumPy hoặc DataFrame tương thích với pandas, tùy theo trường hợp.

to_string

( *args**kwargs )

trường

( *args**kwargs )

Tham số

i (Union[int, str]) — Chỉ số hoặc tên của trường cần truy xuất.

Chọn một trường schema theo tên cột hoặc chỉ số số.

cột

( *args**kwargs )

Tham số

i (Union[int, str]) — Chỉ số hoặc tên của cột cần truy xuất.

Chọn một cột theo tên cột hoặc chỉ số số của nó.

itercolumns

( *args**kwargs )

Trình lặp qua tất cả các cột theo thứ tự số.

sơ đồ

( )

Sơ đồ của bảng và các cột của nó.

cột

( )

Danh sách tất cả các cột theo thứ tự số.

số_cột

( )

Số cột trong bảng này.

số_dòng

( )

Số dòng trong bảng này.

Do định nghĩa của bảng, tất cả các cột đều có cùng số dòng.

shape

( ) → (int, int)

Trả về

(int, int)

Số hàng và số cột.

Kích thước của bảng: (#rows, #columns).

nbytes

( )

Tổng số byte được tiêu thụ bởi các phần tử của bảng.

column_names

( )

Tên của các cột trong bảng.

slice

( offset = 0length = None )

Tham số

offset (int, mặc định là 0) — Độ lệch từ đầu bảng để cắt.
length (int, mặc định là None) — Chiều dài của phần cắt (mặc định là đến hết bảng tính từ offset).

Tính toán lát cắt sao chép không (zero-copy) của Table này.

lọc

( mask*args**kwargs )

Chọn các bản ghi từ một Table. Xem pyarrow.compute.filter để biết cách sử dụng đầy đủ.

flatten

( *args**kwargs )

Tham số

memory_pool (MemoryPool, mặc định là None) — Dùng cho các cấp phát bộ nhớ, nếu cần, nếu không thì dùng pool mặc định.

Phẳng hóa bảng này. Mỗi cột có kiểu struct sẽ được phẳng hóa thành một cột cho mỗi trường của struct. Các cột khác được giữ nguyên.

combine_chunks

( *args**kwargs )

Tham số

memory_pool (MemoryPool, mặc định là None) — Dùng cho các cấp phát bộ nhớ, nếu cần, nếu không thì dùng pool mặc định.

Tạo một bảng mới bằng cách kết hợp các phần mà bảng này có.

Tất cả các chunk cơ bản trong ChunkedArray của mỗi cột được nối lại thành không hoặc một chunk.

cast

( target_schema*args**kwargs )

Tham số

target_schema (Schema) — Schema để chuyển đổi, tên và thứ tự của các trường phải khớp.
safe (bool, mặc định là True) — Kiểm tra các trường hợp tràn số hoặc các phép chuyển đổi không an toàn khác.

Đổ giá trị bảng sang lược đồ khác.

replace_schema_metadata

( *args**kwargs ) → datasets.table.Table

Tham số

metadata (dict, mặc định là None) —

Trả về

datasets.table.Table

shallow_copy

THỰC NGHIỆM: Tạo bản sao nông của bảng bằng cách thay thế metadata key-value của schema bằng metadata mới được chỉ định (có thể là None, điều này sẽ xóa mọi metadata hiện có).

add_column

( *args**kwargs ) → datasets.table.Table

Tham số

i (int) — Chỉ số để đặt cột tại đó.
field_ (Union[str, pyarrow.Field]) — Nếu truyền vào một chuỗi, kiểu dữ liệu sẽ được suy ra từ dữ liệu của cột.
column (Union[pyarrow.Array, List[pyarrow.Array]]) — Dữ liệu cột.

Trả về

datasets.table.Table

Bảng mới với cột được truyền thêm vào.

Thêm cột vào Bảng tại vị trí.

Một bảng mới được trả về với cột đã được thêm vào, đối tượng bảng gốc không bị thay đổi.

append_column

( *args**kwargs ) → datasets.table.Table

Tham số

field_ (Union[str, pyarrow.Field]) — Nếu truyền vào một chuỗi, kiểu dữ liệu sẽ được suy ra từ dữ liệu của cột.
column (Union[pyarrow.Array, List[pyarrow.Array]]) — Dữ liệu cột.

Trả về

datasets.table.Table

Bảng mới với cột được truyền thêm vào.

Thêm cột vào cuối danh sách các cột.

remove_column

( i*args**kwargs ) → datasets.table.Table

Tham số

i (int) — Chỉ số của cột cần xóa.

Trả về

datasets.table.Table

Bảng mới không có cột.

Tạo Table mới với cột được chỉ định đã bị xóa.

set_column

( *args**kwargs ) → datasets.table.Table

Tham số

i (int) — Chỉ số để đặt cột tại đó.
field_ (Union[str, pyarrow.Field]) — Nếu truyền vào một chuỗi, kiểu dữ liệu sẽ được suy ra từ dữ liệu của cột.
column (Union[pyarrow.Array, List[pyarrow.Array]]) — Dữ liệu cột.

Trả về

datasets.table.Table

Bảng mới với bộ cột đã truyền.

Thay thế cột trong Bảng tại vị trí.

rename_columns

( names*args**kwargs )

Tạo bảng mới với các cột được đổi tên thành các tên đã cung cấp.

select

( columns*args**kwargs ) → datasets.table.Table

Tham số

columns (Union[List[str], List[int]]) — Tên cột hoặc chỉ số nguyên để chọn.

Trả về

datasets.table.Table

Bảng mới với các cột được chỉ định, và metadata được giữ nguyên.

Chọn các cột của bảng.

Trả về một bảng mới với các cột được chỉ định, và giữ nguyên các metadata.

drop

( columns*args**kwargs ) → datasets.table.Table

Tham số

columns (List[str]) — Danh sách tên trường tham chiếu đến các cột hiện có.

Trả về

datasets.table.Table

Bảng mới không có các cột.

Gây ra

KeyError

KeyError — : nếu bất kỳ tên cột nào được truyền vào không tồn tại.

Xóa một hoặc nhiều cột và trả về một bảng mới.

from_blocks

( blocks: ~TableBlockContainer )

from_tables

( tables: listaxis: int = 0 )

Tham số

tables (danh sách Table hoặc danh sách pyarrow.Table) — Danh sách các bảng.
axis ({0, 1}, mặc định là 0, có nghĩa là theo hàng) — Trục để ghép nối, trong đó 0 có nghĩa là theo hàng (theo chiều dọc) và 1 có nghĩa là theo cột (theo chiều ngang).

Được thêm vào 1.6.0

Tạo ConcatenationTable từ danh sách các bảng.

Công cụ

datasets.table.concat_tables

( tables: listaxis: int = 0 ) → datasets.table.Table

Tham số

tables (list of Table) — Danh sách các bảng cần được nối lại với nhau.
axis ({0, 1}, mặc định là 0, có nghĩa là theo hàng) — Trục để ghép nối, trong đó 0 có nghĩa là theo hàng (theo chiều dọc) và 1 có nghĩa là theo cột (theo chiều ngang).

Được thêm vào 1.6.0

Trả về

datasets.table.Table

Nếu số lượng bảng đầu vào > 1, thì bảng được trả về là datasets.table.ConcatenationTable. Ngược lại, nếu chỉ có một bảng, bảng đó được trả về nguyên vẹn.

Nối các bảng.

datasets.table.list_table_cache_files

( table: Table ) → List[str]

Trả về

List[str]

Danh sách các đường dẫn đến các tệp cache được bảng tải.

Lấy các tệp cache được nạp bởi bảng. Các tệp cache được sử dụng khi một phần của bảng được lấy từ đĩa thông qua ánh xạ bộ nhớ.

Update on GitHub

←Các phương thức tải Công cụ tiện ích→