Transformers documentation

파이프라인 유틸리티

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

파이프라인 유틸리티

이 페이지에서는 라이브러리가 파이프라인을 위해 제공하는 모든 유틸리티 함수를 나열합니다.

대부분은 라이브러리의 모델 코드를 연구하는 경우에만 유용합니다.

인수 처리

클래스 transformers.pipelines.ArgumentHandler

< >

( )

각 Pipeline의 인수를 처리하기 위한 기본 인터페이스입니다.

class transformers.pipelines.ZeroShotClassificationArgumentHandler

< >

( )

zero-shot 텍스트 분류를 위한 인수를 처리하며, 각 가능한 라벨을 NLI 전제/가설 쌍으로 변환합니다.

데이터 형식

class transformers.PipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )

매개변수

  • output_path (str) — 전송할 데이터를 저장할 위치.
  • input_path (str) — 입력 데이터를 찾을 위치.
  • column (str) — 읽을 열.
  • overwrite (bool, 선택 사항, 기본값 False) — output_path를 덮어쓸지 여부.

읽기 및 쓰기에 사용되는 모든 pipeline 지원 데이터 형식의 기본 클래스입니다. 현재 지원되는 데이터 형식은 다음과 같습니다:

  • JSON
  • CSV
  • stdin/stdout (파이프)

PipelineDataFormat에는 dataset_kwarg_1=dataset_column_1 형식을 통해 데이터셋의 열을 파이프라인의 키워드 인수로 매핑하는 등 여러 열을 다루는 유틸리티도 포함되어 있습니다.

from_str

< >

( format: stroutput_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False ) → PipelineDataFormat

매개변수

  • format (str) — 원하는 파이프라인의 형식입니다. 허용되는 값은 "json", "csv" 또는 "pipe"입니다.
  • output_path (str, 선택 사항) — 보낼 데이터를 저장할 위치.
  • input_path (str, 선택 사항) — 입력 데이터를 찾을 위치입니다.
  • column (str, 선택 사항) — 읽을 열.
  • overwrite (bool, 선택 사항, 기본값 False) — output_path를 덮어쓸지 여부.

적절한 데이터 형식.

format에 따라 PipelineDataFormat의 올바른 하위 클래스 인스턴스를 생성합니다.

저장

< >

( data: dict | list[dict] )

매개변수

  • data (dict 또는 dict 목록) — 저장할 데이터.

현재 PipelineDataFormat의 표현을 가진 제공된 데이터 객체를 저장합니다.

save_binary

< >

( data: dict | list[dict] ) → str

매개변수

  • data (dict 또는 dict 목록) — 저장할 데이터.

반환값

str

데이터가 저장된 경로입니다.

제공된 데이터 객체를 디스크에 pickle 형식의 바이너리 데이터로 저장합니다.

class transformers.CsvPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )

매개변수

  • output_path (str) — 전송할 데이터를 저장할 위치.
  • input_path (str) — 입력 데이터를 찾을 위치.
  • column (str) — 읽을 열.
  • overwrite (bool, 선택 사항, 기본값 False) — output_path를 덮어쓸지 여부.

CSV 데이터 형식을 사용하는 파이프라인에 대한 지원.

저장

< >

( data: list[dict] )

매개변수

  • data (list[dict]) — 저장할 데이터.

현재 PipelineDataFormat의 표현을 가진 제공된 데이터 객체를 저장합니다.

class transformers.JsonPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )

매개변수

  • output_path (str) — 전송할 데이터를 저장할 위치.
  • input_path (str) — 입력 데이터를 찾을 위치.
  • column (str) — 읽을 열.
  • overwrite (bool, 선택 사항, 기본값 False) — output_path를 덮어쓸지 여부.

JSON 파일 형식을 사용하는 파이프라인에 대한 지원.

저장

< >

( data: dict )

매개변수

  • data (dict) — 저장할 데이터.

제공된 데이터 객체를 json 파일에 저장합니다.

class transformers.PipedPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )

매개변수

  • output_path (str) — 전송할 데이터를 저장할 위치.
  • input_path (str) — 입력 데이터를 찾을 위치.
  • column (str) — 읽을 열.
  • overwrite (bool, 선택 사항, 기본값 False) — output_path를 덮어쓸지 여부.

python 프로세스에 파이프된 입력에서 데이터를 읽습니다. 여러 열이 있는 데이터의 경우, 열은

columns가 제공되면, 출력은 {column_x: value_x} 형식의 사전이 됩니다.

저장

< >

( data: dict )

매개변수

  • data (dict) — 저장할 데이터.

데이터를 출력합니다.

유틸리티

클래스 transformers.pipelines.PipelineException

< >

( task: strmodel: strreason: str )

매개변수

  • task (str) — 파이프라인의 작업입니다.
  • model (str) — 파이프라인에서 사용하는 모델.
  • reason (str) — 표시할 오류 메시지입니다.

call을 처리할 때 Pipeline에서 발생됩니다.

Update on GitHub