Transformers documentation
파이프라인 유틸리티
파이프라인 유틸리티
이 페이지에서는 라이브러리가 파이프라인을 위해 제공하는 모든 유틸리티 함수를 나열합니다.
대부분은 라이브러리의 모델 코드를 연구하는 경우에만 유용합니다.
인수 처리
각 Pipeline의 인수를 처리하기 위한 기본 인터페이스입니다.
zero-shot 텍스트 분류를 위한 인수를 처리하며, 각 가능한 라벨을 NLI 전제/가설 쌍으로 변환합니다.
데이터 형식
class transformers.PipelineDataFormat
< source >( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )
읽기 및 쓰기에 사용되는 모든 pipeline 지원 데이터 형식의 기본 클래스입니다. 현재 지원되는 데이터 형식은 다음과 같습니다:
- JSON
- CSV
- stdin/stdout (파이프)
PipelineDataFormat에는 dataset_kwarg_1=dataset_column_1 형식을 통해 데이터셋의 열을 파이프라인의 키워드 인수로 매핑하는 등 여러 열을 다루는 유틸리티도 포함되어 있습니다.
from_str
< source >( format: stroutput_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False ) → PipelineDataFormat
format에 따라 PipelineDataFormat의 올바른 하위 클래스 인스턴스를 생성합니다.
현재 PipelineDataFormat의 표현을 가진 제공된 데이터 객체를 저장합니다.
save_binary
< source >( data: dict | list[dict] ) → str
제공된 데이터 객체를 디스크에 pickle 형식의 바이너리 데이터로 저장합니다.
class transformers.CsvPipelineDataFormat
< source >( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )
CSV 데이터 형식을 사용하는 파이프라인에 대한 지원.
현재 PipelineDataFormat의 표현을 가진 제공된 데이터 객체를 저장합니다.
class transformers.JsonPipelineDataFormat
< source >( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )
JSON 파일 형식을 사용하는 파이프라인에 대한 지원.
제공된 데이터 객체를 json 파일에 저장합니다.
class transformers.PipedPipelineDataFormat
< source >( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )
python 프로세스에 파이프된 입력에서 데이터를 읽습니다. 여러 열이 있는 데이터의 경우, 열은
columns가 제공되면, 출력은 {column_x: value_x} 형식의 사전이 됩니다.
데이터를 출력합니다.
유틸리티
클래스 transformers.pipelines.PipelineException
< source >( task: strmodel: strreason: str )
call을 처리할 때 Pipeline에서 발생됩니다.