import{s as De,o as Oe,n as Ae}from"../chunks/scheduler.9bc65507.js";import{S as Pe,i as Ke,g as p,s as t,r as m,A as sa,h as i,f as e,c as n,j as Se,u as c,x as r,k as te,y as la,a,v as h,d as j,t as M,w as o,m as ea,n as aa}from"../chunks/index.707bf1b6.js";import{T as ne}from"../chunks/Tip.c2ecdbf4.js";import{C as J}from"../chunks/CodeBlock.54a9f38d.js";import{H as w,E as ta}from"../chunks/EditOnGithub.922df6ba.js";function na(U){let u,f='サポートされているタスクと利用可能なパラメータの完全な一覧については、<a href="/docs/transformers/pr_31098/ja/main_classes/pipelines#transformers.pipeline">pipeline()</a>のドキュメンテーションをご覧ください。';return{c(){u=p("p"),u.innerHTML=f},l(g){u=i(g,"P",{"data-svelte-h":!0}),r(u)!=="svelte-1af37fz"&&(u.innerHTML=f)},m(g,y){a(g,u,y)},p:Ae,d(g){g&&e(u)}}}function pa(U){let u;return{c(){u=ea("推論エンジンを作成することは複雑なトピックで、独自のページが必要です。")},l(f){u=aa(f,"推論エンジンを作成することは複雑なトピックで、独自のページが必要です。")},m(f,g){a(f,u,g)},d(f){f&&e(u)}}}function ia(U){let u,f='上記の例を実行するには、🤗 Transformersに加えて <a href="https://pypi.org/project/pytesseract/" rel="nofollow"><code>pytesseract</code></a> がインストールされている必要があります。',g,y,x;return y=new J({props:{code:"c3VkbyUyMGFwdCUyMGluc3RhbGwlMjAteSUyMHRlc3NlcmFjdC1vY3IlMEFwaXAlMjBpbnN0YWxsJTIwcHl0ZXNzZXJhY3Q=",highlighted:`sudo apt install -y tesseract-ocr
pip install pytesseract`,wrap:!1}}),{c(){u=p("p"),u.innerHTML=f,g=t(),m(y.$$.fragment)},l(T){u=i(T,"P",{"data-svelte-h":!0}),r(u)!=="svelte-tgab42"&&(u.innerHTML=f),g=n(T),c(y.$$.fragment,T)},m(T,b){a(T,u,b),a(T,g,b),h(y,T,b),x=!0},p:Ae,i(T){x||(j(y.$$.fragment,T),x=!0)},o(T){M(y.$$.fragment,T),x=!1},d(T){T&&(e(u),e(g)),o(y,T)}}}function ra(U){let u,f,g,y,x,T,b,pe=`<a href="/docs/transformers/pr_31098/ja/main_classes/pipelines#transformers.pipeline">pipeline()</a>を使用することで、<a href="https://huggingface.co/models" rel="nofollow">Hub</a>からの任意のモデルを言語、コンピュータビジョン、音声、およびマルチモーダルタスクの推論に簡単に使用できます。
特定のモダリティに関する経験がない場合や、モデルの背後にあるコードに精通していない場合でも、<a href="/docs/transformers/pr_31098/ja/main_classes/pipelines#transformers.pipeline">pipeline()</a>を使用して推論できます！
このチュートリアルでは、次のことを学びます：`,Ys,G,ie='<li>推論のための<a href="/docs/transformers/pr_31098/ja/main_classes/pipelines#transformers.pipeline">pipeline()</a>の使用方法。</li> <li>特定のトークナイザやモデルの使用方法。</li> <li>オーディオ、ビジョン、マルチモーダルタスクのための<a href="/docs/transformers/pr_31098/ja/main_classes/pipelines#transformers.pipeline">pipeline()</a>の使用方法。</li>',Ns,d,Qs,v,qs,k,re='各タスクには関連する<a href="/docs/transformers/pr_31098/ja/main_classes/pipelines#transformers.pipeline">pipeline()</a>がありますが、タスク固有の<a href="/docs/transformers/pr_31098/ja/main_classes/pipelines#transformers.pipeline">pipeline()</a>を使用する代わりに、すべてのタスク固有のパイプラインを含む一般的な<a href="/docs/transformers/pr_31098/ja/main_classes/pipelines#transformers.pipeline">pipeline()</a>の抽象化を使用すると、より簡単です。<a href="/docs/transformers/pr_31098/ja/main_classes/pipelines#transformers.pipeline">pipeline()</a>は自動的にデフォルトのモデルと、タスクの推論が可能な前処理クラスを読み込みます。',zs,W,me='<li><a href="/docs/transformers/pr_31098/ja/main_classes/pipelines#transformers.pipeline">pipeline()</a>を作成し、推論タスクを指定して始めます：</li>',Ls,B,Fs,$,ce='<li><a href="/docs/transformers/pr_31098/ja/main_classes/pipelines#transformers.pipeline">pipeline()</a>に入力テキストを渡します：</li>',Ss,R,As,C,he=`チェックアウトできなかったか？ <a href="https://huggingface.co/models?pipeline_tag=automatic-speech-recognition&amp;sort=downloads" rel="nofollow">Hubの最もダウンロードされた自動音声認識モデル</a> のいくつかを見て、より良い転写を得ることができるかどうかを確認してみてください。
<a href="https://huggingface.co/openai/whisper-large" rel="nofollow">openai/whisper-large</a> を試してみましょう：`,Ds,_,Os,V,je=`この結果はより正確に見えますね！
異なる言語、専門分野に特化したモデル、その他のモデルについては、Hubをチェックすることを強くお勧めします。
Hubでは、ブラウザから直接モデルの結果をチェックして、他のモデルよりも適しているか、特殊なケースをよりよく処理できるかを確認できます。
そして、あなたのユースケースに適したモデルが見つからない場合、いつでも<a href="training">トレーニング</a>を開始できます！`,Ps,X,Me="複数の入力がある場合、入力をリストとして渡すことができます：",Ks,H,sl,E,oe="データセット全体を繰り返し処理したり、ウェブサーバーで推論に使用したい場合は、専用の部分をチェックしてください。",ll,Y,ue='<a href="#using-pipeline-in-a-dataset">データセットでパイプラインを使用する</a>',el,N,Te='<a href="./pipeline_webserver">ウェブサーバーでパイプラインを使用する</a>',al,Q,tl,q,ge=`<a href="/docs/transformers/pr_31098/ja/main_classes/pipelines#transformers.pipeline">pipeline()</a>は多くのパラメータをサポートしており、一部はタスク固有であり、一部はすべてのパイプラインに共通です。
一般的には、どこでもパラメータを指定できます：`,nl,z,pl,L,Je="3つの重要なものを確認しましょう：",il,F,rl,S,fe=`<code>device=n</code> を使用すると、パイプラインはモデルを指定したデバイスに自動的に配置します。
これは、PyTorchまたはTensorflowを使用しているかどうかに関係なく機能します。`,ml,A,cl,D,ye='もしモデルが単一のGPUには大きすぎる場合、<code>device_map=&quot;auto&quot;</code>を設定して、🤗 <a href="https://huggingface.co/docs/accelerate" rel="nofollow">Accelerate</a> にモデルの重みをどのようにロードし、保存するかを自動的に決定させることができます。',hl,O,jl,P,xe="注意: <code>device_map=&quot;auto&quot;</code> が渡された場合、<code>pipeline</code> をインスタンス化する際に <code>device=device</code> 引数を追加する必要はありません。そうしないと、予期しない動作に遭遇する可能性があります！",Ml,K,ol,ss,we='デフォルトでは、パイプラインは詳細について<a href="https://huggingface.co/docs/transformers/main_classes/pipelines#pipeline-batching" rel="nofollow">こちら</a>で説明されている理由から、推論をバッチ処理しません。その理由は、バッチ処理が必ずしも速くないためであり、実際にはいくつかのケースでかなり遅くなることがあるからです。',ul,ls,be="ただし、あなたのユースケースで機能する場合は、次のように使用できます：",Tl,es,gl,as,Ue=`これにより、パイプラインは提供された10個のオーディオファイルでパイプラインを実行しますが、
モデルにはバッチ処理がより効果的であるGPU上にあり、バッチ処理を行うための追加のコードは必要ありません。
出力は常にバッチ処理なしで受け取ったものと一致するはずです。これは単にパイプラインからより高速な処理を得るための方法として提供されています。`,Jl,ts,de=`パイプラインは、バッチ処理のいくつかの複雑さを軽減することもできます。なぜなら、一部のパイプラインでは、
モデルで処理するために1つのアイテム（長いオーディオファイルのようなもの）を複数の部分に分割する必要がある場合があるからです。
パイプラインはこれをあなたのために実行します。<a href="./main_classes/pipelines#pipeline-chunk-batching"><em>チャンクバッチ処理</em></a>として知られるものを実行します。`,fl,ns,yl,ps,$e=`すべてのタスクは、タスク固有のパラメータを提供し、追加の柔軟性とオプションを提供して、作業をスムーズに進めるのに役立ちます。
たとえば、<a href="/docs/transformers/pr_31098/ja/main_classes/pipelines#transformers.AutomaticSpeechRecognitionPipeline.__call__">transformers.AutomaticSpeechRecognitionPipeline.<strong>call</strong>()</a>メソッドには、ビデオの字幕作成に有用な<code>return_timestamps</code>パラメータがあります。`,xl,is,wl,rs,Ze="モデルは、テキストを推測し、文の中で各単語がいつ発音されたかを出力しました。",bl,ms,Ie=`各タスクごとに利用可能な多くのパラメータがありますので、何を調整できるかを確認するために各タスクのAPIリファレンスを確認してください！
たとえば、<a href="/docs/transformers/pr_31098/ja/main_classes/pipelines#transformers.AutomaticSpeechRecognitionPipeline">AutomaticSpeechRecognitionPipeline</a>には、モデル単体では処理できない非常に長いオーディオファイル（たとえば、映画全体や1時間のビデオの字幕付けなど）で役立つ<code>chunk_length_s</code>パラメータがあります。`,Ul,cs,Ge='役立つパラメータが見つからない場合は、<a href="https://github.com/huggingface/transformers/issues/new?assignees=&amp;labels=feature&amp;template=feature-request.yml" rel="nofollow">リクエスト</a>してください！',dl,hs,$l,js,ve="パイプラインは大規模なデータセット上で推論を実行することもできます。これを行う最も簡単な方法は、イテレータを使用することです：",Zl,Ms,Il,os,ke=`イテレーター <code>data()</code> は各結果を生成し、パイプラインは自動的に入力が反復可能であることを認識し、データを取得し続けながらGPU上で処理を行います（これは<a href="https://pytorch.org/docs/stable/data.html#torch.utils.data.DataLoader" rel="nofollow">DataLoader</a>を内部で使用しています）。
これは、データセット全体にメモリを割り当てる必要がなく、GPUにできるだけ速くデータを供給できるため重要です。`,Gl,us,We="バッチ処理は処理を高速化できる可能性があるため、ここで<code>batch_size</code>パラメータを調整して試すことが役立つかもしれません。",vl,Ts,Be='データセットを反復処理する最も簡単な方法は、🤗 <a href="https://github.com/huggingface/datasets/" rel="nofollow">Datasets</a>からデータセットを読み込むことです：',kl,gs,Wl,Js,Bl,Z,Rl,fs,Re='<a href="./pipeline_webserver">リンク</a>',Cl,ys,_l,xs,Ce='ビジョンタスク用の<a href="/docs/transformers/pr_31098/ja/main_classes/pipelines#transformers.pipeline">pipeline()</a>を使用する方法はほぼ同じです。',Vl,ws,_e="タスクを指定し、画像をクラシファイアに渡します。画像はリンク、ローカルパス、またはBase64エンコードされた画像であることができます。例えば、以下の画像はどの種類の猫ですか？",Xl,bs,Ve='<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg" alt="pipeline-cat-chonk"/>',Hl,Us,El,ds,Yl,$s,Xe='<a href="/docs/transformers/pr_31098/ja/main_classes/pipelines#transformers.pipeline">pipeline()</a>を使用することは、NLPタスクに対してほぼ同じです。',Nl,Zs,Ql,Is,ql,Gs,He=`<a href="/docs/transformers/pr_31098/ja/main_classes/pipelines#transformers.pipeline">pipeline()</a>は、1つ以上のモダリティをサポートしています。たとえば、視覚的な質問応答（VQA）タスクはテキストと画像を組み合わせています。
好きな画像リンクと画像に関する質問を自由に使ってください。画像はURLまたは画像のローカルパスで指定できます。`,zl,vs,Ee='例えば、この<a href="https://huggingface.co/spaces/impira/docquery/resolve/2359223c1837a7587402bda0f2643382a6eefeab/invoice.png" rel="nofollow">請求書画像</a>を使用する場合：',Ll,ks,Fl,I,Sl,Ws,Al,Bs,Ye="まず、<code>accelerate</code> を<code>pip install accelerate</code> でインストールしていることを確認してください。",Dl,Rs,Ne="次に、<code>device_map=&quot;auto&quot;</code> を使用してモデルをロードします。この例では <code>facebook/opt-1.3b</code> を使用します。",Ol,Cs,Pl,_s,Qe="もし <code>bitsandbytes</code> をインストールし、<code>load_in_8bit=True</code> 引数を追加すれば、8ビットで読み込まれたモデルを渡すこともできます。",Kl,Vs,se,Xs,qe="注意: BLOOMなどの大規模モデルのロードをサポートするHugging Faceモデルのいずれかで、チェックポイントを置き換えることができます！",le,Hs,ee,Es,ae;return x=new w({props:{title:"Pipelines for inference",local:"pipelines-for-inference",headingTag:"h1"}}),d=new ne({props:{$$slots:{default:[na]},$$scope:{ctx:U}}}),v=new w({props:{title:"Pipeline usage",local:"pipeline-usage",headingTag:"h2"}}),B=new J({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBZ2VuZXJhdG9yJTIwJTNEJTIwcGlwZWxpbmUodGFzayUzRCUyMmF1dG9tYXRpYy1zcGVlY2gtcmVjb2duaXRpb24lMjIp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

<span class="hljs-meta">&gt;&gt;&gt; </span>generator = pipeline(task=<span class="hljs-string">&quot;automatic-speech-recognition&quot;</span>)`,wrap:!1}}),R=new J({props:{code:"Z2VuZXJhdG9yKCUyMmh0dHBzJTNBJTJGJTJGaHVnZ2luZ2ZhY2UuY28lMkZkYXRhc2V0cyUyRk5hcnNpbCUyRmFzcl9kdW1teSUyRnJlc29sdmUlMkZtYWluJTJGbWxrLmZsYWMlMjIp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>generator(<span class="hljs-string">&quot;https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/mlk.flac&quot;</span>)
{<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;I HAVE A DREAM BUT ONE DAY THIS NATION WILL RISE UP LIVE UP THE TRUE MEANING OF ITS TREES&#x27;</span>}`,wrap:!1}}),_=new J({props:{code:"Z2VuZXJhdG9yJTIwJTNEJTIwcGlwZWxpbmUobW9kZWwlM0QlMjJvcGVuYWklMkZ3aGlzcGVyLWxhcmdlJTIyKSUwQWdlbmVyYXRvciglMjJodHRwcyUzQSUyRiUyRmh1Z2dpbmdmYWNlLmNvJTJGZGF0YXNldHMlMkZOYXJzaWwlMkZhc3JfZHVtbXklMkZyZXNvbHZlJTJGbWFpbiUyRm1say5mbGFjJTIyKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>generator = pipeline(model=<span class="hljs-string">&quot;openai/whisper-large&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>generator(<span class="hljs-string">&quot;https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/mlk.flac&quot;</span>)
{<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27; I have a dream that one day this nation will rise up and live out the true meaning of its creed.&#x27;</span>}`,wrap:!1}}),H=new J({props:{code:"Z2VuZXJhdG9yKCUwQSUyMCUyMCUyMCUyMCU1QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMmh0dHBzJTNBJTJGJTJGaHVnZ2luZ2ZhY2UuY28lMkZkYXRhc2V0cyUyRk5hcnNpbCUyRmFzcl9kdW1teSUyRnJlc29sdmUlMkZtYWluJTJGbWxrLmZsYWMlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjJodHRwcyUzQSUyRiUyRmh1Z2dpbmdmYWNlLmNvJTJGZGF0YXNldHMlMkZOYXJzaWwlMkZhc3JfZHVtbXklMkZyZXNvbHZlJTJGbWFpbiUyRjEuZmxhYyUyMiUyQyUwQSUyMCUyMCUyMCUyMCU1RCUwQSk=",highlighted:`generator(
    [
        <span class="hljs-string">&quot;https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/mlk.flac&quot;</span>,
        <span class="hljs-string">&quot;https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/1.flac&quot;</span>,
    ]
)`,wrap:!1}}),Q=new w({props:{title:"パラメータ",local:"パラメータ",headingTag:"h2"}}),z=new J({props:{code:"Z2VuZXJhdG9yJTIwJTNEJTIwcGlwZWxpbmUobW9kZWwlM0QlMjJvcGVuYWklMkZ3aGlzcGVyLWxhcmdlJTIyJTJDJTIwbXlfcGFyYW1ldGVyJTNEMSklMEFvdXQlMjAlM0QlMjBnZW5lcmF0b3IoLi4uKSUyMCUyMCUyMyUyMCVFMyU4MSU5MyVFMyU4MiU4QyVFMyU4MSVBRiUyMCU2MG15X3BhcmFtZXRlciUzRDElNjAlMjAlRTMlODIlOTIlRTQlQkQlQkYlRTclOTQlQTglRTMlODElOTclRTMlODElQkUlRTMlODElOTklRTMlODAlODIlMEFvdXQlMjAlM0QlMjBnZW5lcmF0b3IoLi4uJTJDJTIwbXlfcGFyYW1ldGVyJTNEMiklMjAlMjAlMjMlMjAlRTMlODElOTMlRTMlODIlOEMlRTMlODElQUYlRTQlQjglOEElRTYlOUIlQjglRTMlODElOEQlRTMlODElOTclRTMlODElQTYlMjAlNjBteV9wYXJhbWV0ZXIlM0QyJTYwJTIwJUUzJTgyJTkyJUU0JUJEJUJGJUU3JTk0JUE4JUUzJTgxJTk3JUUzJTgxJUJFJUUzJTgxJTk5JUUzJTgwJTgyJTBBb3V0JTIwJTNEJTIwZ2VuZXJhdG9yKC4uLiklMjAlMjAlMjMlMjAlRTMlODElOTMlRTMlODIlOEMlRTMlODElQUYlRTUlODYlOEQlRTMlODElQjMlMjAlNjBteV9wYXJhbWV0ZXIlM0QxJTYwJTIwJUUzJTgyJTkyJUU0JUJEJUJGJUU3JTk0JUE4JUUzJTgxJTk3JUUzJTgxJUJFJUUzJTgxJTk5JUUzJTgwJTgy",highlighted:'generator = pipeline(model=<span class="hljs-string">&quot;openai/whisper-large&quot;</span>, my_parameter=<span class="hljs-number">1</span>)\nout = generator(...)  <span class="hljs-comment"># これは `my_parameter=1` を使用します。</span>\nout = generator(..., my_parameter=<span class="hljs-number">2</span>)  <span class="hljs-comment"># これは上書きして `my_parameter=2` を使用します。</span>\nout = generator(...)  <span class="hljs-comment"># これは再び `my_parameter=1` を使用します。</span>',wrap:!1}}),F=new w({props:{title:"Device",local:"device",headingTag:"h3"}}),A=new J({props:{code:"Z2VuZXJhdG9yJTIwJTNEJTIwcGlwZWxpbmUobW9kZWwlM0QlMjJvcGVuYWklMkZ3aGlzcGVyLWxhcmdlJTIyJTJDJTIwZGV2aWNlJTNEMCk=",highlighted:'generator = pipeline(model=<span class="hljs-string">&quot;openai/whisper-large&quot;</span>, device=<span class="hljs-number">0</span>)',wrap:!1}}),O=new J({props:{code:"JTIzIXBpcCUyMGluc3RhbGwlMjBhY2NlbGVyYXRlJTBBZ2VuZXJhdG9yJTIwJTNEJTIwcGlwZWxpbmUobW9kZWwlM0QlMjJvcGVuYWklMkZ3aGlzcGVyLWxhcmdlJTIyJTJDJTIwZGV2aWNlX21hcCUzRCUyMmF1dG8lMjIp",highlighted:`<span class="hljs-comment">#!pip install accelerate</span>
generator = pipeline(model=<span class="hljs-string">&quot;openai/whisper-large&quot;</span>, device_map=<span class="hljs-string">&quot;auto&quot;</span>)`,wrap:!1}}),K=new w({props:{title:"Batch size",local:"batch-size",headingTag:"h3"}}),es=new J({props:{code:"Z2VuZXJhdG9yJTIwJTNEJTIwcGlwZWxpbmUobW9kZWwlM0QlMjJvcGVuYWklMkZ3aGlzcGVyLWxhcmdlJTIyJTJDJTIwZGV2aWNlJTNEMCUyQyUyMGJhdGNoX3NpemUlM0QyKSUwQWF1ZGlvX2ZpbGVuYW1lcyUyMCUzRCUyMCU1QmYlMjJhdWRpb18lN0JpJTdELmZsYWMlMjIlMjBmb3IlMjBpJTIwaW4lMjByYW5nZSgxMCklNUQlMEF0ZXh0cyUyMCUzRCUyMGdlbmVyYXRvcihhdWRpb19maWxlbmFtZXMp",highlighted:`generator = pipeline(model=<span class="hljs-string">&quot;openai/whisper-large&quot;</span>, device=<span class="hljs-number">0</span>, batch_size=<span class="hljs-number">2</span>)
audio_filenames = [<span class="hljs-string">f&quot;audio_<span class="hljs-subst">{i}</span>.flac&quot;</span> <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">10</span>)]
texts = generator(audio_filenames)`,wrap:!1}}),ns=new w({props:{title:"Task specific parameters",local:"task-specific-parameters",headingTag:"h3"}}),is=new J({props:{code:"JTIzJTIwTm90JTIwdXNpbmclMjB3aGlzcGVyJTJDJTIwYXMlMjBpdCUyMGNhbm5vdCUyMHByb3ZpZGUlMjB0aW1lc3RhbXBzLiUwQWdlbmVyYXRvciUyMCUzRCUyMHBpcGVsaW5lKG1vZGVsJTNEJTIyZmFjZWJvb2slMkZ3YXYydmVjMi1sYXJnZS05NjBoLWx2NjAtc2VsZiUyMiUyQyUyMHJldHVybl90aW1lc3RhbXBzJTNEJTIyd29yZCUyMiklMEFnZW5lcmF0b3IoJTIyaHR0cHMlM0ElMkYlMkZodWdnaW5nZmFjZS5jbyUyRmRhdGFzZXRzJTJGTmFyc2lsJTJGYXNyX2R1bW15JTJGcmVzb2x2ZSUyRm1haW4lMkZtbGsuZmxhYyUyMik=",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-comment"># Not using whisper, as it cannot provide timestamps.</span>
<span class="hljs-meta">&gt;&gt;&gt; </span>generator = pipeline(model=<span class="hljs-string">&quot;facebook/wav2vec2-large-960h-lv60-self&quot;</span>, return_timestamps=<span class="hljs-string">&quot;word&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>generator(<span class="hljs-string">&quot;https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/mlk.flac&quot;</span>)
{<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;I HAVE A DREAM BUT ONE DAY THIS NATION WILL RISE UP AND LIVE OUT THE TRUE MEANING OF ITS CREED&#x27;</span>, <span class="hljs-string">&#x27;chunks&#x27;</span>: [{<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;I&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">1.22</span>, <span class="hljs-number">1.24</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;HAVE&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">1.42</span>, <span class="hljs-number">1.58</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;A&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">1.66</span>, <span class="hljs-number">1.68</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;DREAM&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">1.76</span>, <span class="hljs-number">2.14</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;BUT&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">3.68</span>, <span class="hljs-number">3.8</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;ONE&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">3.94</span>, <span class="hljs-number">4.06</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;DAY&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">4.16</span>, <span class="hljs-number">4.3</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;THIS&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">6.36</span>, <span class="hljs-number">6.54</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;NATION&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">6.68</span>, <span class="hljs-number">7.1</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;WILL&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">7.32</span>, <span class="hljs-number">7.56</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;RISE&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">7.8</span>, <span class="hljs-number">8.26</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;UP&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">8.38</span>, <span class="hljs-number">8.48</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;AND&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">10.08</span>, <span class="hljs-number">10.18</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;LIVE&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">10.26</span>, <span class="hljs-number">10.48</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;OUT&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">10.58</span>, <span class="hljs-number">10.7</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;THE&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">10.82</span>, <span class="hljs-number">10.9</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;TRUE&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">10.98</span>, <span class="hljs-number">11.18</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;MEANING&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">11.26</span>, <span class="hljs-number">11.58</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;OF&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">11.66</span>, <span class="hljs-number">11.7</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;ITS&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">11.76</span>, <span class="hljs-number">11.88</span>)}, {<span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;CREED&#x27;</span>, <span class="hljs-string">&#x27;timestamp&#x27;</span>: (<span class="hljs-number">12.0</span>, <span class="hljs-number">12.38</span>)}]}`,wrap:!1}}),hs=new w({props:{title:"Using pipeline in a dataset",local:"using-pipeline-in-a-dataset",headingTag:"h2"}}),Ms=new J({props:{code:"ZGVmJTIwZGF0YSgpJTNBJTBBJTIwJTIwJTIwJTIwZm9yJTIwaSUyMGluJTIwcmFuZ2UoMTAwMCklM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB5aWVsZCUyMGYlMjJNeSUyMGV4YW1wbGUlMjAlN0JpJTdEJTIyJTBBJTBBJTBBcGlwZSUyMCUzRCUyMHBpcGVsaW5lKG1vZGVsJTNEJTIyb3BlbmFpLWNvbW11bml0eSUyRmdwdDIlMjIlMkMlMjBkZXZpY2UlM0QwKSUwQWdlbmVyYXRlZF9jaGFyYWN0ZXJzJTIwJTNEJTIwMCUwQWZvciUyMG91dCUyMGluJTIwcGlwZShkYXRhKCkpJTNBJTBBJTIwJTIwJTIwJTIwZ2VuZXJhdGVkX2NoYXJhY3RlcnMlMjAlMkIlM0QlMjBsZW4ob3V0JTVCMCU1RCU1QiUyMmdlbmVyYXRlZF90ZXh0JTIyJTVEKQ==",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">data</span>():
    <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">1000</span>):
        <span class="hljs-keyword">yield</span> <span class="hljs-string">f&quot;My example <span class="hljs-subst">{i}</span>&quot;</span>


pipe = pipeline(model=<span class="hljs-string">&quot;openai-community/gpt2&quot;</span>, device=<span class="hljs-number">0</span>)
generated_characters = <span class="hljs-number">0</span>
<span class="hljs-keyword">for</span> out <span class="hljs-keyword">in</span> pipe(data()):
    generated_characters += <span class="hljs-built_in">len</span>(out[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;generated_text&quot;</span>])`,wrap:!1}}),gs=new J({props:{code:"JTIzJTIwS2V5RGF0YXNldCUyMGlzJTIwYSUyMHV0aWwlMjB0aGF0JTIwd2lsbCUyMGp1c3QlMjBvdXRwdXQlMjB0aGUlMjBpdGVtJTIwd2UncmUlMjBpbnRlcmVzdGVkJTIwaW4uJTBBZnJvbSUyMHRyYW5zZm9ybWVycy5waXBlbGluZXMucHRfdXRpbHMlMjBpbXBvcnQlMjBLZXlEYXRhc2V0JTBBZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBcGlwZSUyMCUzRCUyMHBpcGVsaW5lKG1vZGVsJTNEJTIyaGYtaW50ZXJuYWwtdGVzdGluZyUyRnRpbnktcmFuZG9tLXdhdjJ2ZWMyJTIyJTJDJTIwZGV2aWNlJTNEMCklMEFkYXRhc2V0JTIwJTNEJTIwbG9hZF9kYXRhc2V0KCUyMmhmLWludGVybmFsLXRlc3RpbmclMkZsaWJyaXNwZWVjaF9hc3JfZHVtbXklMjIlMkMlMjAlMjJjbGVhbiUyMiUyQyUyMHNwbGl0JTNEJTIydmFsaWRhdGlvbiU1QiUzQTEwJTVEJTIyKSUwQSUwQWZvciUyMG91dCUyMGluJTIwcGlwZShLZXlEYXRhc2V0KGRhdGFzZXQlMkMlMjAlMjJhdWRpbyUyMikpJTNBJTBBJTIwJTIwJTIwJTIwcHJpbnQob3V0KQ==",highlighted:`<span class="hljs-comment"># KeyDataset is a util that will just output the item we&#x27;re interested in.</span>
<span class="hljs-keyword">from</span> transformers.pipelines.pt_utils <span class="hljs-keyword">import</span> KeyDataset
<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

pipe = pipeline(model=<span class="hljs-string">&quot;hf-internal-testing/tiny-random-wav2vec2&quot;</span>, device=<span class="hljs-number">0</span>)
dataset = load_dataset(<span class="hljs-string">&quot;hf-internal-testing/librispeech_asr_dummy&quot;</span>, <span class="hljs-string">&quot;clean&quot;</span>, split=<span class="hljs-string">&quot;validation[:10]&quot;</span>)

<span class="hljs-keyword">for</span> out <span class="hljs-keyword">in</span> pipe(KeyDataset(dataset, <span class="hljs-string">&quot;audio&quot;</span>)):
    <span class="hljs-built_in">print</span>(out)`,wrap:!1}}),Js=new w({props:{title:"Using pipelines for a webserver",local:"using-pipelines-for-a-webserver",headingTag:"h2"}}),Z=new ne({props:{$$slots:{default:[pa]},$$scope:{ctx:U}}}),ys=new w({props:{title:"Vision pipeline",local:"vision-pipeline",headingTag:"h2"}}),Us=new J({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBdmlzaW9uX2NsYXNzaWZpZXIlMjAlM0QlMjBwaXBlbGluZShtb2RlbCUzRCUyMmdvb2dsZSUyRnZpdC1iYXNlLXBhdGNoMTYtMjI0JTIyKSUwQXByZWRzJTIwJTNEJTIwdmlzaW9uX2NsYXNzaWZpZXIoJTBBJTIwJTIwJTIwJTIwaW1hZ2VzJTNEJTIyaHR0cHMlM0ElMkYlMkZodWdnaW5nZmFjZS5jbyUyRmRhdGFzZXRzJTJGaHVnZ2luZ2ZhY2UlMkZkb2N1bWVudGF0aW9uLWltYWdlcyUyRnJlc29sdmUlMkZtYWluJTJGcGlwZWxpbmUtY2F0LWNob25rLmpwZWclMjIlMEEpJTBBcHJlZHMlMjAlM0QlMjAlNUIlN0IlMjJzY29yZSUyMiUzQSUyMHJvdW5kKHByZWQlNUIlMjJzY29yZSUyMiU1RCUyQyUyMDQpJTJDJTIwJTIybGFiZWwlMjIlM0ElMjBwcmVkJTVCJTIybGFiZWwlMjIlNUQlN0QlMjBmb3IlMjBwcmVkJTIwaW4lMjBwcmVkcyU1RCUwQXByZWRz",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

<span class="hljs-meta">&gt;&gt;&gt; </span>vision_classifier = pipeline(model=<span class="hljs-string">&quot;google/vit-base-patch16-224&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>preds = vision_classifier(
<span class="hljs-meta">... </span>    images=<span class="hljs-string">&quot;https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg&quot;</span>
<span class="hljs-meta">... </span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>preds = [{<span class="hljs-string">&quot;score&quot;</span>: <span class="hljs-built_in">round</span>(pred[<span class="hljs-string">&quot;score&quot;</span>], <span class="hljs-number">4</span>), <span class="hljs-string">&quot;label&quot;</span>: pred[<span class="hljs-string">&quot;label&quot;</span>]} <span class="hljs-keyword">for</span> pred <span class="hljs-keyword">in</span> preds]
<span class="hljs-meta">&gt;&gt;&gt; </span>preds
[{<span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.4335</span>, <span class="hljs-string">&#x27;label&#x27;</span>: <span class="hljs-string">&#x27;lynx, catamount&#x27;</span>}, {<span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.0348</span>, <span class="hljs-string">&#x27;label&#x27;</span>: <span class="hljs-string">&#x27;cougar, puma, catamount, mountain lion, painter, panther, Felis concolor&#x27;</span>}, {<span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.0324</span>, <span class="hljs-string">&#x27;label&#x27;</span>: <span class="hljs-string">&#x27;snow leopard, ounce, Panthera uncia&#x27;</span>}, {<span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.0239</span>, <span class="hljs-string">&#x27;label&#x27;</span>: <span class="hljs-string">&#x27;Egyptian cat&#x27;</span>}, {<span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.0229</span>, <span class="hljs-string">&#x27;label&#x27;</span>: <span class="hljs-string">&#x27;tiger cat&#x27;</span>}]`,wrap:!1}}),ds=new w({props:{title:"Text pipeline",local:"text-pipeline",headingTag:"h2"}}),Zs=new J({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBJTIzJTIwVGhpcyUyMG1vZGVsJTIwaXMlMjBhJTIwJTYwemVyby1zaG90LWNsYXNzaWZpY2F0aW9uJTYwJTIwbW9kZWwuJTBBJTIzJTIwSXQlMjB3aWxsJTIwY2xhc3NpZnklMjB0ZXh0JTJDJTIwZXhjZXB0JTIweW91JTIwYXJlJTIwZnJlZSUyMHRvJTIwY2hvb3NlJTIwYW55JTIwbGFiZWwlMjB5b3UlMjBtaWdodCUyMGltYWdpbmUlMEFjbGFzc2lmaWVyJTIwJTNEJTIwcGlwZWxpbmUobW9kZWwlM0QlMjJmYWNlYm9vayUyRmJhcnQtbGFyZ2UtbW5saSUyMiklMEFjbGFzc2lmaWVyKCUwQSUyMCUyMCUyMCUyMCUyMkklMjBoYXZlJTIwYSUyMHByb2JsZW0lMjB3aXRoJTIwbXklMjBpcGhvbmUlMjB0aGF0JTIwbmVlZHMlMjB0byUyMGJlJTIwcmVzb2x2ZWQlMjBhc2FwISElMjIlMkMlMEElMjAlMjAlMjAlMjBjYW5kaWRhdGVfbGFiZWxzJTNEJTVCJTIydXJnZW50JTIyJTJDJTIwJTIybm90JTIwdXJnZW50JTIyJTJDJTIwJTIycGhvbmUlMjIlMkMlMjAlMjJ0YWJsZXQlMjIlMkMlMjAlMjJjb21wdXRlciUyMiU1RCUyQyUwQSk=",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-comment"># This model is a \`zero-shot-classification\` model.</span>
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-comment"># It will classify text, except you are free to choose any label you might imagine</span>
<span class="hljs-meta">&gt;&gt;&gt; </span>classifier = pipeline(model=<span class="hljs-string">&quot;facebook/bart-large-mnli&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>classifier(
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;I have a problem with my iphone that needs to be resolved asap!!&quot;</span>,
<span class="hljs-meta">... </span>    candidate_labels=[<span class="hljs-string">&quot;urgent&quot;</span>, <span class="hljs-string">&quot;not urgent&quot;</span>, <span class="hljs-string">&quot;phone&quot;</span>, <span class="hljs-string">&quot;tablet&quot;</span>, <span class="hljs-string">&quot;computer&quot;</span>],
<span class="hljs-meta">... </span>)
{<span class="hljs-string">&#x27;sequence&#x27;</span>: <span class="hljs-string">&#x27;I have a problem with my iphone that needs to be resolved asap!!&#x27;</span>, <span class="hljs-string">&#x27;labels&#x27;</span>: [<span class="hljs-string">&#x27;urgent&#x27;</span>, <span class="hljs-string">&#x27;phone&#x27;</span>, <span class="hljs-string">&#x27;computer&#x27;</span>, <span class="hljs-string">&#x27;not urgent&#x27;</span>, <span class="hljs-string">&#x27;tablet&#x27;</span>], <span class="hljs-string">&#x27;scores&#x27;</span>: [<span class="hljs-number">0.504</span>, <span class="hljs-number">0.479</span>, <span class="hljs-number">0.013</span>, <span class="hljs-number">0.003</span>, <span class="hljs-number">0.002</span>]}`,wrap:!1}}),Is=new w({props:{title:"Multimodal pipeline",local:"multimodal-pipeline",headingTag:"h2"}}),ks=new J({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBdnFhJTIwJTNEJTIwcGlwZWxpbmUobW9kZWwlM0QlMjJpbXBpcmElMkZsYXlvdXRsbS1kb2N1bWVudC1xYSUyMiklMEFvdXRwdXQlMjAlM0QlMjB2cWEoJTBBJTIwJTIwJTIwJTIwaW1hZ2UlM0QlMjJodHRwcyUzQSUyRiUyRmh1Z2dpbmdmYWNlLmNvJTJGc3BhY2VzJTJGaW1waXJhJTJGZG9jcXVlcnklMkZyZXNvbHZlJTJGMjM1OTIyM2MxODM3YTc1ODc0MDJiZGEwZjI2NDMzODJhNmVlZmVhYiUyRmludm9pY2UucG5nJTIyJTJDJTBBJTIwJTIwJTIwJTIwcXVlc3Rpb24lM0QlMjJXaGF0JTIwaXMlMjB0aGUlMjBpbnZvaWNlJTIwbnVtYmVyJTNGJTIyJTJDJTBBKSUwQW91dHB1dCU1QjAlNUQlNUIlMjJzY29yZSUyMiU1RCUyMCUzRCUyMHJvdW5kKG91dHB1dCU1QjAlNUQlNUIlMjJzY29yZSUyMiU1RCUyQyUyMDMpJTBBb3V0cHV0",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

<span class="hljs-meta">&gt;&gt;&gt; </span>vqa = pipeline(model=<span class="hljs-string">&quot;impira/layoutlm-document-qa&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>output = vqa(
<span class="hljs-meta">... </span>    image=<span class="hljs-string">&quot;https://huggingface.co/spaces/impira/docquery/resolve/2359223c1837a7587402bda0f2643382a6eefeab/invoice.png&quot;</span>,
<span class="hljs-meta">... </span>    question=<span class="hljs-string">&quot;What is the invoice number?&quot;</span>,
<span class="hljs-meta">... </span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>output[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;score&quot;</span>] = <span class="hljs-built_in">round</span>(output[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;score&quot;</span>], <span class="hljs-number">3</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>output
[{<span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.425</span>, <span class="hljs-string">&#x27;answer&#x27;</span>: <span class="hljs-string">&#x27;us-001&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">16</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">16</span>}]`,wrap:!1}}),I=new ne({props:{$$slots:{default:[ia]},$$scope:{ctx:U}}}),Ws=new w({props:{title:"Using pipeline on large models with 🤗 accelerate :",local:"using-pipeline-on-large-models-with--accelerate-",headingTag:"h2"}}),Cs=new J({props:{code:"JTIzJTIwcGlwJTIwaW5zdGFsbCUyMGFjY2VsZXJhdGUlMEFpbXBvcnQlMjB0b3JjaCUwQWZyb20lMjB0cmFuc2Zvcm1lcnMlMjBpbXBvcnQlMjBwaXBlbGluZSUwQSUwQXBpcGUlMjAlM0QlMjBwaXBlbGluZShtb2RlbCUzRCUyMmZhY2Vib29rJTJGb3B0LTEuM2IlMjIlMkMlMjB0b3JjaF9kdHlwZSUzRHRvcmNoLmJmbG9hdDE2JTJDJTIwZGV2aWNlX21hcCUzRCUyMmF1dG8lMjIpJTBBb3V0cHV0JTIwJTNEJTIwcGlwZSglMjIlRTMlODElOTMlRTMlODIlOEMlRTMlODElQUYlRTclQjQlQTAlRTYlOTklQjQlRTMlODIlODklRTMlODElOTclRTMlODElODQlRTQlQkUlOEIlRTMlODElQTclRTMlODElOTklRUYlQkMlODElMjIlMkMlMjBkb19zYW1wbGUlM0RUcnVlJTJDJTIwdG9wX3AlM0QwLjk1KQ==",highlighted:`<span class="hljs-comment"># pip install accelerate</span>
<span class="hljs-keyword">import</span> torch
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

pipe = pipeline(model=<span class="hljs-string">&quot;facebook/opt-1.3b&quot;</span>, torch_dtype=torch.bfloat16, device_map=<span class="hljs-string">&quot;auto&quot;</span>)
output = pipe(<span class="hljs-string">&quot;これは素晴らしい例です！&quot;</span>, do_sample=<span class="hljs-literal">True</span>, top_p=<span class="hljs-number">0.95</span>)`,wrap:!1}}),Vs=new J({props:{code:"JTIzJTIwcGlwJTIwaW5zdGFsbCUyMGFjY2VsZXJhdGUlMjBiaXRzYW5kYnl0ZXMlMEFpbXBvcnQlMjB0b3JjaCUwQWZyb20lMjB0cmFuc2Zvcm1lcnMlMjBpbXBvcnQlMjBwaXBlbGluZSUwQSUwQXBpcGUlMjAlM0QlMjBwaXBlbGluZShtb2RlbCUzRCUyMmZhY2Vib29rJTJGb3B0LTEuM2IlMjIlMkMlMjBkZXZpY2VfbWFwJTNEJTIyYXV0byUyMiUyQyUyMG1vZGVsX2t3YXJncyUzRCU3QiUyMmxvYWRfaW5fOGJpdCUyMiUzQSUyMFRydWUlN0QpJTBBb3V0cHV0JTIwJTNEJTIwcGlwZSglMjJUaGlzJTIwaXMlMjBhJTIwY29vbCUyMGV4YW1wbGUhJTIyJTJDJTIwZG9fc2FtcGxlJTNEVHJ1ZSUyQyUyMHRvcF9wJTNEMC45NSk=",highlighted:`<span class="hljs-comment"># pip install accelerate bitsandbytes</span>
<span class="hljs-keyword">import</span> torch
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

pipe = pipeline(model=<span class="hljs-string">&quot;facebook/opt-1.3b&quot;</span>, device_map=<span class="hljs-string">&quot;auto&quot;</span>, model_kwargs={<span class="hljs-string">&quot;load_in_8bit&quot;</span>: <span class="hljs-literal">True</span>})
output = pipe(<span class="hljs-string">&quot;This is a cool example!&quot;</span>, do_sample=<span class="hljs-literal">True</span>, top_p=<span class="hljs-number">0.95</span>)`,wrap:!1}}),Hs=new ta({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/ja/pipeline_tutorial.md"}}),{c(){u=p("meta"),f=t(),g=p("p"),y=t(),m(x.$$.fragment),T=t(),b=p("p"),b.innerHTML=pe,Ys=t(),G=p("ul"),G.innerHTML=ie,Ns=t(),m(d.$$.fragment),Qs=t(),m(v.$$.fragment),qs=t(),k=p("p"),k.innerHTML=re,zs=t(),W=p("ol"),W.innerHTML=me,Ls=t(),m(B.$$.fragment),Fs=t(),$=p("ol"),$.innerHTML=ce,Ss=t(),m(R.$$.fragment),As=t(),C=p("p"),C.innerHTML=he,Ds=t(),m(_.$$.fragment),Os=t(),V=p("p"),V.innerHTML=je,Ps=t(),X=p("p"),X.textContent=Me,Ks=t(),m(H.$$.fragment),sl=t(),E=p("p"),E.textContent=oe,ll=t(),Y=p("p"),Y.innerHTML=ue,el=t(),N=p("p"),N.innerHTML=Te,al=t(),m(Q.$$.fragment),tl=t(),q=p("p"),q.innerHTML=ge,nl=t(),m(z.$$.fragment),pl=t(),L=p("p"),L.textContent=Je,il=t(),m(F.$$.fragment),rl=t(),S=p("p"),S.innerHTML=fe,ml=t(),m(A.$$.fragment),cl=t(),D=p("p"),D.innerHTML=ye,hl=t(),m(O.$$.fragment),jl=t(),P=p("p"),P.innerHTML=xe,Ml=t(),m(K.$$.fragment),ol=t(),ss=p("p"),ss.innerHTML=we,ul=t(),ls=p("p"),ls.textContent=be,Tl=t(),m(es.$$.fragment),gl=t(),as=p("p"),as.textContent=Ue,Jl=t(),ts=p("p"),ts.innerHTML=de,fl=t(),m(ns.$$.fragment),yl=t(),ps=p("p"),ps.innerHTML=$e,xl=t(),m(is.$$.fragment),wl=t(),rs=p("p"),rs.textContent=Ze,bl=t(),ms=p("p"),ms.innerHTML=Ie,Ul=t(),cs=p("p"),cs.innerHTML=Ge,dl=t(),m(hs.$$.fragment),$l=t(),js=p("p"),js.textContent=ve,Zl=t(),m(Ms.$$.fragment),Il=t(),os=p("p"),os.innerHTML=ke,Gl=t(),us=p("p"),us.innerHTML=We,vl=t(),Ts=p("p"),Ts.innerHTML=Be,kl=t(),m(gs.$$.fragment),Wl=t(),m(Js.$$.fragment),Bl=t(),m(Z.$$.fragment),Rl=t(),fs=p("p"),fs.innerHTML=Re,Cl=t(),m(ys.$$.fragment),_l=t(),xs=p("p"),xs.innerHTML=Ce,Vl=t(),ws=p("p"),ws.textContent=_e,Xl=t(),bs=p("p"),bs.innerHTML=Ve,Hl=t(),m(Us.$$.fragment),El=t(),m(ds.$$.fragment),Yl=t(),$s=p("p"),$s.innerHTML=Xe,Nl=t(),m(Zs.$$.fragment),Ql=t(),m(Is.$$.fragment),ql=t(),Gs=p("p"),Gs.innerHTML=He,zl=t(),vs=p("p"),vs.innerHTML=Ee,Ll=t(),m(ks.$$.fragment),Fl=t(),m(I.$$.fragment),Sl=t(),m(Ws.$$.fragment),Al=t(),Bs=p("p"),Bs.innerHTML=Ye,Dl=t(),Rs=p("p"),Rs.innerHTML=Ne,Ol=t(),m(Cs.$$.fragment),Pl=t(),_s=p("p"),_s.innerHTML=Qe,Kl=t(),m(Vs.$$.fragment),se=t(),Xs=p("p"),Xs.textContent=qe,le=t(),m(Hs.$$.fragment),ee=t(),Es=p("p"),this.h()},l(s){const l=sa("svelte-u9bgzb",document.head);u=i(l,"META",{name:!0,content:!0}),l.forEach(e),f=n(s),g=i(s,"P",{}),Se(g).forEach(e),y=n(s),c(x.$$.fragment,s),T=n(s),b=i(s,"P",{"data-svelte-h":!0}),r(b)!=="svelte-9f0x1v"&&(b.innerHTML=pe),Ys=n(s),G=i(s,"UL",{"data-svelte-h":!0}),r(G)!=="svelte-4ufpm9"&&(G.innerHTML=ie),Ns=n(s),c(d.$$.fragment,s),Qs=n(s),c(v.$$.fragment,s),qs=n(s),k=i(s,"P",{"data-svelte-h":!0}),r(k)!=="svelte-12p9f16"&&(k.innerHTML=re),zs=n(s),W=i(s,"OL",{"data-svelte-h":!0}),r(W)!=="svelte-12vjhxz"&&(W.innerHTML=me),Ls=n(s),c(B.$$.fragment,s),Fs=n(s),$=i(s,"OL",{start:!0,"data-svelte-h":!0}),r($)!=="svelte-1xnmmk4"&&($.innerHTML=ce),Ss=n(s),c(R.$$.fragment,s),As=n(s),C=i(s,"P",{"data-svelte-h":!0}),r(C)!=="svelte-1uw295j"&&(C.innerHTML=he),Ds=n(s),c(_.$$.fragment,s),Os=n(s),V=i(s,"P",{"data-svelte-h":!0}),r(V)!=="svelte-e10nih"&&(V.innerHTML=je),Ps=n(s),X=i(s,"P",{"data-svelte-h":!0}),r(X)!=="svelte-1a8cty3"&&(X.textContent=Me),Ks=n(s),c(H.$$.fragment,s),sl=n(s),E=i(s,"P",{"data-svelte-h":!0}),r(E)!=="svelte-myr45d"&&(E.textContent=oe),ll=n(s),Y=i(s,"P",{"data-svelte-h":!0}),r(Y)!=="svelte-1xpvy8y"&&(Y.innerHTML=ue),el=n(s),N=i(s,"P",{"data-svelte-h":!0}),r(N)!=="svelte-rjjsui"&&(N.innerHTML=Te),al=n(s),c(Q.$$.fragment,s),tl=n(s),q=i(s,"P",{"data-svelte-h":!0}),r(q)!=="svelte-zmg5qk"&&(q.innerHTML=ge),nl=n(s),c(z.$$.fragment,s),pl=n(s),L=i(s,"P",{"data-svelte-h":!0}),r(L)!=="svelte-wqk1zz"&&(L.textContent=Je),il=n(s),c(F.$$.fragment,s),rl=n(s),S=i(s,"P",{"data-svelte-h":!0}),r(S)!=="svelte-1ahzr11"&&(S.innerHTML=fe),ml=n(s),c(A.$$.fragment,s),cl=n(s),D=i(s,"P",{"data-svelte-h":!0}),r(D)!=="svelte-1is9xhz"&&(D.innerHTML=ye),hl=n(s),c(O.$$.fragment,s),jl=n(s),P=i(s,"P",{"data-svelte-h":!0}),r(P)!=="svelte-e317n2"&&(P.innerHTML=xe),Ml=n(s),c(K.$$.fragment,s),ol=n(s),ss=i(s,"P",{"data-svelte-h":!0}),r(ss)!=="svelte-oj92rg"&&(ss.innerHTML=we),ul=n(s),ls=i(s,"P",{"data-svelte-h":!0}),r(ls)!=="svelte-1metvuo"&&(ls.textContent=be),Tl=n(s),c(es.$$.fragment,s),gl=n(s),as=i(s,"P",{"data-svelte-h":!0}),r(as)!=="svelte-eftols"&&(as.textContent=Ue),Jl=n(s),ts=i(s,"P",{"data-svelte-h":!0}),r(ts)!=="svelte-16ewys5"&&(ts.innerHTML=de),fl=n(s),c(ns.$$.fragment,s),yl=n(s),ps=i(s,"P",{"data-svelte-h":!0}),r(ps)!=="svelte-y56tb2"&&(ps.innerHTML=$e),xl=n(s),c(is.$$.fragment,s),wl=n(s),rs=i(s,"P",{"data-svelte-h":!0}),r(rs)!=="svelte-1e5njt3"&&(rs.textContent=Ze),bl=n(s),ms=i(s,"P",{"data-svelte-h":!0}),r(ms)!=="svelte-ai4wt5"&&(ms.innerHTML=Ie),Ul=n(s),cs=i(s,"P",{"data-svelte-h":!0}),r(cs)!=="svelte-1yym12i"&&(cs.innerHTML=Ge),dl=n(s),c(hs.$$.fragment,s),$l=n(s),js=i(s,"P",{"data-svelte-h":!0}),r(js)!=="svelte-e8x27t"&&(js.textContent=ve),Zl=n(s),c(Ms.$$.fragment,s),Il=n(s),os=i(s,"P",{"data-svelte-h":!0}),r(os)!=="svelte-17kxx2s"&&(os.innerHTML=ke),Gl=n(s),us=i(s,"P",{"data-svelte-h":!0}),r(us)!=="svelte-113f7po"&&(us.innerHTML=We),vl=n(s),Ts=i(s,"P",{"data-svelte-h":!0}),r(Ts)!=="svelte-okl3t2"&&(Ts.innerHTML=Be),kl=n(s),c(gs.$$.fragment,s),Wl=n(s),c(Js.$$.fragment,s),Bl=n(s),c(Z.$$.fragment,s),Rl=n(s),fs=i(s,"P",{"data-svelte-h":!0}),r(fs)!=="svelte-uw6nua"&&(fs.innerHTML=Re),Cl=n(s),c(ys.$$.fragment,s),_l=n(s),xs=i(s,"P",{"data-svelte-h":!0}),r(xs)!=="svelte-dxszwf"&&(xs.innerHTML=Ce),Vl=n(s),ws=i(s,"P",{"data-svelte-h":!0}),r(ws)!=="svelte-1gs8lbs"&&(ws.textContent=_e),Xl=n(s),bs=i(s,"P",{"data-svelte-h":!0}),r(bs)!=="svelte-1bks2jw"&&(bs.innerHTML=Ve),Hl=n(s),c(Us.$$.fragment,s),El=n(s),c(ds.$$.fragment,s),Yl=n(s),$s=i(s,"P",{"data-svelte-h":!0}),r($s)!=="svelte-1k95xzs"&&($s.innerHTML=Xe),Nl=n(s),c(Zs.$$.fragment,s),Ql=n(s),c(Is.$$.fragment,s),ql=n(s),Gs=i(s,"P",{"data-svelte-h":!0}),r(Gs)!=="svelte-1r950cz"&&(Gs.innerHTML=He),zl=n(s),vs=i(s,"P",{"data-svelte-h":!0}),r(vs)!=="svelte-6rsatk"&&(vs.innerHTML=Ee),Ll=n(s),c(ks.$$.fragment,s),Fl=n(s),c(I.$$.fragment,s),Sl=n(s),c(Ws.$$.fragment,s),Al=n(s),Bs=i(s,"P",{"data-svelte-h":!0}),r(Bs)!=="svelte-spxlra"&&(Bs.innerHTML=Ye),Dl=n(s),Rs=i(s,"P",{"data-svelte-h":!0}),r(Rs)!=="svelte-4u2rtq"&&(Rs.innerHTML=Ne),Ol=n(s),c(Cs.$$.fragment,s),Pl=n(s),_s=i(s,"P",{"data-svelte-h":!0}),r(_s)!=="svelte-1j6k64j"&&(_s.innerHTML=Qe),Kl=n(s),c(Vs.$$.fragment,s),se=n(s),Xs=i(s,"P",{"data-svelte-h":!0}),r(Xs)!=="svelte-n7qhfd"&&(Xs.textContent=qe),le=n(s),c(Hs.$$.fragment,s),ee=n(s),Es=i(s,"P",{}),Se(Es).forEach(e),this.h()},h(){te(u,"name","hf:doc:metadata"),te(u,"content",ma),te($,"start","2")},m(s,l){la(document.head,u),a(s,f,l),a(s,g,l),a(s,y,l),h(x,s,l),a(s,T,l),a(s,b,l),a(s,Ys,l),a(s,G,l),a(s,Ns,l),h(d,s,l),a(s,Qs,l),h(v,s,l),a(s,qs,l),a(s,k,l),a(s,zs,l),a(s,W,l),a(s,Ls,l),h(B,s,l),a(s,Fs,l),a(s,$,l),a(s,Ss,l),h(R,s,l),a(s,As,l),a(s,C,l),a(s,Ds,l),h(_,s,l),a(s,Os,l),a(s,V,l),a(s,Ps,l),a(s,X,l),a(s,Ks,l),h(H,s,l),a(s,sl,l),a(s,E,l),a(s,ll,l),a(s,Y,l),a(s,el,l),a(s,N,l),a(s,al,l),h(Q,s,l),a(s,tl,l),a(s,q,l),a(s,nl,l),h(z,s,l),a(s,pl,l),a(s,L,l),a(s,il,l),h(F,s,l),a(s,rl,l),a(s,S,l),a(s,ml,l),h(A,s,l),a(s,cl,l),a(s,D,l),a(s,hl,l),h(O,s,l),a(s,jl,l),a(s,P,l),a(s,Ml,l),h(K,s,l),a(s,ol,l),a(s,ss,l),a(s,ul,l),a(s,ls,l),a(s,Tl,l),h(es,s,l),a(s,gl,l),a(s,as,l),a(s,Jl,l),a(s,ts,l),a(s,fl,l),h(ns,s,l),a(s,yl,l),a(s,ps,l),a(s,xl,l),h(is,s,l),a(s,wl,l),a(s,rs,l),a(s,bl,l),a(s,ms,l),a(s,Ul,l),a(s,cs,l),a(s,dl,l),h(hs,s,l),a(s,$l,l),a(s,js,l),a(s,Zl,l),h(Ms,s,l),a(s,Il,l),a(s,os,l),a(s,Gl,l),a(s,us,l),a(s,vl,l),a(s,Ts,l),a(s,kl,l),h(gs,s,l),a(s,Wl,l),h(Js,s,l),a(s,Bl,l),h(Z,s,l),a(s,Rl,l),a(s,fs,l),a(s,Cl,l),h(ys,s,l),a(s,_l,l),a(s,xs,l),a(s,Vl,l),a(s,ws,l),a(s,Xl,l),a(s,bs,l),a(s,Hl,l),h(Us,s,l),a(s,El,l),h(ds,s,l),a(s,Yl,l),a(s,$s,l),a(s,Nl,l),h(Zs,s,l),a(s,Ql,l),h(Is,s,l),a(s,ql,l),a(s,Gs,l),a(s,zl,l),a(s,vs,l),a(s,Ll,l),h(ks,s,l),a(s,Fl,l),h(I,s,l),a(s,Sl,l),h(Ws,s,l),a(s,Al,l),a(s,Bs,l),a(s,Dl,l),a(s,Rs,l),a(s,Ol,l),h(Cs,s,l),a(s,Pl,l),a(s,_s,l),a(s,Kl,l),h(Vs,s,l),a(s,se,l),a(s,Xs,l),a(s,le,l),h(Hs,s,l),a(s,ee,l),a(s,Es,l),ae=!0},p(s,[l]){const ze={};l&2&&(ze.$$scope={dirty:l,ctx:s}),d.$set(ze);const Le={};l&2&&(Le.$$scope={dirty:l,ctx:s}),Z.$set(Le);const Fe={};l&2&&(Fe.$$scope={dirty:l,ctx:s}),I.$set(Fe)},i(s){ae||(j(x.$$.fragment,s),j(d.$$.fragment,s),j(v.$$.fragment,s),j(B.$$.fragment,s),j(R.$$.fragment,s),j(_.$$.fragment,s),j(H.$$.fragment,s),j(Q.$$.fragment,s),j(z.$$.fragment,s),j(F.$$.fragment,s),j(A.$$.fragment,s),j(O.$$.fragment,s),j(K.$$.fragment,s),j(es.$$.fragment,s),j(ns.$$.fragment,s),j(is.$$.fragment,s),j(hs.$$.fragment,s),j(Ms.$$.fragment,s),j(gs.$$.fragment,s),j(Js.$$.fragment,s),j(Z.$$.fragment,s),j(ys.$$.fragment,s),j(Us.$$.fragment,s),j(ds.$$.fragment,s),j(Zs.$$.fragment,s),j(Is.$$.fragment,s),j(ks.$$.fragment,s),j(I.$$.fragment,s),j(Ws.$$.fragment,s),j(Cs.$$.fragment,s),j(Vs.$$.fragment,s),j(Hs.$$.fragment,s),ae=!0)},o(s){M(x.$$.fragment,s),M(d.$$.fragment,s),M(v.$$.fragment,s),M(B.$$.fragment,s),M(R.$$.fragment,s),M(_.$$.fragment,s),M(H.$$.fragment,s),M(Q.$$.fragment,s),M(z.$$.fragment,s),M(F.$$.fragment,s),M(A.$$.fragment,s),M(O.$$.fragment,s),M(K.$$.fragment,s),M(es.$$.fragment,s),M(ns.$$.fragment,s),M(is.$$.fragment,s),M(hs.$$.fragment,s),M(Ms.$$.fragment,s),M(gs.$$.fragment,s),M(Js.$$.fragment,s),M(Z.$$.fragment,s),M(ys.$$.fragment,s),M(Us.$$.fragment,s),M(ds.$$.fragment,s),M(Zs.$$.fragment,s),M(Is.$$.fragment,s),M(ks.$$.fragment,s),M(I.$$.fragment,s),M(Ws.$$.fragment,s),M(Cs.$$.fragment,s),M(Vs.$$.fragment,s),M(Hs.$$.fragment,s),ae=!1},d(s){s&&(e(f),e(g),e(y),e(T),e(b),e(Ys),e(G),e(Ns),e(Qs),e(qs),e(k),e(zs),e(W),e(Ls),e(Fs),e($),e(Ss),e(As),e(C),e(Ds),e(Os),e(V),e(Ps),e(X),e(Ks),e(sl),e(E),e(ll),e(Y),e(el),e(N),e(al),e(tl),e(q),e(nl),e(pl),e(L),e(il),e(rl),e(S),e(ml),e(cl),e(D),e(hl),e(jl),e(P),e(Ml),e(ol),e(ss),e(ul),e(ls),e(Tl),e(gl),e(as),e(Jl),e(ts),e(fl),e(yl),e(ps),e(xl),e(wl),e(rs),e(bl),e(ms),e(Ul),e(cs),e(dl),e($l),e(js),e(Zl),e(Il),e(os),e(Gl),e(us),e(vl),e(Ts),e(kl),e(Wl),e(Bl),e(Rl),e(fs),e(Cl),e(_l),e(xs),e(Vl),e(ws),e(Xl),e(bs),e(Hl),e(El),e(Yl),e($s),e(Nl),e(Ql),e(ql),e(Gs),e(zl),e(vs),e(Ll),e(Fl),e(Sl),e(Al),e(Bs),e(Dl),e(Rs),e(Ol),e(Pl),e(_s),e(Kl),e(se),e(Xs),e(le),e(ee),e(Es)),e(u),o(x,s),o(d,s),o(v,s),o(B,s),o(R,s),o(_,s),o(H,s),o(Q,s),o(z,s),o(F,s),o(A,s),o(O,s),o(K,s),o(es,s),o(ns,s),o(is,s),o(hs,s),o(Ms,s),o(gs,s),o(Js,s),o(Z,s),o(ys,s),o(Us,s),o(ds,s),o(Zs,s),o(Is,s),o(ks,s),o(I,s),o(Ws,s),o(Cs,s),o(Vs,s),o(Hs,s)}}}const ma='{"title":"Pipelines for inference","local":"pipelines-for-inference","sections":[{"title":"Pipeline usage","local":"pipeline-usage","sections":[],"depth":2},{"title":"パラメータ","local":"パラメータ","sections":[{"title":"Device","local":"device","sections":[],"depth":3},{"title":"Batch size","local":"batch-size","sections":[],"depth":3},{"title":"Task specific parameters","local":"task-specific-parameters","sections":[],"depth":3}],"depth":2},{"title":"Using pipeline in a dataset","local":"using-pipeline-in-a-dataset","sections":[],"depth":2},{"title":"Using pipelines for a webserver","local":"using-pipelines-for-a-webserver","sections":[],"depth":2},{"title":"Vision pipeline","local":"vision-pipeline","sections":[],"depth":2},{"title":"Text pipeline","local":"text-pipeline","sections":[],"depth":2},{"title":"Multimodal pipeline","local":"multimodal-pipeline","sections":[],"depth":2},{"title":"Using pipeline on large models with 🤗 accelerate :","local":"using-pipeline-on-large-models-with--accelerate-","sections":[],"depth":2}],"depth":1}';function ca(U){return Oe(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Ta extends Pe{constructor(u){super(),Ke(this,u,ca,ra,De,{})}}export{Ta as component};
