Guidance

Guidance を使うと、開発者は、プレーンテキストのプロンプト、制御フロー(ループ、条件分岐)、そしてモデルが次に生成できる内容を正確に制約するもの(正規表現パターン、選択肢リスト、構造化フォーマット)を組み合わせた1つのプログラムを書くことができます。LLM API への複数の個別呼び出しを行い、その結果をアプリケーションコード側でつなぎ合わせる代わりにです。これにより、制約によってすでに決まっているトークンをスキップすることで、生成を高速化することもできます。

Guidance は、生成プロセス自体に対してきめ細かくプログラム的な制御を求めるチームに向いています。(カタログにもある) Outlines と比較される代替手段で、両者とも LLM の出力を制約しますが、Guidance はプログラムと生成を織り交ぜた記述スタイルを重視しています。