Guidance

Guidance는 개발자가 일반 텍스트 프롬프트, 제어 흐름(루프, 조건문), 그리고 모델이 다음에 정확히 무엇을 생성할 수 있는지에 대한 제약(정규식 패턴, 선택지 목록, 구조화된 형식)을 뒤섞은 하나의 프로그램을 작성할 수 있게 해줍니다. LLM API를 여러 번 별도로 호출하고 그 결과를 애플리케이션 코드에서 엮는 대신입니다. 이는 제약으로 이미 결정된 토큰을 건너뛰어 생성 속도를 높일 수도 있습니다.

Guidance는 생성 과정 자체에 대해 세밀하고 프로그래밍적인 제어를 원하는 팀에 적합하며, (카탈로그에 있는) Outlines와 비교되는 대안입니다 — 둘 다 LLM 출력을 제약하지만, Guidance는 프로그램과 생성을 엮어서 작성하는 스타일을 강조합니다.