OpenAI GPT-5.6가 Amazon Bedrock에 도착했고, 명시적 프롬프트 캐싱이 함께 열렸습니다

OpenAI GPT-5.6 Sol, Terra, Luna가 Amazon Bedrock에서 정식 출시됐고, 함께 명시적 프롬프트 캐싱이 들어왔습니다. 세 모델은 복잡한 추론과 에이전트형 코딩을 맡는 Sol, 일상적인 프로덕션 작업을 균형 있게 처리하는 Terra, 분류나 요약처럼 빠르고 대량인 작업을 맡는 Luna로 나뉩니다. 토큰당 과금이고, 사용량은 기존 AWS 약정에 반영됩니다. 여러 호출에 걸쳐 같은 시스템 지침과 도구 정의, 참조 문서를 반복해 넣는다면 이 캐싱이 입력 비용을 바로 건드립니다.

캐싱 과금 구조

캐시에서 읽어 온 입력 토큰은 미캐시 입력 대비 90% 할인으로 청구됩니다. 반대로 캐시에 쓰는 토큰은 미캐시 입력의 1.25배로 붙습니다. 한 번 쓰고 여러 번 읽는 패턴에 맞춘 값입니다. 읽기가 아끼는 양이 쓰기가 더하는 양보다 훨씬 크기 때문에, 캐시를 거쳐 가는 토큰 가운데 대략 20%가 캐시 읽기가 되는 순간부터 워크로드의 순 입력 비용이 내려갑니다. 캐시된 내용은 30분 동안 재사용할 수 있습니다. 현재 단가는 Amazon Bedrock 요금 페이지에서 확인할 수 있습니다.

응답마다 usage.input_tokens_details에 cached_tokens와 cache_write_tokens가 실려 옵니다. 3,626 토큰짜리 시스템 프리픽스를 같은 캐시 키로 반복해 넣는 예를 보면, 첫 호출은 3,626 토큰을 캐시에 쓰고 이후 호출은 그 프리픽스를 읽어 옵니다. 두 번째 호출부터는 바뀌는 사용자 입력(예시에서는 45, 36 토큰)만 표준 요율로 처리됩니다. 같은 토큰을 두 번 청구하지 않습니다. 이 두 필드를 요청 ID, prompt_cache_key와 함께 로그로 남기면 쓰기 한 번 뒤에 읽기가 이어지는지 프로덕션 전에 확인할 수 있습니다.

암묵적 방식과 명시적 방식

GPT-5.6은 기본이 암묵적 방식입니다. 캐싱 파라미터 없이 요청을 보내면 Bedrock이 캐시 브레이크포인트를 알아서 놓고 재사용할 프리픽스를 찾습니다. 최소 1,024 토큰짜리 안정적인 프리픽스면 코드 변경 없이 캐시됩니다. 기존 코드가 그대로 캐시 읽기를 얻기 시작합니다.

명시적 방식으로 넘어가면 캐시 경계를 직접 잡습니다. prompt_cache_breakpoint를 콘텐츠 블록에 놓아 재사용 프리픽스의 끝을 표시하고, prompt_cache_key를 요청마다 동일하게 설정해 같은 캐시로 묶습니다. prompt_cache_options로 방식(암묵적/명시적)과 TTL을 정합니다. 브레이크포인트는 요청당 최대 4개까지 놓을 수 있어, 도구 정의·시스템 프롬프트·긴 문서처럼 갱신 주기가 다른 구간을 따로 캐시할 수 있습니다.

챗봇이나 RAG, 에이전트형 도구 루프처럼 프리픽스는 고정이고 뒤가 매번 바뀌는 경우에는 정적 콘텐츠 끝에 브레이크포인트 하나를 두는 명시적 방식이 동작이 확정적입니다. 첫 요청이 프리픽스를 한 번 쓰고, 이후 요청은 매번 캐시에서 읽습니다. 도구 호출 루프에서는 시스템 프롬프트와 도구 정의가 매 턴 반복되고 대화만 뒤에 쌓이므로, 30분 TTL이 몇 분짜리 에이전트 세션을 충분히 덮습니다.

이전 GPT 모델에서 넘어올 때

이미 Bedrock에서 GPT-5.5나 GPT-5.4를 돌리고 있다면 업그레이드는 모델 ID를 openai.gpt-5.6-terra 등으로 바꾸는 정도입니다. 엔드포인트, 인증, Responses API 요청 형식은 그대로입니다. 다만 GPT-5.5와 5.4에서는 캐시 쓰기가 무료였는데, GPT-5.6은 위에서 말한 1.25배 쓰기 요율이 암묵적·명시적 쓰기 모두에 적용됩니다. 추론 강도는 none부터 xhigh까지 다섯 단계이고 기본값은 medium입니다. GPT-5.6은 토큰 효율이 나아져서, 지금 쓰는 강도에서 한 단계 낮춰 품질을 시험해 보길 권합니다.

Sol은 US East(버지니아 북부)와 US East(오하이오)에서, Terra와 Luna는 여기에 US West(오리건)까지 제공됩니다. 세 모델 모두 bedrock-mantle 엔드포인트의 OpenAI 호환 Responses API로 호출하고, 인증 방법은 원문에서 확인할 수 있습니다.

도입 검토 의견

원문 발표가 아닌 솔트웨어의 의견입니다

이미 Bedrock에서 GPT-5.5나 GPT-5.4로 긴 시스템 프롬프트를 매 호출 반복해 넣고 있거나 도구 호출 루프를 돌리고 있다면, 이번이 손댈 일입니다. 모델 ID 교체와 정적 콘텐츠 끝에 브레이크포인트 하나 추가가 작업의 전부라, 테스트와 로그 확인까지 반나절이면 됩니다. 확인할 두 값은 응답의 cached_tokens와 cache_write_tokens뿐입니다. 쓰기 뒤로 읽기가 꾸준히 따라오는지만 보면 됩니다.

반대로 호출이 산발적이고 프롬프트가 매번 완전히 다르다면 이번에는 넘겨도 됩니다. 캐시 읽기가 20%에 못 미치면 1.25배 쓰기 요율 때문에 오히려 손해입니다. 특히 GPT-5.5에서 넘어오는 경우, 그동안 무료였던 캐시 쓰기가 유료로 바뀌므로 전환 전에 Amazon Bedrock 요금표에서 지금 모델 단가와 대조하세요. 반복 호출이 많은 에이전트 워크로드라면 청구액이 내려가고, 그렇지 않으면 올라갈 수 있습니다. 실제 트래픽 샘플로 두 필드를 하루 정도 찍어 본 뒤 프로덕션에 반영하는 편이 안전합니다.

원문: Introducing explicit prompt caching for OpenAI GPT-5.6 models on Amazon Bedrock · 발행일 2026-07-30