연속 실행 잡과 파이프라인의 동작 변경: 2026년 8월 적용 예정
[정책·필수변경] 이 소식은 기한 내 조치가 필요할 수 있습니다.
Databricks가 연속(continuous) Lakeflow Spark Declarative Pipelines와 잡의 구성 방식과 상태 관리를 손보는 변경을 예고했습니다. 적용 시점은 2026년 8월 초입니다. 여기에는 기존 자동화 스크립트를 그대로 두면 깨질 수 있는 breaking change가 포함되어 있어서, 연속 잡을 운영 중이라면 미리 확인해 둘 내용이 있습니다.
연속 파이프라인을 잡으로 감싸는 방식
변경 이후에는 파이프라인 페이지에서 직접 연속 스케줄을 설정할 수 있습니다. 이때 performance mode 같은 잡 수준 설정도 함께 지정할 수 있습니다. 이 방식으로 연속 스케줄을 구성하면 파이프라인이 연속 잡으로 감싸집니다.
Databricks는 파이프라인 자체에 내장된 연속 설정 대신, 연속 잡으로 파이프라인을 실행하는 방식을 권장합니다. 연속 잡이 파이프라인을 감싸면 잡이 파이프라인의 실행 라이프사이클을 관리합니다. 내장 연속 설정이 제거되는 것은 아니지만, 새로 만드는 연속 파이프라인은 연속 잡 패턴을 사용하는 것이 권장 방향입니다.
연속 잡의 상태 관리 변경
연속 잡의 상태 관리가 단순해집니다. 다음 다섯 가지가 breaking change로 적용됩니다.
- 잡에 연속 스케줄을 추가하면, 스케줄이 일시정지 상태이든 아니든 활성 실행(active run)이 취소됩니다.
- 잡에서 연속 스케줄을 제거하면 활성 실행이 취소됩니다.
- 일시정지된 연속 잡을 실행하면 일시정지가 해제됩니다.
- 연속 잡을 일시정지하면 활성 실행도 함께 취소됩니다.
- 연속 잡의 활성 실행을 중지하면 잡도 함께 일시정지됩니다.
정리하자면 스케줄 변경, 일시정지, 실행 중지 같은 동작이 활성 실행 상태와 일시정지 상태에 연동됩니다. 예전에는 별개로 다뤄지던 조작들이 서로 영향을 주도록 바뀝니다.
여기에 더해, 연속 잡의 상태를 추적하는 읽기 전용 API 필드가 새로 추가됩니다.
도입 전에 확인할 것
이 변경들은 동작 자체가 바뀌는 breaking change이므로, 현재의 연속 잡 동작에 의존하는 자동화나 워크플로가 있다면 릴리스 전에 검토하고 수정해야 합니다. 예를 들어 스케줄을 추가하거나 제거하는 스크립트, 잡을 일시정지하거나 실행 중지를 호출하는 파이프라인이 활성 실행을 유지한다고 가정하고 있다면 변경 후 동작이 달라집니다. 새로 추가되는 읽기 전용 상태 필드는 잡 상태를 확인하는 로직을 정비할 때 활용할 수 있습니다.
적용 시점은 2026년 8월 초이며, 대상은 연속 Lakeflow Spark Declarative Pipelines와 연속 잡입니다. 세부 동작과 API 필드에 대한 구체적인 내용은 Databricks 공식 릴리스 노트와 관련 문서에서 확인할 수 있습니다.
원문: Behavior changes for continuous jobs and pipelines · 발행일 2026-07-08