에이전틱 DevOps 12개월 후 — 첫 가설 중 무엇이 *맞았고* 무엇이 *틀렸나*

12개월 전 다음 10년의 DevOps는 에이전틱이다 의 가설들. 12개월의 데이터로 어느 가설이 맞고 어느 게 틀렸는지의 정직한 평가.

백재민
백재민
CollabOps 창업자
에이전틱 DevOps 12개월 후 — 첫 가설 중 무엇이 *맞았고* 무엇이 *틀렸나*

12개월 전 다음 10년의 DevOps는 에이전틱이다 발행. 5 가설을 박았었다. 12개월의 데이터가 그중 3개를 검증, 1개를 부분 부정, 1개를 폐기 했다. 정직한 평가.

가설 1 — 에이전트는 시간을 옮긴다, 사람을 대체하지 않는다

검증 ✓. 고객사 11곳 의 12개월 데이터:

  • 1차 트리아지 시간 60분 → 8분 (-87%)
  • 반복 운영 시간 24/7 자동
  • 조사 시간 35분 → 9분 (-74%)

대체된 직무 0건. 사람의 시간이 설계 / 정책 / 감수명확히 이동. 맞은 가설.

가설 2 — 권한 모델이 모델 선택보다 중요

검증 ✓. 4 변수 (결정/실행 분리, 조건부 권한, 감사 동일 schema, 결정론적 wrapping) 가 7 고객사에서 도입 가능성을 가른 데이터. → 에이전트가 production 권한 가질 수 있나

도입 통과 한 모든 케이스 — 위 4 변수가 처음부터 만족. 맞은 가설.

가설 3 — 멀티 에이전트는 거의 항상 필요 없다

검증 ✓. 5 케이스 시도, 5 모두 단일 에이전트로 후퇴. → 멀티 에이전트는 거의 항상 필요 없다

맞은 가설. 다만 희귀한 예외 (물리 격리, 시간 분리, 진짜 다른 모델 능력) 가 있음을 추가 학습.

가설 4 — 에이전트의 진짜 가치 = 시간 절감 (부분 부정)

부분 부정 ⚠. 시간 절감은 사실, 그러나 그게 가장 중요한 가치는 아님.

12개월 데이터에서 본 예상 외 가치:

  1. 인시던트 지식 보존 — 사람이 떠나도 에이전트의 트레이스가 인시던트 응답 패턴을 보존
  2. 근속 단조 직무 감소 — 새벽 1차 트리아지 같은 쌓이는 피로 직무가 사람에서 빠짐. 간접 retention 효과
  3. 새 hire 온보딩 가속 — 에이전트가 트리아지하는 동안 신규 SRE 가 옆에서 학습

이 셋이 시간 절감 보다 조용히 큰 가치. 처음에는 예상 못 함. 부분 부정 — 가설이 틀린 게 아니라 너무 좁음.

가설 5 — 에이전트가 ChatGPT 수준에서 가능 (폐기)

폐기 ✗. 12개월 전 가정 — GPT-4 / Claude Sonnet 수준이면 충분. 실제는 컨텍스트 + 도구 + 권한 + 감사plumbing 이 모델 능력보다 중요. 모델은 Sonnet 으로 충분, 그러나 plumbing 이 안 되어 있으면 어떤 모델도 안 됨.

폐기 — 모델 자체 가 핵심이 아니라 그것을 둘러싼 시스템 이 핵심. 가설을 바꿔야.

새 가설 — Q3+ 12개월

직전 12개월의 학습으로 다음 12개월의 새 가설 5개:

  1. 에이전트의 retention / 온보딩 효과 가 측정되면 cost-benefit 모델 재구성
  2. 권한 경계 확장 페이스 — 분기당 에이전트가 가질 수 있는 권한 의 한 단계 확장
  3. 멀티 에이전트는 여전히 거의 필요 없음 — 12개월 더 검증
  4. RAG > fine-tune 의 일반 패턴이 모든 도메인에서 유지되는지
  5. Plumbing 표준화 — MCP 가 공급망 보안 처럼 산업 표준이 될지

이 5 가설 12개월 후 다시 평가 예정.

12개월의 한 줄

가설이 맞은 게 좋은 게 아니라, 가설이 측정 가능했던 게 좋다.

위 5 가설 모두 측정 가능 했다. 그래서 맞다 / 틀리다 / 부분명확. 측정 불가능한 가설은 영원히 검증 안 됨. 처음 가설을 측정 가능하게 박는 게 첫 가치.

누가 이 글을 읽으면 좋은가

12개월 전 다음 10년의 DevOps는 에이전틱이다읽었던 사람들에게 후속. 처음 5 가설의 결과 가 위. 다음 5 가설12개월 후 검증 할 예정. 분야의 솔직한 후일담 이 필요한 모든 SRE / 플랫폼 / 보안 리드.

태그#agentic-devops#ai-agent#retrospective#agentic-devops