GPU가 없는데 PoC가 되나요 — AI를 옵션 레이어로 설계한 이유

미팅 후반부에 도입 이야기가 구체화되면 꼭 나오는 흐름이 있다. "PoC 로 검증부터 하는 게 맞을 것 같은데, 저희는 GPU 가 없습니다. 가능한가요?"

가능하다. 그리고 이 답이 우연이 아니라 설계라는 게 이 글의 요지다.

GPU 없이 PoC가 가능한가?

가능하다. AI 에이전트만 GPU 를 요구하고, 나머지 플랫폼 전체(이슈, 변경요청, 저장소, 파이프라인, 문서, 대시보드, 권한 관리)는 CPU 서버에서 정상 동작한다. 최소 요구는 VM 1대에 8 vCPU, 16 GB 메모리, 200 GB 디스크. 어느 기관의 가상화 팜에서든 하루면 나오는 사양이다.

처음부터 이렇게 설계한 이유는 공공의 도입 순서를 관찰한 결과다. AI 기능의 내부 결재는 느리다. 데이터 반출 검토, 보안성 검토, 그리고 GPU 조달 자체가 별도 예산 사이클이다. AI 와 플랫폼이 한 덩어리면 이 느린 결재가 전체 도입을 인질로 잡는다. 분리되어 있으면 형상관리와 변경 추적, 증적 자동화는 지금 검증을 시작하고, 에이전트는 GPU 와 결재가 준비된 시점에 얹으면 된다. GPU 가 준비된 다음의 사이징 이야기는 별도 글로 정리해 뒀다.

PoC는 실제로 어떻게 진행되나?

표준 트랙은 30일이고, 절차는 네 단계다. 환경 협의에 약 1주(방화벽, 계정 체계, 저장소 반입 범위를 정하는 구간), 설치에 약 4시간, 그리고 30일 운영, 마지막으로 도입 판단. 설치 전에 OS 버전부터 스토리지, 포트, 시간 동기화까지 훑는 사전 점검 절차가 있어서, 설치 당일에 "안 되는 이유 찾기"로 시간을 태우는 일을 줄였다. 폐쇄망이면 오프라인 설치 번들로 같은 절차를 밟는다.

30일 동안 뭘 봐야 하나. 우리가 권하는 검증 항목은 화려하지 않다. 실제 팀 하나가 실제 과제 하나를 이 위에서 처리해 보는 것. 이슈 등록부터 변경요청 승인, 배포까지 한 사이클을 돌리고, 그 과정의 증적이 감사 대응에 쓸 수 있는 형태로 남는지 확인하는 것이다. 기능 데모는 하루면 끝난다. 30일이 필요한 건 그 조직의 결재 관행과 보안 규정 아래에서도 이 흐름이 성립하는지 보는 시간이다.

이 지점에서, 미팅에서 들었던 말 중에 오래 남은 게 하나 있다. "PoC 로 조직에 맞는지 검증하고 사용하는 것이 맞을 것 같습니다." 벤더 입장에서 김이 샐 수도 있는 말인데 나는 정확한 태도라고 생각한다. 지금 쓰는 방식과 우리 플랫폼의 방식 사이에는 실제로 간극이 있고, 그 간극이 그 조직에서 메워지는지는 발표 자료가 아니라 운영 기록만이 증명한다. 안정성이 곧 레퍼런스에서 쓴 그대로다. 우리가 17개 PoC 를 거치며 정리한 환경 유형별 도입 경로는 온프레 환경 5분류에 있다.

문서는 자동으로 생성되나?

초안 생성은 자동이고, 확정은 사람이 한다. 이 경계가 핵심이다. 변경요청 설명, 회의록, 릴리즈 노트 같은 일상 문서부터 요구사항 추적표, 과업 대비표, 변경관리대장, 테스트 결과서, 배포 결과서 같은 공공 프로젝트 산출물까지, 플랫폼에 쌓인 실제 기록(이슈, 커밋, 승인, 배포 로그)을 근거로 초안이 만들어지고 Excel 이나 PDF 로 나온다. 근거 데이터가 시스템에 있으니 사람이 백지에서 짜내는 게 아니라 검토하고 보완하는 일로 바뀌는 것.

"자동으로 생성되니 사람은 필요 없다"가 아니라는 점은 분명히 하고 싶다. 산출물의 최종 책임은 사람에게 있고, 우리 설계 원칙 자체가 "작업은 AI 가, 결정은 사람이"다. 그리고 GPU 없는 PoC 구성에서는 이 중 AI 초안 생성이 빠진 상태로 시작한다. 그래도 남는 게 많다. 산출물의 근거 데이터가 한 곳에 쌓인다는 것 자체가, 문서 작성 시간의 대부분을 차지하던 "자료 찾아 모으기"를 없애기 때문이다.

도입을 검토하는 입장이라면 순서를 이렇게 잡는 걸 권한다. GPU 는 잊고 CPU 서버 한 대로 30일을 돌려서 형상관리와 증적의 가치부터 확인하고, 그게 조직에 맞는다는 판단이 서면 그때 GPU 조달과 AI 결재를 시작해도 늦지 않다. 반대 순서, 그러니까 GPU 예산부터 잡는 도입은 AI 결재가 막히는 순간 전체가 함께 멈춘다. 우리가 그렇게 설계하지 않은 이유이기도 하다.