서울 중구 대한상공회의소 로비에 들어서자 커피 향이 먼저 반겼다. 파란 목걸이를 건 사람들, 작은 배지도 달지 않은 검소한 슈트, 부스마다 돌아가는 데모 화면. ‘AWS 퍼블릭 섹터 데이 서울 2025’라는 이름은 거창했지만, 현장 공기는 의외로 실무형이었다. “한국의 ‘AI 3대 강국’ 목표는 충분히 달성 가능하다.” 제프 크라츠 부사장의 기조연설이 시작되자 주변 테이블에서 메모앱을 켜는 손길이 분주해졌다. 문장은 크고 간결했지만, 귀에 남은 건 그 다음이었다. “이제 AI가 결과물로 이어지고 있다.” 이 말은 공공기관만의 이야기가 아니다. 우리 동네에서 가게를 운영하든, 20명 남짓의 스타트업을 꾸리든, ‘결과물’이 눈에 보이는가가 전부다. 행사장은 세 갈래 트랙으로 쪼개져 총 25개의 세션이 돌아갔다. 전시장은 ‘엑스포 존’이란 이름처럼 체험 위주였고, 파트너 데모 테이블들은 현장 질문을 받아 적응형으로 설명을 바꾸는, 딱 현업의 리듬이었다. 공공 분야라 하면 규정과 보안부터 떠올리기 마련인데, 연사들은 규정이 혁신을 늦추는 벽이 아니라 설계도라는 점을 반복해서 짚었다.
싱가포르가 데이터 주권을 유지한 채 공공 워크로드의 70% 이상을 클라우드로 옮겼다는 사례가 대표적이었다. 독일의 거래소가 63TB의 민감 데이터를 이전하면서도 성능을 15% 끌어올렸다는 대목에서는 여기저기서 ‘오’ 하는 짧은 반응이 나왔다. 숫자는 논쟁을 멈추게 하는 힘이 있다. 보안, 주권, 성능—세 가지를 동시에 잡을 수 있냐는 질문에, 답이 “할 수 있다”로 정리되는 순간 듣는 이의 머리속 체크리스트는 한 줄 줄어든다. 소상공인과 중소기업의 마음은 사실 더 간단하다. ‘이게 우리 장사에 무슨 상관이 있지?’ AWS가 서울 리전 개설 이후 한국에 64억 달러를 투자했고 30만 명 넘게 교육을 지원해 왔다고 해서 당장 매출이 늘지는 않는다. 하지만 공공의 디지털 전환은 조달 목록이나 하도급 공고만을 의미하지 않는다. 공무원과 교사가 쓰는 업무 도구, 군과 병원이 쓰는 데이터 파이프라인, 대학 연구실의 실험 노트가 클라우드로 올라가면, 그 위에 올라탈 수 있는 수많은 ‘작은 서비스’의 빈칸이 생긴다. 거대한 ‘AI 전략’ 대신, 빈칸 하나를 채우는 서비스를 먼저 생각해야 한다. 기조연설 뒤 패널 토론에서 업계가 가장 자주 고개를 끄덕인 포인트도 그거였다.
한국형 모델을 만드는 데 몰입하느라 현장의 목소리를 담는 데 소홀했다는 고백. 그것이 무엇을 뜻할까. 모델이 좋아도 사용 시나리오와 평가 방법이 엉성하면 현장 도입이 느리다는 뜻이다. 이건 곧 기회다. 대기업이 모델을 만들면, 우리가 할 일은 현장 시나리오를 각인처럼 정교하게 깎아 넣는 일이다. 학사 행정, 도로 점검, 민원 처리, 시험 채점, 실험실 시약 발주, 군수 품목 정합성 검토. 어느 하나 거대 모델이 혼자서 균일하게 잘하긴 어렵다. 규정과 용어, 포맷이 기관마다 다르고, 각자의 리듬이 존재하기 때문이다. 우리 같은 작은 팀이 낄 구석은 바로 그 ‘리듬 맞춤’이다. 스타트업 투자 위축이라는 말도 나왔다.
최신 범용 모델들이 틈새 모델의 영역까지 흡수해 버리는 현상, 익히 듣던 소식이다. 그럴수록 유행 모델을 따라가는 속도전이 아닌 ‘업무 맥락의 내장’이 해법이 된다. 고객의 화면과 대화 기록, 버튼의 순서, 서류의 규격이 모델의 입맛에 맞춰 바뀌면 고객은 즉시 불편을 느낀다. 반대로, 모델이 현장의 불편을 먼저 배워서 버튼 하나 안 바꾸고도 뒤에서 서류를 맞춰주고, 규정을 검증해주고, 리포트를 자동 생성하면 그게 진짜 생산성이다. 거대한 사운드트랙 위에 개별 상점의 비트가 겹쳐지는 순간, 음악이 된다. 데이터를 쉽게 줄 수 없는 환경에서 연합학습이 대안이라는 제약바이오 업계의 목소리도 귀에 박혔다. 데이터를 통째로 못 움직이는 현실은 의료, 교육, 국방, 금융 어디나 비슷하다. 그렇다면 우리가 만들 솔루션은 ‘데이터 이동’이 아니라 ‘모델 이동’과 ‘정책 이동’이어야 한다. 각 기관의 사일로 안에서 학습하고 중앙으로는 통계와 가중치만 보내는 구조, 익명화와 목적 외 사용 금지를 코드로 강제하는 정책 엔진. 이런 건 작은 팀이 못할 일처럼 보이지만, 사실 작은 팀이 더 잘한다.
이유는 간단하다. 애초에 작아서, 설계 단계에서 타협을 덜 하고, 한두 개 고객의 요구에 일대일 대응이 가능하기 때문이다. 군의 사례는 또 다른 힌트를 준다. 모든 데이터를 모으고 공유하려면 결국 클라우드 표준과 실증이 필요하다는 말. 표준은 공공조달의 언어이고, 실증은 민관 협력의 통화다. 여기서도 우리 같은 팀이 할 일은 분명하다. 표준 문서를 읽고, 그 표준이 실제 현장에서 어떻게 동작해야 하는지를 눈에 보이는 테스트 케이스로 바꾸는 것. 예를 들어, 엑셀 한 장의 파일에서 민감정보를 자동 가리고, 남은 데이터만 학습 파이프라인으로 흘려보내는 과정을 5분짜리 대시보드로 만드는 것만으로도 ‘실증’은 절반 완성된다. 공공은 작은 성공을 안전하게 반복할 수 있을 때 움직인다. 작고 지루해 보이는 성공을 먼저 만들어 주는 사람이 결국 가장 빨리 커진다.
AWS가 소개한 기술 지형도도 비슷한 메시지를 던졌다. 인텔, AMD, 엔비디아, 그리고 자체 칩까지—인프라는 선택지의 문제라고 했다. 모델도 다중 유치 전략, 데이터를 위한 레이크와 익스체인지, 마켓플레이스까지—툴은 이미 충분하다. 이쯤에서 우리가 착각하기 쉬운 포인트는 ‘툴이 많으니 더 좋은 걸 고르면 된다’는 믿음이다. 실제로는 반대다. 도구의 선택은 사업의 선택을 의미한다. 저렴한 추론이 필요하면 자체 칩 환경으로, 교차 검증이 중요하면 다중 모델로, 데이터 공급망을 키우려면 익스체인지로. 선택은 기술의 문제가 아니라 고객의 반복 문제를 어떻게 수익으로 바꿀지의 문제다. 그렇다면 이제부터 90일을 가정해 보자. 첫 30일은 문제 채집이다.
현장에서 가장 많은 시간을 빼앗는 흐릿한 10분을 찾아라. 민원 전화 기록 정리, 사진 첨부 규격 맞추기, 신청서 문장 다듬기, 회의록 키워드 추출 같은 자잘한 일. 그 중 두세 개를 골라 실제 문서와 스크린샷을 모은다. 다음 30일은 프로토타입 제작. AWS의 기성 컴포넌트—텍스트 추출, 분류, 생성, 규칙 엔진—을 조합해 하루짜리 데모를 만든다. 마지막 30일은 실증과 단가 계산이다. 실제 업무 건수 100개를 처리해보고, 시간이 얼마나 줄었는지, 규정 오류가 얼마나 줄었는지, 한 건당 원가와 요금을 엑셀로 적나라하게 맞붙인다. 공공이든 대기업이든, 숫자로 말하는 팀을 싫어할 고객은 없다. 여기서 중요한 건 ‘우리의 크기’다. 작은 팀은 뭘 만들어도 곧장 유지보수 지옥에 들어간다.
그래서 설계 초반부터 ‘없어도 돌아가게’ 만들어야 한다. 사람이 자주 개입하는 단계를 일부러 남겨놓고, 그 지점을 고객이 통제할 수 있게 UI를 열어야 한다. 규정이 바뀔 때마다 코드를 고치지 않고도 필드를 추가하거나 워크플로를 뒤바꿀 수 있게 해야 한다. 그러면 우리는 모델 튜닝과 모니터링, 그리고 케어콜 같은 고마진 서비스에 집중할 수 있다. 기술의 난도보다 운영의 품질이 고객을 오래 붙든다. 또 하나, 교육이다. 30만 명 이상을 교육했다는 숫자는 공급자 입장에서는 자랑이지만, 수요자 입장에서는 기준점이 된다. 고객의 팀도 배워야 우리의 프로젝트가 오래 간다. 짧은 워크숍, 플레이북, 오류 예시 모음, 샘플 데이터 팩—교육 패키지를 아예 상품에 묶어라. ‘같이 배우는 고객’은 ‘혼자 쓰는 고객’보다 이탈률이 낮다.
공공은 특히 그렇다. 내부 설득이 쉽지 않기 때문이다. 우리는 기술을 파는 동시에, 내부 설득의 문장을 팔아야 한다. 마지막으로, 목표 이야기로 돌아가 보자. ‘AI 3대 강국’이 영감을 주는 목표라는 문장엔 함정과 해답이 같이 들어 있다. 이 목표는 나라가 아니라 시장의 약속이기도 하다. 클라우드와 생성형 AI가 공공을 바꾸면, 공공과 거래하는 수십만 곳의 민간도 함께 바뀐다. 대형 벤더의 투자는 플랫폼의 신뢰도를 높이고, 우리는 그 위에서 작게 시작해 일감의 모서리를 잡는다. 작게 시작해도 괜찮다. 국가 전략은 멀리 가는 길이고, 우리 비즈니스는 오늘 길바닥의 돌부리를 치우는 일이다.
그 돌부리를 치워준 사람이 내일 큰 길의 표지판을 단다. 행사가 끝나갈 무렵, 누군가 이런 말을 남겼다. “AI 소양을 갖춘 리더가 필요하다.” 소양은 지식이 아니라 태도다. 코드를 모르면 문서를 모으고, 모델을 모르면 규정을 정리하고, 클라우드를 모르면 비용표를 만든다. 그 모든 걸 연결하고 결과물을 만든 사람이 리더다. 커피 향이 잦아든 늦은 오후, 당신의 팀이 오늘 밤 적을 파일 이름은 아마 이런 것일지 모른다. ‘민원요약\_100건\_실증\_v0.1.xlsx’. 목표는 크고, 시작은 작다. 그리고 그 사이를 잇는 건 결국, 당신이 내일도 반복할 작은 결과물 하나다.