AI 전환은 어디서부터 시작되는가

데모는 잘 나옵니다. 그런데 사내에 붙이는 순간 질문이 바뀝니다. 학습에 쓸 문서가 어디에 쌓여 있는지, 그 문서를 누가 최신 상태로 유지하는지, 답이 틀렸을 때 누가 판단하고 어떻게 되돌리는지가 정해져 있지 않으면 파일럿은 멈춥니다. 모델을 바꿔서 해결되는 문제가 아닙니다.

이 페이지는 실제 사례와 정책 흐름을 통해 AI 전환이 어떤 순서로 진행되는지 정리합니다. 팬 커뮤니케이션 앱처럼 참여 유지가 핵심인 서비스, 국가 차원의 AI 정책이 만드는 수요, 그리고 PoC에서 실제로 확인해야 할 기준을 순서대로 짚습니다. 각 장은 읽고 나면 다음 회의에서 물어볼 질문 하나씩을 남깁니다.

먼저 정할 것

데이터 위치와 규제 요건

첫 구축 대상

사내 문서 검색

확장 판단 기준

숫자로 정한 성공 기준

사내 검색이 첫 단계인 이유

챗봇은 답을 못 하면 바로 티가 납니다. 검색은 결과 목록을 주기 때문에 실패가 덜 치명적입니다. 그래서 첫 단계로 검색을 권합니다.

사내 문서를 벡터로 변환해 검색 가능하게 만들면, 그 위에 요약, 질의응답, 자동 분류를 얹을 수 있습니다. 순서를 바꾸면 근거 없는 답을 만드는 챗봇이 됩니다.

검색을 먼저 만들면 평가도 쉬워집니다. 어떤 문서가 어떤 질문에 올라오는지 눈으로 확인할 수 있기 때문입니다. 이 기록이 쌓이면 요약과 질의응답 단계에서 무엇을 개선해야 하는지도 같은 근거로 판단할 수 있습니다.

도입 후 운영에서 무너지는 지점

AI 기능은 출시 후에도 계속 관리해야 합니다. 문서가 늘면 인덱스를 갱신해야 하고, 모델이 바뀌면 프롬프트와 평가 기준을 다시 봐야 합니다.

이 운영 부담을 처음부터 계산하지 않으면, 초기 데모는 성공하고 3개월 뒤에 아무도 안 쓰는 기능이 됩니다. 저희가 운영 매뉴얼과 평가 지표를 함께 만드는 이유입니다.

• 문서가 늘면 인덱스를 갱신합니다

  갱신 주기와 담당자를 정해 두지 않으면, 검색은 오래된 문서를 계속 근거로 씁니다.

• 모델이 바뀌면 프롬프트를 다시 봅니다

  같은 지시문이라도 모델마다 결과가 달라집니다. 평가 기준을 함께 다시 돌려야 비교가 됩니다.

• 사용 기록을 지표로 남깁니다

  검색어, 클릭한 문서, 답을 다시 물은 횟수를 남기면 다음 개선 지점이 보입니다. 개인을 특정하는 기록은 남기지 않습니다.

• 분기마다 비용과 사용량을 재검토합니다

  사용량이 늘면 호출 비용도 함께 움직입니다. 정해진 시점에 다시 보는 절차가 있어야 중간에 멈추지 않습니다.