AX Study Note · 2026
LLM 리포트 배치를 운영하며 가장 오래 걸린 일은 모델 선택이 아니었습니다. 무엇을 AI에 맡기고 무엇을 코드와 사람에게 남길지 정하고, 바꾼 뒤 비용과 품질이 어떻게 됐는지 확인하는 일이었습니다. 이 노트는 그 경험을 AX 진행 순서로 다시 정리하고, 공개된 사례를 같은 틀로 읽어 본 기록입니다.
사례의 수치는 대부분 회사가 직접 발표한 값입니다. 출처를 함께 적고, 검증되지 않은 값은 그렇다고 표시했습니다.
01 · How I Understand AX
기술 데모는 3단계에서 끝나지만, 실제 도입의 성패는 1·2단계와 5·6단계에서 갈린다고 봅니다.
지금 누가, 어떤 순서로, 얼마나 시간을 들여 일하는지 그립니다. 병목과 반복 작업을 찾습니다.
후보를 효과·난이도·위험으로 비교합니다. 틀리면 큰일 나는 판단보다 찾기·요약·초안처럼 사람이 검토할 수 있는 일부터 고릅니다.
LLM에는 언어로 풀어야 하는 부분만 맡기고, 계산·규칙은 코드로 둡니다. 실패하면 어디로 돌아갈지 처음부터 정합니다.
정답이 있는 고정 질문 세트로 정확도, 근거 일치, 모를 때 모른다고 하는 비율을 잽니다. 바꿀 때마다 다시 돌립니다.
처리 시간, 비용, 오류율처럼 도입 전과 비교할 수 있는 숫자를 남깁니다. 실제 사용자의 의견도 함께 봅니다.
사람이 승인할 지점, 비용 한도, 재처리, 기록, 데이터를 밖으로 보내지 않는 원칙을 정하고 계속 고칩니다.
02 · Case Reading
무엇을 바꿨는지, 효과를 어떻게 쟀는지, 그리고 내가 했다면 어디서 막혔을지를 적었습니다.
내 판단저라면 모델보다 정비 기록부터 보겠습니다. 증상·원인·조치·결과가 나뉘어 있는지, 용어가 통일돼 있는지요. 특히 조치 뒤 해결됐는지가 기록돼 있지 않으면 AI가 실패한 조치도 똑같이 추천합니다. AI의 답은 실제 기록과 맞는지, 그 조치로 실제 해결됐는지로 평가하겠습니다.
출처: SK AX 사례 소개내 판단틀린 답을 걸러낼 사람이 중간에 있는 곳부터 시작했다고 봅니다. 고객이 바로 보면 틀린 답이 투자 판단과 회사 책임으로 이어지기 때문입니다. 제가 운영하는 리포트는 매일 5,000종목이라 사람이 전부 볼 수 없습니다. 그렇다면 위험한 리포트만 골라 사람이 먼저 보고, 나머지는 자동 검사와 표본 검사로 대신하는 것이 같은 원칙을 적용하는 방법이라고 생각합니다.
출처: OpenAI 고객 사례내 판단처음 발표한 숫자는 얼마나 많이, 얼마나 빨리 했는지(산출)였고, 고객 문제가 정말 해결됐는지(결과)는 평균에 묻혔다고 봅니다. 쉬운 상담이 많으면 환불 협상 같은 어려운 상담의 실패가 드러나지 않습니다. 제 배치의 "매일 5,000종목"도 처리량일 뿐이라, 품질은 업무 유형별로 따로 재야 한다는 걸 이 사례로 정리했습니다.
출처: 2024 발표 보도 출처: 2025 되돌림 보도03 · Applying to My Work
전문가가 라이브 방송에서 하던 종목 추천·분석을 회사 AI TF에서 AI로 옮긴 일입니다. 매일 국내·미국 약 5,000종목 리포트를 만드는 배치를 여섯 단계로 다시 적었습니다.
원래 종목 추천과 분석은 전문가가 라이브 방송에서 하던 일이라 다룰 수 있는 종목 수에 한계가 있었습니다. 이를 ML 추천과 LLM 분석글로 옮기고, 기존 RS 스코어도 리포트로 넓혔습니다. 처음에는 점수 계산부터 해석 문장까지 LLM이 모두 맡았습니다. 결과가 이상해 배치를 다시 돌리는 일이 잦았는데, 같은 주가 데이터인데도 점수가 매번 달라졌습니다. API 비용은 월 약 $2,000였습니다.
주가 데이터로 만드는 점수라면 같은 입력에 같은 점수가 나와야 합니다. 그래서 점수 계산은 LLM에서 빼고, 계산된 근거를 해석하는 문장만 남기기로 했습니다.
모델은 그대로 두고 점수를 규칙 기반 코드로 옮겼습니다. 차트 이미지는 낮은 화질로, 중복 프롬프트는 빼서 입력을 줄였습니다.
JSON 형식으로 받아 형식·내용을 자동 검사했습니다. 품질은 금융 기사와 전문가를 자주 접하는 서비스 운영팀(타 부서)이 각자의 판단으로 기존 결과와 비교했고, 기준이 적혀 있지는 않았습니다.
월 $2,000 → $800, 60% 절감. 처리 범위는 그대로 매일 약 5,000종목입니다.
5,000종목을 사람이 다 볼 수 없어 자동 검증을 1차 관문으로 두고, 실패한 건만 다시 처리합니다. 그 밖의 문제는 보고되면 그때 대응하는 사후 대응 구조입니다.
04 · Practice & Next
개인 프로젝트로 작게 해 보고, 결과와 한계를 함께 적습니다.
임베딩과 키워드 검색을 섞은 검색, 근거가 약하면 한 번 더 찾기, 개인정보를 문서에 넣지 않는 원칙.
포트폴리오에서 보기AI PR 리뷰, 사람·AI 리뷰 비교, 코딩 에이전트 비교. 작은 표본이라는 한계까지 적었습니다.
포트폴리오에서 보기이력서 챗봇에 정답 근거가 있는 질문 세트를 붙여, 검색 방식을 바꿨을 때의 차이를 숫자로 비교합니다.
검색·조회·알림을 도구로 만들고 MCP 서버로 직접 내놓아, 사람 승인 단계가 있는 업무 흐름을 만들어 봅니다.
사내 자료를 외부 모델에 보내지 않는 구성(로컬 모델), 비밀값 관리, 기록에 남길 것과 남기지 않을 것의 기준.