AI 자동화 파이프라인을 혼자 만들어보겠다고 마음먹었을 때, 솔직히 AI가 다 해줄 거라고 생각했어요.
하지만 틀렸습니다.
뉴스 기사를 자동으로 수집하고, AI가 한국어로 요약해서 블로그에 자동 발행하는 시스템을 Make.com과 Claude API로 구축하는 과정은 예상보다 훨씬 험난했어요. 그 과정에서 AI에 대해 배운 것들을 솔직하게 공유해볼게요.
현실 1. AI는 기억하지 못한다
하루종일 같은 문제를 붙잡고 씨름한 날이 있었어요. AI에게 문제를 설명하고, 해결책을 받고, 적용해보고, 안 되면 다시 물어보고. 그런데 어느 순간 AI가 몇 시간 전에 이미 시도해서 안 된다고 확인한 방법을 다시 제안하고 있었어요. 결국 하루종일 같은 자리를 맴돌게 됩니다.
AI는 대화가 길어질수록 앞에서 나눈 내용을 온전히 유지하지 못해요. 새로운 대화창을 열면 이전의 모든 시행착오를 전혀 모르는 상태로 돌아가요. 그 답답함은 직접 겪어봐야 알아요.
그래서 방식을 바꿨어요. 중요한 맥락과 시행착오 내용을 내가 직접 문서로 정리해서 새 대화마다 전달하는 거예요. AI의 기억에 의존하지 않고, 내가 직접 기억을 관리하는 방식으로요.
현실 2. 그럴듯하게 틀린다
Make.com 파이프라인을 만들면서 JSON 관련 오류가 발생했어요. AI는 escapeJson()을 쓰면 해결된다고 했어요. 적용했더니 오류가 났어요. Make.com에 그 함수 자체가 없었던 거예요.
그 이후 다른 작업을 진행하다가 AI가 이번엔 parseJson()을 제안했어요. 그 순간 직감적으로 알았어요. “또 JSON 함수다. 오류 나겠다.” 역시나 오류가 났습니다.
AI는 일반적으로 맞는 방법을 제시해요. 하지만 내가 쓰는 특정 도구, 특정 환경에서 실제로 작동하는지는 확인하지 않고 답해요. 말투는 항상 자신 있고 확신에 차 있어서 처음엔 전혀 의심하지 않게 돼요. 그게 더 무서운 부분이에요.
현실 3. 첫 번째 답을 믿지 않는다
escapeJson()을 제안받았을 때, 바로 적용하기 전에 먼저 물었어요. “이 변수 블록으로 쓰는 거 맞아?” 그 질문 자체가 검증이었는데, 실제로 적용하니 오류가 났어요.
두 번째로 parseJson()을 제안받았을 때는 달랐어요. AI가 말을 끝내기도 전에 먼저 짚었어요. “저 변수 블록이 검정색이잖아. Make.com에 없는 거라서 저렇게 표시되는 거 아니야? 어제도 그래서 오류 났던 거 같은데.” 일단 테스트해보자고 했고, 역시나 오류가 났어요.
첫 번째 실패에서 배워서 두 번째엔 패턴을 먼저 읽어낸 거예요. AI를 맹목적으로 믿지 않고 계속 의심하고 검토하다 보니, AI의 답보다 내 직감이 먼저 움직이기 시작했어요.
현실 4. 실수는 반드시 짚어줘야 한다
가장 기억에 남는 순간이 있어요. AI가 하루종일 “독립 흐름들도 스케줄에 같이 실행된다”고 확신하며 안내했어요. 저도 그 말을 믿었고요.
다음 날 아침, 실행 기록을 확인했더니 하나의 흐름만 실행돼 있었어요. AI의 말이 틀렸던 거예요. 그때 이렇게 말했어요. “어제도 이렇게 마무리했는데, 막상 오늘 아침에 확인해보니까 안 됐잖아. 대충 하려고 하지 마.”
화풀이처럼 보이지만, 이건 AI가 같은 대화 안에서 같은 오류를 반복하지 않도록 맥락을 잡아주는 거예요. 실제로 이렇게 짚어주면 대화 흐름이 달라져요.
AI를 쓰다가 비슷한 경험 하신 분 있으신가요?
저는 여전히 매일 의심하면서, 그래도 쓰고 있어요.
어떻게 쓰고 계신지 댓글로 들려주세요.