클로드 코워크와 채팅을 비교해봤는데, 정확도를 가른 건 파일 연결이 아니었다

클로드 코워크와 채팅을 비교해봤는데, 정확도를 가른 건 파일 연결이 아니었다

코워크(Cowork)라는 기능이 있다는 건 알고 있었어요. 로컬 폴더를 연결해서 파일을 읽고 쓸 수 있다는 것도요.

그런데 정작 써본 적은 없었어요. 블로그 글은 일반 채팅으로만 써왔거든요. 같은 작업을 양쪽에 시켜보면서 “클로드 코워크 채팅 차이”를 확인해봤어요.

소재는 클로드 계정에서 해커가 토큰을 빼가고 있었다는 테크크런치 보도였어요. 같은 원문으로 네 가지를 해봤어요.

  1. 원문 확인 및 사실 추출
  2. 도입부 작성
  3. 문장 다듬기
  4. 이미지 생성

같은 원문을 줬는데, 인용 방식이 갈렸어요

원문 확인 결과부터 달랐어요. 일반 채팅은 원문 문장을 거의 그대로 가져와서 답했어요.

사실관계는 정확했지만, 그 결과를 블로그 본문에 바로 옮기기보다는 제 말로 다시 풀어쓰는 작업이 필요할 정도로 인용 비중이 높았어요.

Cowork는 반대로 짧게 요약해서 답했는데, 스스로 “이건 정확한 원문 대조가 아니라 근사치”라고 먼저 밝혔어요.

정작 원문과 직접 대조해보니 Cowork가 뽑은 구체적 수치(댓글 80개, 사용량이 12분 만에 0%에서 49%까지 뛴 사례)는 정확했어요. 스스로는 못 미더워했지만 실제로는 맞았던 거예요.

문제는 그다음 단계(도입부 쓰기)에서 나왔어요.

Cowork가 쓴 단락은 기사에서 중심으로 다룬 피해자의 토큰 탈취 사례와, 다른 피해자들이 악성코드로 로그인 정보를 빼앗긴 사례를 하나로 섞어버렸어요. 원문은 두 사례를 구분해 설명하는데도요.

일반 채팅은 이 부분을 정확하게 주인공 사례에만 한정해서 썼어요.


문장을 다듬을 땐 정확도에서 차이가 났어요

세 번째 테스트는 종결어미가 겹치는 문장을 찾아 다듬는 작업이었어요. 둘 다 방향은 맞게 짚어냈지만, 정밀도가 달랐어요.

일반 채팅은 정확히 “-했어요”로 끝나는 문장 두 개(“발견했어요”, “등장했어요”)만 콕 집어서 고쳤어요.

Cowork도 같은 문제를 잡긴 했는데, “느꼈어요”와 “인정했어요”처럼 실제로는 다른 종결형을 “같은 계열”이라고 묶어서 판단했어요.

얼추 맞는 방향이지만, 정확히 같은 표현이 반복되는지까지는 구분하지 못한 거예요.


이미지를 만들어달라고 하자 둘 다 똑같이 막혔어요

네 번째 테스트(이미지 생성)에서는 둘 다 실제로 이미지를 만들진 못했어요. 이미지 생성 스크립트가 필요로 하는 API 키가 이번 제 환경 양쪽 모두에 없었거든요.

Cowork냐 채팅이냐의 차이라기보다는, 이번 테스트 환경에서 둘 다 똑같이 걸린 벽이었어요.

이 과정에서 Cowork가 실제로 로컬 파일을 여는 걸 처음 봤어요.

API 키 같은 설정값을 저장해두는 `.env` 파일을 열어서 키가 없다는 걸 직접 확인하고, 이미지 생성 스크립트도 열어서 필요한 인자 형식을 파악했거든요.

딱 읽은 것까지만이었어요. 파일을 새로 쓰거나 고친 적은 이번 테스트에서 한 번도 없었어요.

그 앞 단계에서는 진행 방식도 달랐어요.

Cowork는 진행하기 전에 “이 소재가 지금 우선순위가 맞는지 애매하다”며 멈추고 어떻게 할지 물어봤어요.

일반 채팅은 비슷한 애매함(파일 이름이 아직 안 정해진 것)을 마주치고도 스스로 임시값을 정해서 그냥 진행했고요.

우선순위는 글의 방향 자체를 바꿀 수 있어서 멈추고 물어보는 편이 안전해요. 반대로 파일 이름은 나중에 고칠 수 있으니, 임시값을 정하고 진행하는 편이 더 편했고요.


작업 지침을 참고하는 방식이 서로 달랐어요

이게 제일 뜻밖이었는데요, 나중에 “방금 답변 쓸 때 작업 지침을 실제로 읽었냐”고 둘 다에 다시 물어봤어요.

일반 채팅은 관련 내용을 세 번 검색했다고 답했고, 답변에는 실제로 근거 문장 인용이 붙어 있었어요. Cowork는 검색한 게 아니라 애초에 그 지침 전체가 대화 시작부터 자동으로 딸려 들어와 있었다고 했어요.

그런데 몇 턴 뒤 다시 물어보니, 그 자동 첨부가 어느 순간 조용히 빠졌다면서 “지금부터는 다시 알려달라”고 스스로 말했어요.

다만 이건 Cowork가 자기 상태를 그렇게 설명한 것까지만 제가 확인한 거예요. 실제로 언제, 왜 빠졌는지는 화면이나 로그로 직접 보진 못했어요.

네 가지 테스트를 정리하면 아래와 같아요.

코워크와 일반 채팅, 네 가지 테스트 결과 비교표
코워크와 일반 채팅, 네 가지 테스트 결과 비교표

그런데 이 비교, 오래 못 갈 수도 있어요

이 테스트를 한 지 며칠 지나지 않아 앤트로픽이 Cowork와 일반 채팅을 하나로 합친다고 발표했거든요.

이제 둘 중 뭘 쓸지 고민할 필요 없이, 클로드가 요청 성격을 보고 알아서 필요한 도구를 골라 쓰는 식이에요. 문서·슬라이드·디자인 작업도 같은 대화 안에서 바로 이어진다고 하고요.

갑작스러운 결정은 아니었어요. 두 기능의 메모리부터 먼저 통합한 적이 있었으니, 이번 합병은 그다음 단계였던 셈이에요.

몇 주에 걸쳐 순차 적용된다고 하니, “클로드 코워크 채팅 차이”를 이렇게 나란히 비교할 수 있는 창은 이제 얼마 안 남은 셈이에요.


네 번의 테스트로 해본 한 번의 비교라 다음번에도 똑같은 결과가 나온다고 장담은 못 해요.

“파일을 직접 읽고 쓴다”는 코워크 소개 문구 중에서도, 이번에 실제로 본 건 읽는 쪽뿐이었어요.

그래도 적어도 이번 원문 확인과 글쓰기 작업에서는, 로컬 파일 연결 여부만으로 정확도가 정해지진 않았어요.

여러분은 지금이라면 어느 쪽을 먼저 써보고 싶으신가요?

댓글 달기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다

위로 스크롤