화제의 모델 Jev, 쇼핑몰 상담 챗봇에 넣고 비교해 봤습니다

요 며칠 제 피드에서 가장 자주 보이는 모델은 단연 제브(Jev)인 것 같습니다. 웹 자동화부터 에이전트까지, 벌써 각자의 방식으로 붙여보는 분들이 많더라고요.

저도 관심 있게 봤는데, 한 가지가 좀 아쉬웠습니다. 뭘 만들었는지는 보이는데, 그래서 넣기 전보다 얼마나 좋아졌는지는 알기 어려웠어요. 원래 쓰던 모델만으로도 되는 일인지, Jev를 넣어서 빨라진 건지, 비용은 오히려 늘지 않았는지요.

그래서 직접 비교해 봤습니다. 같은 일을 Jev 없이도 시켜보고, 넣어서도 시켜보면 차이가 보이지 않을까 싶었어요.

주제는 쇼핑몰 상담으로 잡았습니다. 배송 조회, 주문 취소, 반품처럼 누구나 한 번쯤 해봤을 만한 일이요.

“반품할 수 있나요?”라고 물었다고 바로 반품을 접수하면 안 되겠죠. 가능한지만 궁금할 수도 있으니까요. 반대로 설명을 듣고 “그럼 진행해 주세요”라고 했다면, 그때는 실제로 처리해야 하고요. 이런 대화를 얼마나 잘 따라가는지 보고 싶었습니다.

처음에는 DeepSeek 혼자 상담하는 방식과, Jev가 필요한 정책을 고르고 DeepSeek가 답하는 방식을 비교했습니다. 이후에는 의도나 동의를 판단하는 부분을 따로 떼어 Jev에 맡겨봤어요. 주문 조회와 처리 코드는 같게 두고, 안내도 준비한 문구로 보여주면서요.

이 구성에서는 차이가 있었습니다. DeepSeek 대비 Jev의 처리 시간 중앙값은 약 55% 짧았고, 총비용은 약 20% 적었습니다.

그런데 여기까지만 쓰면 제가 처음에 아쉬워했던 소개 글이랑 다를 게 없겠죠.

한국어로 만든 가상 상담 20개를 방식마다 두 번씩 실행했는데, DeepSeek는 40번 모두 처리했고 Jev는 38번 처리했습니다. 같은 반품 대화에서 두 번 모두 멈췄어요.

고객이 처음에는 “반품할 수 있는지만 알고 싶어요”라고 했다가, 다음에는 “반품 신청까지 진행해 주세요”라고 말한 상황이었습니다. Jev는 여전히 동의가 없다고 판단해서 다시 진행할지 물었고요.

고객이라면 “방금 해달라고 했잖아요” 싶을 대화였습니다.

다만 제 실험 구성도 짚고 넘어가야 합니다. 고객이 앞서 한 말은 전달했지만, 상담원의 직전 답변과 현재 업무 상태는 판단 입력에 넣지 않았어요. 이걸 보강하면 결과가 달라질지는 아직 확인하지 못했습니다. 두 모델에 같은 입력을 줬다고 해서, 각각을 가장 잘 쓰는 방법까지 검증한 건 아니니까요.

이번 실험으로 Jev가 무조건 낫다거나 아직 못 쓴다고 결론 내리고 싶지는 않습니다. 대신 어떤 일을 맡겼을 때 이득이 있었고, 어디서는 처리를 놓쳤는지까지 같이 보여드리고 싶었어요. 그래야 자기 서비스에 넣을지 판단하는 데 조금이라도 도움이 될 테니까요.

직접 써보실 수 있게 가상 쇼핑몰도 열어뒀습니다. 로그인 없이 브라우저당 답변 10회까지, 두 상담 방식을 바꿔가며 체험할 수 있어요.

실험 결과는 사이트의 Lab에 정리했습니다. 전체 시간·비용 비교부터 시작해서, 배송 조회나 취소·반품처럼 상황별로 골라 볼 수 있게 해뒀어요. 차트에서 질문을 선택하면 얼마나 빨라졌고 비용이 얼마나 달라졌는지, 두 방식이 실제로 어떤 답변을 했는지까지 이어서 확인할 수 있습니다. 빠르고 저렴했어도 일을 끝내지 못한 경우는 따로 표시했고요.

어떤 설정으로 비교했는지, 제가 입력을 잘못 넣었다가 고친 부분도 남겨뒀습니다. 결과가 궁금하시면 Lab에서 관심 있는 질문 몇 개만 골라 보셔도 차이가 보일 거예요.

참고로 직접 체험하는 채팅은 처음 만든 상담 구성이고, Lab에는 그 이후 진행한 실험까지 담겨 있습니다. 위 수치는 준비한 문구로 안내한 작은 실험의 결과입니다. DeepSeek는 추론을 끈 설정이었고 답변 검토에는 AI를 사용했습니다. 실제 고객 상담의 성과를 측정한 것은 아닙니다.

저처럼 “그래서 기존 방식보다 뭐가 좋아졌는데?”가 궁금하셨던 분들께 참고가 되었으면 좋겠습니다. 읽어주셔서 감사합니다.

• 쇼핑몰 상담 체험: jev.baeksang.dev
• Lab에서 실험 결과 보기: jev.baeksang.dev/lab