"환각하지 않는 AI"는 사실인가 - ChatGPT를 "말하지 않게" 하는 발상, 개발자가 열광하는 초고속 AI "Jev"의 정체

"환각하지 않는 AI"는 사실인가 - ChatGPT를 "말하지 않게" 하는 발상, 개발자가 열광하는 초고속 AI "Jev"의 정체

AI의 가치는 정말로 "잘 말하는 것"에 있는가

생성 AI의 진보는 오랫동안 "얼마나 자연스러운 문장을 쓸 수 있는가" "얼마나 어려운 질문에 답할 수 있는가"라는 축으로 이야기되어 왔다. 그러나 기업이 AI를 소프트웨어의 깊숙한 곳에 통합하여 자동으로 처리를 진행하려고 할 때, 유창함은 반드시 최대의 가치가 아니다.

필요한 것은 문의가 해약 상담인지, 환불 요청인지를 구별하는 것. 실행하려는 명령이 위험한지 여부를 판단하는 것. 여러 AI 모델 중에서 그 작업에 맞는 하나를 선택하는 것. 그리고 판단에 어느 정도의 자신이 있는지를 프로그램이 처리할 수 있는 형태로 반환하는 것이다.

그곳에 주목을 받고 있는 것이, 미국 TypeSafe AI가 조기 액세스로 공개한 "Jev"이다. 개발을 이끄는 디오고 알메이다 씨는 전 OpenAI 연구자로, 인간의 피드백을 사용하여 모델을 조정하는 RLHF의 연구나, ChatGPT에 연결되는 기술 개발에 관여한 인물로 알려져 있다.

Jev의 최대 특징은 채팅을 하지 않는다는 점에 있다. 이야기나 설명문도 생성하지 않고, 개발자가 사전에 정의한 선택지에 대해, 정해진 값과 확률을 반환한다. TypeSafe는 이를 "System One Model"이라고 부른다. 인간의 빠르고 직관적인 사고를 나타내는 "시스템 1"에 비유하여, 깊고 긴 추론보다도 순간의 판단을 대량으로 처리하는 방향으로 최적화한 AI이다.


"문장을 만들지 않는다"로 얻은 속도

일반적인 대규모 언어 모델은 이전 단어나 토큰을 바탕으로 다음 토큰을 하나씩 생성한다. 자유도가 높아 대화, 요약, 프로그램 작성 등 폭넓은 용도에 사용할 수 있는 반면, 긴 출력일수록 시간과 비용이 증가한다. 게다가 프로그램에서 사용할 경우, 응답을 분석하고, 예상한 형식인지 여부를 검사해야 한다.

Jev는 이 자유도를 의도적으로 포기했다. 입력은 자연어 등의 비구조 데이터라도, 출력 후보와 데이터 타입은 미리 정해둔다. 예를 들어 고객 이메일을 "청구", "해약", "제품 불량", "기타"로 분류하고, 각각의 가능성을 확률로 반환한다. 문장을 한 단어씩 쓰지 않고, 여러 판단을 병렬로 내놓기 때문에, 속도 향상이 용이하다.

TypeSafe의 공개 수치에 따르면, 응답 시간은 70~500밀리초. 입력 요금은 100만 토큰당 0.042달러로, 출력은 "측정할 만큼의 비용이 아니다"라며 무료로 취급된다. 회사는, 대상이 되는 System One형 작업에서 기존 LLM에 가까운 지능을 유지하면서, 수십 배에서 최대 200배 정도 빠를 수 있다고 설명하고 있다. 독자적인 워크플로 평가에서는 193.6배 빠르고, 444.6배 저렴하다는 수치도 제시한다.

다만, 이것들은 주로 개발자가 설계·공개한 평가이다. TypeSafe 자신도, 워크플로 작성자에 의한 편향 가능성, 비교 조건이 Jev에 유리하게 되는 경우, 가격이 보조되지 않은 것은 장기적으로만 증명할 수 있는 것을 명시하고 있다. 화려한 배율만을, 모든 용도에서 재현할 수 있는 일반 성능으로 받아들여서는 안 된다.


개발자가 반응한 것은 "똑똑함"보다 통합의 용이함

공개 직후, 관심이 집중되어 API 제공 능력이 일시적으로 따라잡지 못할 정도였다고 한다. SNS에서 두드러진 것은, 모델과의 잡담을 즐기는 반응이 아니라, 실제 업무 흐름에 대체하여 측정하는 개발자들의 게시물이다.

 

Vercel의 소프트웨어 엔지니어, Pranit Sharma 씨는, 명령의 안전성을 확인하는 분류 처리에서 기존의 OpenAI 모델에서 Jev로 대체한 결과, 정확도를 높이면서 5~18배 빨라졌다고 보고했다.

Bryo AI의 CTO, Nikhil Mudholkar 씨는, 업무 이메일 분류에서 Gemini와 비교. 자신의 테스트에서는 Gemini의 정확도가 약간 더 높았지만, 비용은 Jev가 10~20분의 1 정도였다고 하며, 특히 각 판단에 실용적인 확률이 붙는 점을 평가했다. 확신도가 낮은 건만 사람에게 돌리는 구조를 만들기 쉽기 때문이다.

한편, 오픈 소스 모델 실행 기반에 관여하는 Armin Ronacher 씨는, 확률을 어떻게 다루는가는 이용자 측의 책임이 된다고 지적한다. 50%라면 처리를 멈출 것인가, 95%라면 자동 실행해도 되는가. 그 경계는 모델이 결정해주는 것이 아니다. Jev는 불확실성을 보여주지만, 불확실성을 어떻게 업무 규칙으로 변환할지는, 도입 기업이 설계해야 한다.

이러한 SNS상의 보고는, Jev의 가능성을 보여주는 초기 사례로서 흥미롭다. 다만, 통일 조건으로 이루어진 제3자 벤치마크가 아니라, 각각의 개발자가 특정 용도로 시도한 결과이다. 호의적인 반응과 일반적인 성능 증명은 구별할 필요가 있다.


"환각하지 않는다"는 무엇을 의미하는가

Jev를 둘러싼 가장 주의가 필요한 표현이 "환각하지 않는다"이다.

출력 후보와 타입이 처음부터 고정되어 있으면, 존재하지 않는 항목을 임의로 만들거나, 설명 도중에 형식을 무너뜨리는 문제는 원리적으로 방지하기 쉽다. 반환해야 할 것이 진위값, 분류 라벨, 수치, 확률 등으로 제한되어 있기 때문에, 소프트웨어가 읽을 수 없는 문장이나 가상의 함수 호출을 생성할 여지는 적다.

그러나, 형식이 올바르다는 것은, 판단 내용이 올바르다는 것을 보장하지 않는다. "환불 요청"을 "일반 질문"으로 오분류해도, 출력 형식 자체는 완벽히 올바르다. TypeSafe가 보장하는 것은 주로 스키마나 타입에서 벗어나지 않는 것이며, 현실에 대해 항상 정답한다는 의미는 아니다.

또한, 확률의 교정도 중요하다. 모델이 "90%"라고 답한 사례를 대량으로 모았을 때, 정말로 약 90%가 올바르다면, 그 확률은 잘 교정되었다고 할 수 있다. 반대로, 90%라고 표시하면서 정답률이 60%라면, 자동화의 안전 밸브로는 사용할 수 없다. 업계, 언어, 입력의 길이, 시간 경과에 따른 데이터 변화마다 검증을 계속할 필요가 있다.

일본 기업에서 사용할 경우, 일본어의 경어, 생략 표현, 사내 고유어, 모호한 의뢰문에 대한 대응도 확인해야 한다. 영어 이메일에서 좋은 성적이었다고 해도, 일본어 콜센터 기록이나 결재 문서에서 같은 정확도가 나올 것이라고는 할 수 없다.


생성 AI를 대체하는 것이 아니라, 옆에서 감시하는

Jev의 유력한 사용 방법은, LLM 자체를 대체하는 것만이 아니다. 생성 AI의 전후에 두는 "감시자"로서도 고려될 수 있다.

예를 들어, 사용자의 의뢰에 기밀 정보를 얻으려는 명령이 포함되어 있지 않은지를 판단한다. AI 에이전트가 실행하려는 작업이 위험한지를 조사한다. 생성된 응답이 대화 내용과 모순되지 않았는지, 금지 사항에 저촉되지 않았는지를 평가한다. 고성능 LLM을 감시자로서 매번 호출하면 비용과 대기 시간이 늘어나지만, 저렴하고 빠른 판단 모델이라면, 여러 단계의 체크를 넣기 쉬워진다.

또 하나는 "모델 라우팅"이다. 단순한 의뢰는 소형이고 저렴한 모델로, 난제는 고성능 모델로, 이미지를 포함한 의뢰는 멀티모달 모델로 분배한다. 분배 자체에 고가의 LLM을 사용하면 절약 효과가 줄어들지만, Jev와 같은 모델이라면 입구에서 세밀하게 선별할 가능성이 있다.

기업 시스템에서는, 만능의 하나의 AI에 모든 공정을 맡기는 것보다, 특기 분야가 다른 작은 부품을 조합하는 것이, 비용, 속도, 감사의 면에서 현실적인 경우가 많다. Jev가 노리는 것은, 이용자에게는 보이지 않지만, 무수한 앱의 내부에서 호출되는 "판단의 공통 부품"이라는 위치다.


이름에 담긴 "제본스의 역설"

Jev라는 이름은, 19세기의 경제학자 윌리엄 스탠리 제본스에서 유래한다. 제본스의 역설이란, 자원의 이용 효율이 올라가면 절약되는 것이 아니라, 용도가 확대되어 총 소비량이 증가할 수 있다는 생각이다.

AI의 판단 비용이 100분의 1로 줄어들면, 기업이 AI 지출을 100분의 1로 줄인다는 보장은 없다. 지금까지 너무 비싸서 도입할 수 없었던 장면에, 수백, 수천의 판정 처리를 추가할 가능성이 있다. 모든 문의, 거래, 클릭, 에이전트 작업에 "조금 더 똑똑한 판단"을 끼워넣을 수 있게 되기 때문이다.

이는 편리성을 높이는 한편, 감시나 자동 선별이 보이지 않는 곳으로 확산되는 것을 의미하기도 한다. 채용 후보자의 분류, 고객의 우선순위 부여, 부정 이용의 판정 등에 사용되면, 오류나 편향의 영향은 크다. 저렴하기 때문에 대량으로 사용할 수 있다는 장점은, 같은 오판을 대량으로 증폭할 수 있다는 위험과 표리일체다.


일본 기업에 대한 현실적인 도입 절차

일본에서는 생성 AI의 도입이, 사내 채팅이나 문서 작성 지원에서 시작되는 예가 많다. Jev형 모델은, 그 다음 단계에 적합하다. 문의의 분배, 감시 알림의 우선순위 부여, 영업 건의 분류, 콘텐츠 심사, AI 에이전트의 작업 승인 등, 현재는 사람이 화면을 보고 분기하는 작업이다.

도입 시에는, 갑자기 자동 실행시키지 않고, 먼저 인간의 판단과 병행시키는 것이 안전하다. 업무 데이터로 정확도와 확률의 교정을 측정하고, 실수한 경우의 손실이 큰 항목일수록 자동화의 임계값을 높인다. 확신도가 낮은 건은 인간에게 돌려주고, 모델이나 입력 데이터의 변화를 지속적으로 감시한다. 또한, 누가 출력 후보를 정의하고, 누가 임계값을 승인했는지를 기록할 필요가 있다.

"AI가 판단했기 때문에"로 책임을 모호하게 하지 않고, AI의 확률을 기업의 의사 결정으로 변환한 규칙을 설명할 수 있도록 하는 것이 중요하다. Jev의 강점은, 자유로운 문장이 아니라 구조화된 값을 반환하는 점에 있다. 그 강점을 감사 가능성으로 연결할 수 있는지 여부에 따라, 단순한 고속 분류기와 신뢰할 수 있는 업무 기반의 차이가 생긴다.


AI의 주 전장은 화면 밖으로 이동한다

Jev는 ChatGPT와 같은 대화 AI를 끝내는 존재가 아니다. 문장의 작성, 대화, 복잡한 추론, 창조적인 작업에서는, LLM의 자유도가 필수적이다. 한편, 소프트웨어의 내부에서 수백만 번 반복되는 작은 판단에는, 자유도가 오히려 방해가 될 수 있다.

Jev가 던지는 본질적인 질문은, "가장 똑똑한 AI는 무엇인가"가 아니라, "그 작업에 문장 생성이 정말로 필요한가"이다. 필요한 답이 몇 개의 선택지와 확률이라면, 거대한 대화 모델을 매번 호출할 이유는 적다.

앞으로, 유사한 모델이나 경쟁 제품이 증가하고, 독립된 제3자 평가가 진행될 것이다. Jev의 비밀에 싸인 아키텍처나, 합성 데이터만으로 훈련했다는 주장, 가격의 지속 가능성도 검증이 필요하다. 그럼에도, AI의 미래가 화려한 채팅 화면 안에만 있는 것이 아니라, 조건 분기, 감시, 분류, 분배와 같은 지루한 처리의 중에 확장된다는 견해에는 설득력이 있다.

다음 AI 혁명은, 인간에게 말을 걸어오는 것만은 아닐 것이다. 눈치채지 못할 정도로 빠르게, 소프트웨어의 깊숙한 곳에서 "다음에 무엇을 할 것인가"를 결정한다. 그 조용한 변화의 선두에, Jev는 서려고 하고 있다.


SNS의 반응에 대해

본문에서 소개한 SNS 반응은, 공개 직후에 개발자가 게시한 개별 테스트와, TechCrunch에 의한 취재·인용을 바탕으로 정리했다. 속도, 가격, 확률 출력에 대한 평가는 강한 반면, 동일 조건의 대규모 독립 검증은 아니기 때문에, 각사의 본방 데이터로 재평가할 필요가 있다.


출처 URL

관련 기사