텍스트 안 만드는 AI, 결정 전용 모델 Jev 등장

전직 OpenAI 연구원 디오고 알메이다가 설립한 샌프란시스코 랩 TypeSafe AI가 텍스트를 생성하지 않는 모델 Jev를 공개했습니다. 호출자는 상태와 타입화된 질문 집합을 보내고, 모델은 실행 가능한 결정을 확률 분포와 신뢰도로 돌려받습니다. InfoQ에 따르면 Vercel AI Gateway에 탑재된 지 24시간 만에 유료 팀의 약 13%가 사용했고, 입력 비용은 100만 토큰당 0.042달러에 출력은 무료입니다.

1. 텍스트 생성이 아닌 타입화된 결정이라는 발상

TypeSafe AI는 Jev를 System One Models 중 첫 번째 모델로 소개했습니다. InfoQ에 따르면 Jev는 문장을 생성하지 않으며, 소프트웨어가 직접 실행할 수 있는 타입화된 확률적 결정을 반환합니다. 호출 방식은 상태(state)를 문자열 또는 구조화 데이터로 보내고, 타입화된 질문들을 함께 전달하는 형태입니다. Jev는 이를 단일 병렬 패스로 평가해 Choice와 Score, Noul 형태의 답변을 확률 분포와 신뢰도 값과 함께 반환합니다. 호출 코드는 임계값 이상에서는 자동 실행하고, 임계값 미만에서는 사람이나 상위 모델로 에스컬레이션하는 구조를 만들 수 있습니다.

학습 방법으로는 Reinforcement Learning for Calibrated Decisions라는 자체 방식을 내세웠습니다. 핵심은 정확도 자체보다 보정(calibration)에 있습니다. 90%라고 말했을 때 실제로 90% 정도가 맞아야 한다는 의미입니다. 에이전트 워크플로에서 다음 행동 선택, 유해성 분류, 이메일 분류, 도구 호출 허용 여부 같은 반복 판단은 긴 설명이 필요 없고, 선택지와 확신도가 더 중요합니다. TypeSafe가 모델명을 경제학자 윌리엄 스탠리 제번스에서 따왔다는 점도 같은 맥락입니다. TechCrunch에 따르면 컴퓨터 지능 같은 것의 비용이 떨어지면 오히려 수요가 늘어난다는 제번스 역설을 염두에 둔 이름입니다.

생태계 반응은 빨랐습니다. InfoQ에 따르면 Vercel은 출시 둘째 날 Jev를 AI Gateway에 추가했고, Netlify가 뒤따랐습니다. LangChain은 모델 라우팅 기능과 함께 TypeSafeClassifier 연동을 내놓았고, 도구 호출 실행 전에 이를 검사하는 AutoMode 미들웨어도 함께 공개했습니다. 출시 수일 만에 독립적인 Elixir 클라이언트가 다섯 개나 등장했다는 대목은, 특정 언어 커뮤니티에서 라우팅과 분류 수요가 얼마나 컸는지를 보여줍니다. Earendil의 최고기술책임자 아르민 로나허가 TechCrunch에 말한 것처럼, 모델 라우팅은 결정 전용 모델과 잘 맞는 용도입니다. 큰 모델을 호출하기 전에 작고 빠른 결정 모델이 어디로 보낼지를 먼저 정하는 방식입니다.

2. 속도와 비용 수치, 기대와 검증 사이

가격과 성능 수치는 InfoQ가 전한 TypeSafe 제시값과 제3자 실측을 함께 봐야 합니다. TypeSafe가 제시한 공식 수치는 입력 100만 토큰당 0.042달러, 출력 무료, 컨텍스트 윈도우 32,000 토큰, 종단 간 지연시간 70ms에서 500ms입니다. 텍스트 생성이 없으니 출력 토큰 과금이 없다는 점이 기존 LLM 과금 구조와 가장 다른 부분입니다. 분류와 스코어링을 대량으로 반복하는 워크로드에서는 출력 비용이 사라지는 것만으로도 청구 구조가 크게 바뀝니다.

현장 보고는 속도와 비용 절감을 확인하면서도 과장된 헤드라인에는 거리를 둡니다. Vercel 엔지니어 프라닛 샤르마는 안전 분류기(safety classifier)가 기존에 사용하던 LLM 대비 5배에서 18배 빨라졌다고 밝혔습니다. Bryo AI의 최고기술책임자 니킬 무돌카는 이메일 분류에서 Gemini가 약간 더 정확했지만 10배에서 20배 더 비쌌다고 평가했고, 실제 확률값을 돌려준 것은 Jev가 유일했다고 언급했습니다. 레딧의 한 개발자는 에이전트 작업에 200ms에서 300ms 지연시간을 두고 절대적으로 놀랍다고 표현했고, Hacker News의 얼리 액세스 사용자는 정말 멋지다고 평가하면서도 분포 밖 데이터에서의 동작은 LLM과 다를 것이라고 주의를 당부했습니다.

OpenChamber가 12,759개의 출시 관련 트윗을 분석한 결과는 과열된 첫인상과 중앙값 사이의 간극을 보여줍니다. 사용자 보고 속도 향상은 중앙값 7배로, 193.6배라는 헤드라인 수치와는 거리가 있었습니다. 비용 절감은 중앙값 30배, 지연시간은 중앙값 76ms, 상위 사분위 270ms로 집계됐습니다. 즉 빠르다는 방향성은 맞지만, 수백 배라는 숫자는 대표값이 아니라는 의미입니다. Hacker News에서 나온 지적도 중요합니다. Jev는 잘못된 타입을 낼 수는 없지만, 타입은 맞지만 완전히 틀린 유효값을 낼 수는 있다는 것입니다. 구조화된 출력을 강제해도 환각이 사라지는 것이 아니라, 환각의 형태가 타당한 값 중 오답으로 바뀐다는 점을 이해해야 합니다.

3. AWS Strands Decider 2B와 오픈소스 복제 경쟁

TechCrunch에 따르면 AWS는 TypeSafe의 Jev에서 영감을 받은 오픈소스 결정 모델 Strands Decider 2B를 공개했습니다. 같은 주에 OpenAI도 유사한 offerings를 발표했다고 전해집니다. Strands Decider 2B는 미리 정해진 선택지 사이에서 분류하고, 선택에 대한 확신도를 함께 전달하는 고속 저비용 방식입니다. 완전 오픈소스로 지금 바로 이용 가능하며, 로컬에서 실행할 수 있을 만큼 작습니다.

이 프로젝트를 시작한 인물은 아마존 디스팅귀시드 엔지니어 마크 브루커입니다. TechCrunch에 따르면 브루커는 Jev를 본 뒤 직접 자신만의 버전을 만들어 봤고, 이 자작 프로젝트가 한때 동급 크기 모델 대상 Jevbench 순위에서 1위에 오를 정도로 성과가 나오자 AWS 엔지니어들이 이를 정리해 Strands Labs 명의로 공개했습니다. Strands Labs는 AI 에이전트 배포를 위한 새로운 도구와 프로토콜을 개발하는 조직입니다. 브루커는 AWS 고객과의 대화에서 필요성이 드러났다고 설명했습니다. 에이전트 워크플로 단계마다 완전한 기능을 갖춘 LLM의 성능과 비용이 항상 필요한 것은 아니라는 것입니다.

기술적으로 Strands Decider도 다른 결정 모델과 마찬가지로 LLM의 몸통(torso) 위에 구축됐습니다. 기반은 Qwen3.5-2B이며, 텍스트를 생성하는 대신 보정된 선택을 전달합니다. TechCrunch에 따르면 TypeSafe 데뷔 이후 수십 개의 유사 모델이 연구자들에 의해 만들어졌을 정도로 관심이 넓습니다. 브루커는 빠른 의사결정을 최적화하면서도 언어 이해와 지식 같은 일반 목적 능력을 해치지 않는 균형이 과제라고 말했습니다. 정확도와 보정을 끌어올리면서도 여러 언어 이해와 지식을 유지해야 유용하다는 취지입니다.

흥미로운 대목은 구축 비용에 대한 언급입니다. 브루커는 시장이 작은 만큼 흥미로운 것을 만드는 비용이 수백 달러에서 수천 달러 수준이라고 말했습니다. 진입 장벽이 낮으니 복제가 쏟아지는 것은 자연스럽습니다. 반면 TypeSafe 최고경영자 디오고 알메이다는 TechCrunch에 사람들이 금광 러시로 생각하는 것은 이해하지만, 모델을 실제로 똑똑하게 만드는 어려움을 과소평가하고 있을 수 있다고 말했습니다. 그는 당분간 자사에 대한 진짜 경쟁은 아직 보이지 않는다고 주장했습니다. 현재 쏟아지는 복제들은 지능을 유용하게 만드는 데 전념하는 팀이라기보다, 멋진 아키텍처를 구현해 보고 싶은 머신러닝 실무자들의 시도가 많다는 평가입니다.

도입 시 주의점도 자료에 구체적으로 나와 있습니다. InfoQ는 LLM 분류기를 교체하는 팀은 jev-1.13 버전의 재기드니스(jaggedness) 문서를 먼저 볼 것을 권합니다. 해당 문서에는 셈하기와 산술, 날짜 비교가 불안정하고, 크고 노이즈가 많은 상태에서는 정확도가 떨어진다는 내용이 담겨 있으며, 수학 연산은 코드에 두라는 조언이 포함됐습니다. 움직이는 별칭인 jev-latest나 jev-preview 대신 jev-1.13.0 같은 고정 버전을 고정하고, 벤치마킹할 때는 System One 어댑터로 기존 모델을 같은 스키마에 맞춰 실행하라는 권고도 있습니다. 퀵스타트에는 키와 SDK, 플레이그라운드 사용법이 정리돼 있습니다.

4. 한국 개발자·기업에게 주는 시사점

① LLM 분류·라우팅 과금을 결정 모델 레이어로 분리하라

국내 서비스에서 LLM 비용이 가장 크게 새는 지점은 긴 답변 생성이 아니라 반복 분류입니다. 욕설과 스팸 판별, 문의 유형 분류, 검색 결과 재순위화, 도구 호출 전 위험도 판별 같은 단계가 대표적입니다. Jev 사례처럼 입력만 과금되고 출력이 무료이며 중앙값 76ms 수준의 판단기가 있다면, 이 반복 판단을 별도 레이어로 분리해 프론트 LLM 호출량을 줄이는 설계가 가능합니다. 당장 적용할 수 있는 순서는 기존 분류 프롬프트의 입출력을 스키마로 고정하고, 임계값 이상은 자동 실행, 미만은 기존 LLM이나 사람 검수로 에스컬레이션하는 것입니다. InfoQ가 전한 5배에서 18배 속도 보고와 30배 비용 절감 중앙값은 목표가 아니라 가설로 두고, 자사 데이터에서 보정 곡선과 상위 사분위 지연시간을 직접 측정해야 합니다.

② 신뢰도는 기능이 아니라 운영 정책으로 다뤄야 한다

결정 전용 모델의 확률은 모델이 주는 숫자가 아니라 서비스가 책임지는 정책이 되어야 합니다. Hacker News 지적처럼 잘못된 타입은 막을 수 있어도 타당해 보이는 오답은 막을 수 없기 때문입니다. Jev-1.13 문서가 셈하기와 날짜 비교를 코드로 돌리라고 한 것도 같은 교훈입니다. 한국 기업 환경에서는 금융과 의료, 채용, 고객 응대처럼 오판 비용이 큰 영역부터 임계값을 보수적으로 잡고, 로그에 입력 상태와 확률, 최종 행동을 함께 남겨 사후 보정 분석이 가능하게 해야 합니다. 버전을 jev-1.13.0처럼 고정하고 System One 어댑터 방식으로 기존 모델과 같은 스키마로 A/B 평가를 병행하면, 모델 교체가 정확도와 보정에 어떤 영향을 주는지 추적할 수 있습니다. AWS Strands Decider 2B처럼 로컬 실행이 가능한 소형 오픈소스 대안이 나온 만큼, 민감 데이터는 내부망 실행, 일반 분류는 관리형 API로 나누는 하이브리드 구성도 검토할 만합니다.

우리의 관점: 결정 전용 모델은 LLM을 대체하는 기술이 아니라 에이전트 스택의 앞단을 값싸게 만드는 분업 기술입니다. Vercel 유료 팀의 13%라는 첫날 수치는 분류와 라우팅이 공통 병목이었음을 보여주며, AWS와 OpenAI의 추격은 이 레이어가 표준 부품이 될 가능성을 높입니다. 다만 중앙값 7배와 30배라는 실측, 타당한 오답 가능성, 산술과 날짜 비교의 약점은 이 부품을 맹신해서는 안 된다는 경고입니다. 한국 팀에게는 거대 모델 경쟁을 따라가는 대신, 자사 워크플로에서 판단이 반복되는 지점을 찾아 확률 임계값과 에스컬레이션 규칙부터 설계하는 팀이 가장 먼저 비용과 신뢰성 두 가지를 가져갈 것으로 전망합니다.

※ 위 시사점 섹션은 보도된 사실에 기반한 WhatsUpPick 편집팀의 독자적 분석·전망이며, 특정 제품 도입을 권유하는 것이 아닙니다.

참고 자료

• InfoQ: TypeSafe AI Releases Jev — 가격과 지연시간, Vercel 도입 수치를 전한 출시 보도
• TechCrunch: Amazon releases its own Jev clone — Strands Decider 2B 공개와 결정 모델 경쟁을 다룬 보도