데이터브릭스·애니스케일·LM아레나 창업자 이온 스토이카 인터뷰
데이터는 21세기의 가장 중요한 자산이 됐다. 그러나 데이터를 얼마나 효율적으로 처리하고 활용하느냐에 따라 기업과 국가의 경쟁력은 극명하게 갈린다. 지난 20년간 이 분야의 혁신을 주도해온 인물을 꼽으라면 단연 이온 스토이카 미국 버클리 캘리포니아대(UC버클리) 컴퓨터과학 교수일 것이다.
루마니아에서 자라 미국으로 건너온 스토이카는 인터넷이 절정이던 2000년 미 카네기멜론대에서 박사학위를 받은 뒤, 분산 컴퓨팅과 인공지능(AI) 인프라의 전환기 한복판에서 끊임없이 혁신을 만들어왔다. 그가 개발한 기술은 야마토통기계 학문적 성과를 넘어 실리콘밸리의 산업 생태계를 움직이는 핵심 기반이 됐다.
스토이카 교수와 학생들이 만든 아파치 스파크(Apache Spark·대규모 데이터 처리 오픈소스 엔진)는 오늘날 거의 모든 대규모 데이터 기업이 사용 중이다. 레이(Ray)는 오픈AI가 챗GPT를 훈련시킬 때 선택한 핵심 프레임워크다. 그가 개발을 주도한 LM아레나 골드몽릴게임 (LMArena)는 오픈AI·구글·xAI 등 주요 기업이 자사의 모델을 평가하는 표준 플랫폼이 됐다.
그가 창업한 기업들은 스토이카의 기술 철학을 더욱 명확히 보여준다. 2006년 설립한 콘비바(Conviva)는 온라인 스트리밍 품질 최적화를 개척했고, 2013년 만든 데이터브릭스(Databricks)는 아파치 스파크를 상용화해 빅데이터 황금성릴게임사이트 시대를 연 대표 기업으로 성장했다. 2018년 설립한 애니스케일(Anyscale)은 레이를 기반으로 AI 개발·배포·운영을 통합한 분산 컴퓨팅 플랫폼을 구축했고, 2023년 설립한 LM아레나는 대형언어모델(LLM) 평가의 글로벌 모델 평가 표준을 세웠다. 각 회사는 그 시대가 요구하는 인프라를 정확히 읽어낸 것이다.
특히 데이터브릭스는 생 황금성릴게임사이트 성형 AI 시대에 흩어진 데이터를 통합·정제하고, 이를 ‘신뢰할 수 있는 AI’로 전환하는 방식을 통해 업계에 큰 변화를 가져왔다. 저장·분석·학습 도구가 따로놀던 기존 구조와 달리, 한 플랫폼에서 데이터 정제부터 분석, 모델 학습까지 연속적으로 수행할 수 있게 해주면서 기업의 실험 속도와 제품화 과정이 획기적으로 빨라졌다. 스토이카 교수는 데이터브릭스 공 무료릴게임 동창업자 겸 초대 최고경영자(CEO)를 지냈고 현재는 이사회 의장을 맡고 있다.



데이터브릭스, 애니스케일, LM아레나 창업자인 이온 스토이카 미국 버클리 캘리포니아대(UC버클리) 교수. 최중혁 팔로알토캐피탈 대표 제공



왜 그는 여전히 교수로 남아 있을까. 실리콘밸리에서 창업에 성공한 연구자는 대개 학계를 떠난다. 그러나 스토이카 교수는 예외다. 데이터브릭스 기업가치가 1000억 달러(약 147조 원)로 평가될 만큼 기업가로 성공했지만 그는 여전히 학생들과 연구실에서 연구를 계속한다.

“학생들과 함께 일할 때 가장 큰 보람을 느낀다.”. 스토이카 교수가 그저 체면 치레로 하는 말이 아니다. 데이터브릭스 창업진, 애니스케일의 리더십, 그리고 수많은 기술 스타트업의 창업자들이 그의 연구실에서 배출됐다는 사실이 그 무게를 증명한다. 필자는 8월과 9월 두 차례 UC버클리 내 스토이카 교수 연구실을 찾아 인터뷰를 했다.
인터넷 시대의 목격자에서 건축가로
― 루마니아에서 자라 미국으로 이주한 뒤, 인생에서 가장 중요한 터닝포인트는 무엇이라고 생각하나.
“미국으로 와서 박사과정을 밟은 것이 가장 큰 전환점이었다. 전공이 네트워킹이었는데, 2000년 박사학위를 받을 당시 인터넷이 폭발적으로 성장하던 시기였다. 인터넷이 모든 것을 바꾸고 있을 때라 연구를 하기도 흥미로웠고, 기회도 매우 많았다.”
― 어릴 때는 예술을 배우다 과학으로 진로를 바꿨다. 그 변화는 어떻게 일어났고, 예술적 경험이 연구에 어떤 영향을 줬다고 보나.
“사실 그 부분은 명확하게 설명하기 어렵다. 어린 시절 예술을 접한 경험이 전반적인 창의성에는 어느 정도 도움이 됐을 수 있다. 다만 그것이 연구에 어떤 방식으로 작용했는지 구체적으로 구분해 말하기는 힘들다. 다만 사고의 틀을 넓히는 데는 분명 도움이 됐을 것이다.”
― 박사과정 중 가족을 부양하기도 했는데, 그 경험이 지금의 리더십과 관점에 어떤 영향을 끼쳤나?
“박사과정 중에 첫아이를 낳았다. 초반에는 약간 힘든 점이 있었지만, 박사과정 끝무렵에 아내가 직장을 구해 상황이 나아졌다. 물론 어려움이 없었던 것은 아니지만, 돌이켜보면 그 당시에 겪었던 어려움보다는 연구도 가족도 모두 좋았던 기억만 난다. 아내가 내가 부양한 것보다 훨씬 더 많이 나를 도와줬다. 그런 의미에서 내 성장에 중요한 경험이었다.”
대학과 산업의 경계를 오가며…



이온 스토이카 미국 버클리 캘리포니아대(UC버클리) 교수와 최중혁 팔로알토캐피탈 대표. 최중혁 대표 제공



― 콘비바, 데이터브릭스, 애니스케일, LM아레나까지 네 개의 스타트업을 공동창업했다. 왜 학계에 머물면서 창업을 이어가고 있는가.

“핵심은 영향력이다. 연구든 사업이든, 내가 한 일이 실제로 문제를 해결하고 누군가의 삶을 더 편하게 만드는 데 기여하길 바랐다. 학계에서도 연구 프로젝트를 할 때 항상 ‘이걸 통해 누구의 어떤 문제가 해결될까’를 고민했다. 예를 들어 개발자들이 내 알고리즘을 쓰면 일을 더 빠르고 싸고 쉽게 할 수 있게 되는 식이다. 산업계에서 제품을 만드는 일도 본질은 같다. 사람들이 더 잘 소통하거나, 인터뷰하고 메모를 정리하는 데 도움을 받거나, A에서 B까지 더 경제적인 자동차로 이동하게 돕는 것처럼 보는 관점이다. 어떤 문제를 해결했고, 그로 인해 삶이 좋아진 사람들이 늘어나는 것, 그것이 영향력의 본질이다. 학계와 업계를 오가며 여러 회사를 창업한 것도 문제 해결 능력을 더 높이기 위한 과정이었다.”
― 스파크 팀이 데이터브릭스를 창업하기로 결정한 순간은 언제였나.
“아파치 스파크를 만들던 시절, (데이터브릭스 공동창업자·CTO·UC버클리 교수인) 마테이 자하리아 등 뛰어난 학생들과 몇 해 동안 함께 연구했다. 프로젝트는 2009년에 시작해 2013년 회사 설립으로 이어졌다. 스파크를 쓰는 사람들은 만족했지만, 기업들이 스파크 기반 데이터 처리에 점점 더 의존하게 되면서 자연스럽게 ‘학생들이 졸업하면 이 기술적 문제를 누가 해결해줄 것인가’라는 질문이 생겼다.오픈소스 프로젝트 뒤에 실제 기업이 존재해야 조직들이 안심하고 투자할 수 있다. 그 확신을 주기 위해서라도 스파크를 뒷받침하는 회사가 필요했다. 그런 구조가 없었다면 스파크에 베팅하는 기업은 훨씬 적었을 것이고 영향력도 지금만큼 커지지 못했을 것이다.사실 데이터브릭스를 직접 설립하기 전에는 다른 기업에 이 프로젝트를 인수해 키워달라고 먼저 제안하기도 했다. 오픈소스 프로젝트는 전담 회사가 있어야 더 잘 성장할 수 있기 때문이다. 그러나 당시 기업들은 내부 프로젝트에 집중하느라 우리의 제안을 받아들이지 않았다. 그래서 결국 우리가 직접 데이터브릭스를 창업하게 된 것이다.”
― 창업자로서 가장 어려웠던 순간은 언제였고, 가장 보람 있었던 순간은 무엇인가.
“가장 큰 보람은 함께한 팀과 회사에 대한 자부심이다. 콘비바, 데이터브릭스, 애니스케일에서 함께 일한 창업자들 그리고 버클리에서 가까이 협업한 이들 모두가 소중한 동료였다. 우리가 만든 제품이나 오픈소스가 실제로 널리 사용돼 사람들의 삶을 조금 더 편하게 만든다는 사실도 보람을 준다. 내가 만든 기술을 많은 이들이 활용하는 모습을 보는 일은 언제나 특별하다.가장 힘든 순간은 중요한 사람들이 회사를 떠날 때였다. 이유와 관계없이 사람을 관리하는 일은 언제나 어렵다. 뛰어난 사람일수록 도전적일 때가 있고, 조직에는 감정도 얽힌다. 투자·인사·기술과 관련해 내 결정을 둘러싼 반대가 있을 때도 힘들었다. 데이터브릭스 초기의 클라우드 전환 과정에서 내부 저항이 있었던 것도 그런 경험 중 하나다. 그럼에도 큰 위기 없이 여기까지 온 것은 운이 좋았기 때문이라고 생각한다.”
― ‘부의 추구’보다 ‘의미 있는 무언가를 만드는 것’이 중요하다고 강조해왔다. 창업자로서 의미 있는 임팩트는 무엇이라고 보나.
“결국 다른 사람의 삶을 돕고 더 편하게 만드는 것을 만드는 일, 그것이 의미 있는 임팩트라고 생각한다. 매우 단순한 답이지만 본질은 여기에 있다. 박사 과정 때 카네기멜론대 지도교수님께 들었던 가장 좋은 조언이 ‘최선을 다해 집중해 좋은 성과를 내면 나머지는 자연스럽게 따라온다’는 말이었다. 나는 지금까지 그 조언을 따르고 있고, 옳은 방식이었다고 본다.핵심은 ‘내가 열정을 가지고 해결하고 싶은 문제를 해결하는가’다. 학계에서는 창의적인 학생들과 함께, 때로는 ‘무엇이 불가능한지조차 모르는 상태’에서 시작한다. 프로젝트가 성장하면 이를 산업계로 가져가 더 많은 자금과 자원을 확보하고, 더 많은 사람에게 영향을 미치며 문제를 더 깊게 해결하는 단계로 이어질 수 있다. ”
― 실리콘밸리의 유혹에도 불구하고 교수직을 유지하는 이유는 무엇인가.
“사람은 선택권이 있을 때 결국 가장 열정을 느끼는 일을 하게 된다. 그리고 대체로 열정을 느끼는 분야가 잘할 수 있는 분야이기도 하다. 나는 늘 ‘다음은 무엇일까’를 탐구하는 과정에 흥미를 느껴왔다. 학생들과 함께 일하는 것은 그중에서도 가장 큰 보람이었다. 대학에선 무엇이 가능한지, 또 불가능한지조차 모르는 상태에서 시작하기 때문에 더욱 흥미롭다. 기업에서는 어떤 아이디어를 내더라도 ‘그건 안 될 것’이라는 말을 듣기 쉽지 않다. 하지만 실험은 실패하기 마련이고, 우리가 만든 시스템 가운데 성공한 것이 있는가 하면 사라진 것도 많았다. 아파치 스파크, 레이, vLLM 등은 처음에는 몇 명의 학생이 함께 시작한 프로젝트였지만 점차 팀이 커지고 널리 채택되는 단계까지 성장했다. 이런 과정 자체가 매우 즐겁다.또 하나 중요한 이유는 혁신의 상당 부분이 대학에서 출발한다는 점이다. 연구자들이 평생 학계에 남지는 않더라도, 혁신의 씨앗은 대개 학문과 연구 환경에서 나온다. 이번 AI 혁명도 학계에서 출발했다. 딥 뉴럴 네트워크도 마찬가지다. 다음 세대의 혁신을 위해 학계가 지속적으로 새로운 아이디어와 인재를 길러내는 생태계를 유지하는 것은 매우 중요하다.AI 분야는 산업계의 보상이 워낙 크기 때문에 많은 사람들이 그쪽으로 향한다. 그러나 모두가 더 높은 보수만 좇아 산업계로만 이동한다면 어떤 일이 벌어질지 생각해봐야 한다.”
▷vLLM: 대규모 언어모델(LLM) 추론·서빙 엔진으로, 메모리 관리 최적화로 처리량을 높이고 비용을 낮추는 것이 특징이다.
학계 vs 산업: 인재 격차의 문제
― 학생들이 연구 프로젝트에서 스타트업으로 나아가는 과정을 지도할 때 가장 중요하게 여기는 가치는 무엇인가.
“무엇보다 학생 스스로 하고 싶어야 하고, 프로젝트에 대한 열정과 집중이 전제돼야 한다. 그 위에 두 가지를 가장 중요하게 본다. 첫째는 끊임없이 배우려는 능력이다. 회사는 성장할수록 빠르게 변한다. 두 명에서 시작한 조직이 20명, 50명, 100명으로 커지면 회사의 성격도 완전히 달라진다. 리더는 기술적 역량뿐 아니라 사람을 어떻게 관리하고 조직을 어떻게 확장할지 계속 배워야 한다.둘째는 ‘자신이 모르는 것’을 아는 능력이다. 급성장하는 과정에서 모든 분야를 직접 잘할 수는 없다. 자신이 취약한 부분을 인정하고, 그 역할을 대신할 신뢰할 만한 사람을 데려오는 것이 중요하다. 이런 태도는 결국 성장의 기본 조건이다.내 경험상 이 두 능력은 대체로 ‘겸손한 사람’에게서 나온다. 겸손은 단순한 미덕이 아니라, 자신이 모든 것을 알지 못한다는 사실을 인정하는 데서 출발한다. 그래야 더 배우고, 도움을 구하고, 팀 안에서 협력할 수 있다. 반대로 스스로 모든 분야에서 최고라고 생각하는 순간 배움은 멈춘다. 강한 집중력과 열정, 어려움을 견디는 인내심, 그리고 팀과 함께 성장하려는 태도가 스타트업으로 나아가는 데 반드시 필요한 요소다.”
― 학계에서 산업계로 인재와 자원이 빠져나간다는 우려가 커지고 있다. 교수이자 창업자인 입장에서 이 격차를 어떻게 보나.
“매우 타당한 우려다. 지금 학계와 산업계의 격차는 지나치게 크다. 보상은 10배, 20배씩 차이가 나고, 어떤 경우는 그보다 더 심하다. 이런 상황에서는 인재를 붙잡기 어렵고, 연구 자원 역시 턱없이 부족해진다. 특히 대규모 모델을 재학습하는 데 필요한 자원은 학계가 감당하기 힘들 정도다. 이는 미국만의 문제도 아니다. 서구권뿐 아니라 한국 같은 나라에서도 동일하게 나타난다.AI 분야는 미국 중심으로 발전하고 있지만, 현재 주요 연구소들은 점점 더 폐쇄적으로 변하고 있다. 메타나 오픈AI처럼 독점 모델을 개발하면서 정보를 거의 공유하지 않는 구조가 학계와의 교류를 크게 막는다. 혁신은 이 연구소들에서 나오지만, 사회 전체로 보자면 잃는 것이 훨씬 많다.‘그렇다면 학계가 무엇을 더 해야 하느냐’고 묻는 이들이 있지만, 나는 오히려 ‘학계가 경쟁 가능한 영역에서 무엇을 잃고 있는지’에 주목해야 한다고 본다. 실제로 VLLM, SGLANGs 같은 시스템이나 FlashAttention, PageAttention 같은 핵심 알고리즘은 모두 학계에서 탄생했다. 학계가 게임에 참여하지 못하는 게 아니라, 참여할 때마다 큰 혁신을 만들어왔다는 뜻이다. 만약 사전학습이나 중간학습 같은 더 큰 영역에서도 학계가 필요한 자원을 확보해 참여할 수 있다면 어떤 혁신이 나올지 상상해보라. 그래서 나는 이 문제를 매우 심각하게 우려하고 있다. 지금의 AI 산업구조는 사회 전반에 손실을 주고, 더 빠르고 더 안전하며 더 뛰어난 모델을 만들 기회를 놓치게 한다.내 박사과정 시절 네트워킹 분야와 지금 AI 분야를 비교하면 상황은 완전히 다르다. 인터넷 초기에는 정부가 프로젝트를 시작하고, 학계·산업계·정부가 긴밀히 협력했다. IETF 같은 개방형 조율체도 있었다. 하지만 지금은 그런 구조가 거의 사라졌다. 과거에는 내 학생과 박사후 연구원 중 40~50%가 학계에 남았지만, 지금은 그 비율이 더 낮아진 것 같다.”
▷SGLang·SGLangS: 프롬프트·에이전트 워크플로를 효율적으로 실행하려는 LLM 런타임·도메인 전용 언어(DSL) 계열 프로젝트다.▷FlashAttention: 어텐션 계산을 GPU 메모리 접근을 최소화하도록 재구성해 속도와 효율을 끌어올리는 알고리즘이다.▷PagedAttention: LLM의 KV 캐시를 ‘페이지’ 단위로 관리해 비연속 메모리에서도 낭비를 줄이고 동시 처리량을 높이는 기법이다.
데이터브릭스: “AI 퍼스트·혁신·오픈소스”… 데이터가 곧 경쟁우위다



다양한 형태의 데이터를 처리할 수 있는 데이터브릭스의 레이크하우스 플랫폼. 전통적인 BI(비즈니스 인텔리전스) 뿐만 아니라 데이터 과학 및 머신러닝 프로젝트에서도 사용 가능하다. 출처 ‘2025-2027 앞으로 3년 미국 주식 트렌드’



― 경쟁사인 스노우플레이크와 비교해 데이터브릭스의 가장 중요한 차별점은 무엇인가.

“두 가지가 있다. 스노우플레이크는 훌륭한 회사고, 우리는 오랫동안 존경심을 갖고 지켜봐 왔다. 하지만 많은 사람이 잘 모르는 부분이 하나 있다. 데이터브릭스는 처음부터 AI에 집중해왔다는 점이다. 아파치 스파크에서도 가장 인기 있는 라이브러리 중 하나가 머신러닝 라이브러리인 MLib이었고, 초기 고객 상당수는 머신러닝 작업을 위해 데이터브릭스를 도입했다. 당시에는 랜덤 포레스트나 선형 회귀처럼 전통적 기법이 중심이었지만, 우리는 애초부터 AI를 핵심으로 삼았고 지금도 기술과 문화 모두에서 ‘AI 퍼스트’가 강한 기반이 된다.두 번째 차별점은 혁신이다. 첫 제품이 스파크였다면, 이후 MLflow, 델타 레이크 같은 핵심 기술을 꾸준히 내놓으며 생태계를 확장했고, 최근에는 모자이크ML 인수와 함께 트랜잭션 워크로드 같은 새로운 영역에도 진출하고 있다.오픈소스 역시 중요한 차별점이다. 데이터브릭스는 스파크뿐 아니라 MLflow, 델타 등을 오픈소스로 공개하며 사실상의 산업 표준을 만들었다. 이러한 개방성과 생태계 중심 전략이 기술 확산에 결정적인 역할을 했다. 물론 강력한 창업팀과 뛰어난 엔지니어 조직도 큰 힘이 됐다. 요약하자면 데이터브릭스는 데이터 플랫폼에서 출발했지만, 처음부터 ‘AI 퍼스트’를 지향했고, 빠른 혁신과 오픈소스 중심 문화가 가장 큰 차별화라고 본다.”



출처 ‘2025-2027 앞으로 3년 미국 주식 트렌드’



― 모자이크ML 인수를 통해 데이터브릭스가 AI 생태계에서 맡게 될 역할은 무엇이라 보나.

“모든 고객과 기업이 자체 데이터를 활용해 신뢰할 수 있는 효과적인 AI 애플리케이션을 만들도록 돕는 역할을 하게 될 것이다. 많은 기업에게 데이터는 곧 경쟁우위이기 때문에, 그 강점을 실제 제품과 서비스로 안전하게 연결해주는 것이 데이터브릭스가 맡아야 할 중요한 과제라고 본다.”
― 스파크를 상용화하면서 오픈소스의 기술적·철학적 한계에 놀란 지점이 있었나.
“쉽지 않은 질문이다. 나는 오픈소스에 본질적인 한계가 있다고 보지는 않는다. 다만 시스템을 전면적으로 개편해야 할 때는 속도가 느려질 수 있다. 커뮤니티 규모가 크고 이해관계자가 많기 때문이다. 예컨대 데이터브릭스에서 포톤(Photon) 프로젝트를 진행할 때 API는 그대로 유지하면서 쿼리·실행 엔진을 재작성했는데, 이런 작업은 회사 내부에서 단독으로 추진할 때가 훨씬 빠르다. 그렇다고 오픈소스 쪽에 근본적 제약이 있다고 보지는 않는다. 어느 한쪽이 본질적으로 우위나 한계를 가진다고 말하기는 어렵다.”
▷포톤(Photon): 데이터브릭스의 벡터화 쿼리/실행 엔진 재작성 프로젝트로, SQL·레이크하우스 워크로드의 성능을 높이기 위한 엔진 개선을 뜻한다.
애니스케일, 복잡한 AI 인프라를 단순화하다




― 레이가 애니스케일의 기반이 됐다. 아파치 스파크와의 차이는 무엇인가.

“레이는 스파크와 전혀 다른 문제를 해결하기 위해 출발한 프로젝트다. 스파크가 대규모 데이터를 빠르고 효율적으로 처리하는 데 초점을 맞췄다면, 레이는 이미 딥러닝 시대로 접어든 상황에서 복잡한 딥러닝 워크로드를 어떻게 확장할 것인가에 집중했다. AI 워크로드의 수요가 단일 서버 성능을 훌쩍 뛰어넘고, GPU가 필수 자원으로 떠오르면서 이종(heterogeneous) 클러스터 환경에서 안정적으로 워크로드를 키우는 일이 핵심 과제가 됐다. 레이는 바로 이러한 분산 인프라의 복잡성을 낮추기 위해 설계된 것이다.내가 항상 강조하듯 핵심은 ‘문제를 풀어 더 큰 임팩트를 만드는 것’이다. 한쪽에서는 모델·데이터·동시성 요구가 급격히 증가하고, 다른 한쪽에서는 그 요구를 충족시키기 위해 인프라가 더 복잡해지는 흐름이 있었다. 과거 대부분의 클러스터가 x86 CPU 기반의 균질한 환경이었다면, 지금은 여러 급의 GPU와 각종 가속기가 뒤섞인 환경이 기본이 됐다. 이런 조건에서 개발자가 인프라의 복잡함을 의식하지 않고도 AI 애플리케이션을 만들 수 있게 돕는 것이 레이의 목표다.요약하면 레이는 증가하는 워크로드 요구와 복잡해지는 인프라 사이의 간극을 메우는 분산 인프라 스택의 기초 구성요소로 설계된 프로젝트다.”
▷이종(heterogeneous) 클러스터: CPU, GPU, 전용 가속기 등 서로 다른 하드웨어가 섞인 서버 집합을 뜻한다. Anyscale은 Ray를 기반으로 한 관리형(매니지드) 플랫폼이다.
―초기 레이 커뮤니티에서 기억에 남거나 놀랐던 사용 사례가 있나.
“있었다. 가장 인상적이었던 사례는 앤트그룹(Ant Group·구 알리페이)이 ‘11·11(광군제)’ 쇼핑 대목을 지원하는 데 레이를 활용한 일이었다. 2017년 무렵이었는데, 당시에도 이미 세계 최대 규모의 쇼핑 행사였다. 이후에는 오픈AI가 챗GPT와 자체 대형모델 학습에 레이를 사용한 사례가 있었다. 연구 결과가 실제 대규모 생산 환경에서 쓰이는 모습을 본 것은 매우 보람 있는 경험이었다.”
― 레이를 상용화하면서 오픈소스와 관련해 예기치 못한 한계나 도전이 있었나.“레이나 스파크 같은 프로젝트를 상용화할 때 핵심 전제는 오픈소스가 시장을 연다는 점이다. 오픈소스가 사실상의 표준이 되고 사용자가 충분히 확보되면 그다음 단계로 회사가 관리형 서비스를 내놓는 방식이다. 데이터브릭스나 애니스케일의 초기 제품도 이런 흐름에서 나왔다. 관리형 서비스는 클러스터 관리를 단순하게 만들고, 보안·모니터링·안정성·성능을 높여 워크로드를 더 잘 관찰하고 최적화할 수 있게 한다.이런 부가가치는 오픈소스를 직접 설치해 운영하던 사용자들이 더 높은 성능과 신뢰성을 원할 때 특히 중요해진다. 요약하자면 상용 서비스는 오픈소스 경험 위에 운영 품질을 얹어 사용자의 편의와 요구를 충족시키는 또 하나의 가치 레이어라고 볼 수 있다.”
▷관리형 서비스(Managed Service): 클라우드에서 설치·업데이트·확장·모니터링을 대신 처리해 주는 제품 형태다. 사용자는 코드와 데이터에 집중할 수 있다.
LM아레나가 바꾼 LLM 평가 패러다임




― 챗봇아레나(Chatbot Arena)가 빠르게 LM아레나로 발전했는데, 처음에 해결하려던 문제는 무엇이었나.

“출발점은 LLM 평가 문제였다. 2023년 3월 메타가 첫 오픈소스 계열 LLM을 공개한 뒤 우리를 포함한 여러 그룹이 비쿠나(Vicuna)를 파인튜닝했는데, 곧바로 ‘이 모델의 성능을 어떻게 공정하게 평가할 것인가’라는 질문이 제기됐다. 당시 스탠퍼드의 알파카 같은 모델과 비교하려는 시도가 있었고, 커뮤니티 리더보드도 돌고 있었지만 한계가 분명했다.MMLU 같은 정적 벤치마크는 시간이 지나며 데이터 오염 문제가 생겼다. 웹 데이터를 폭넓게 쓰다 보면 시험 문제가 학습 데이터에 섞여 점수가 부풀어지는 현상이 나타난다. 또 채팅·다중 턴 상호작용이나 사람의 선호가 제대로 반영되지 않는다는 점도 문제였다. 초기에 GPT-4 같은 강한 모델을 ‘심판(LLM-as-a-judge)’으로 삼는 아이디어도 나왔지만, 결국 ‘모델이 모델을 판정할 때 그 결과를 얼마나 신뢰할 수 있는가’라는 의문이 남았다.결론은 인간 중심 평가가 필요하다는 것이었고, 그 평가를 어떻게 확장할 것인지가 과제였다. 그 해답이 LLM아레나다. 실제 사용자가 실제 질문을 올리고, 모델 A와 B의 답변을 1:1로 비교해 선호를 투표하는 구조로, 데이터 오염을 줄이면서 사람 선호를 체계적으로 수집할 수 있는 방식이었다.”
― 오픈AI, 구글, xAI가 이미 LM아레나를 활용하고 있다. 앞으로 AI 생태계에서 LM아레나의 역할을 어떻게 보나.
“개발자와 조직이 더 신뢰할 수 있는 AI 애플리케이션을 만들도록 돕는 역할을 하게 될 것이다. 여기서 말하는 신뢰성은 정확한 답변과 일관된 동작을 의미한다. LM아레나는 우선 모델 제공자들이 더 나은, 더 신뢰할 수 있는 모델을 만드는 데 기여할 것이고, 이후 평가 대상의 범위를 넓혀갈 계획이다. 멀티모달 모델이나 에이전트형 애플리케이션까지 확장해 더 많은 개발자에게 도움을 줄 수 있을 것으로 본다.”
― 스파크와 레이가 분산 컴퓨팅의 기반을 마련했다면, 다음 세대 에이전트형 AI 시스템을 정의할 인프라나 프레임워크는 무엇이라고 보나.
“한 걸음 물러서서 보면 핵심 도전은 신뢰성이다. 에이전트형이든 전통적 형태든, AI 애플리케이션이 내놓는 답변과 행동을 얼마나 믿을 수 있는지가 관건이다. 데모는 제한된 조건만 만족하면 되지만, 프로덕션 환경에서는 거의 모든 경우와 예외 상황을 견뎌야 한다. 그래서 디버깅, 성능·비용 최적화, 배포, 모니터링 같은 운영 도구와 체계가 필수적이다.현재는 ‘와우’ 하는 멋진 데모가 많지만, 실제 환경에서 항상 제대로 작동하게 만드는 일은 전혀 다른 문제다. 가장 어려운 지점은 출력의 품질을 판단하는 일, 즉 환각 문제다. 그래서 초기에는 휴먼 인 더 루프 방식이 중요할 것이라고 본다. 코드 어시스턴트는 제안을 하되 최종 승인은 사람이 하고, 고객지원 챗봇도 사용자가 단계별로 정답 여부를 확인하며 피드백하는 방식이다.이런 애플리케이션이 제대로 작동하려면 문제를 감지하고, 개발자가 원인을 추적·수정할 수 있게 하는 관측성과 디버깅 인프라가 반드시 필요하다. 나는 이 영역의 도구와 플랫폼이 다음 세대 에이전트형 시스템을 규정할 것이라고 본다.”
미래 전망과 AI의 방향성
― 인류가 행성 간 문명(interplanetary civilization)을 향해 진화하는 과정을 AI가 가속할 수 있다고 했다. 구체적으로 어떤 미래를 상상하나.
“많은 사람이 AI가 일자리를 빼앗을까 걱정하지만, 사회 전체로 보면 이는 제로섬이 아니다. AI는 오히려 진보를 훨씬 빠르게 만드는 촉매가 될 수 있다. 우리가 반드시 해결해야 할 문제가 많기 때문에 AI를 그 해결 속도를 앞당기는 도구로 보는 것이 맞다.예를 들어 행성 간 이주와 정착은 지구 자원의 한계를 고려하면 중요한 과제다. 신약 개발도 마찬가지다. 암을 포함한 난치병 치료법을 찾는 속도를 AI가 크게 끌어올릴 수 있다. 에너지 전환 측면에서는 핵융합 같은 기술의 발전을 가속하는 데도 기여할 수 있다.우리는 여전히 많은 미해결 과제 앞에 서 있고, AI는 이를 더 빠르고 체계적으로 해결하도록 도울 잠재력이 있다. 물론 사람들에 대한 교육과 재교육이 필요하지만 도전할 가치가 충분하다. 결국 AI를 ‘일자리를 대체하는 기술’로만 볼 것이 아니라, 새로운 기회를 여는 기술로 봐야 한다. 모두가 이 과정에 기여할 수 있다고 생각한다.”
― 앞으로 5~10년 뒤 AI 산업에서 가장 중요한 전환점은 무엇이라고 보나.
“정확한 예측은 쉽지 않다. 챗GPT가 등장한 지 아직 3년이 채 되지 않았다는 사실만 봐도 그렇다. 그럼에도 중요한 전환점은 두 가지라고 생각한다.첫째는 모델을 훨씬 저렴하게 서비스할 수 있는 시점이다. 비용이 내려가면 더 많은 사용자와 애플리케이션이 모델을 활용하게 되고, 채택 문턱이 낮아지면서 확산 속도가 급격히 빨라진다. 지금도 일부 용도에서는 비용이 여전히 부담스러운 수준이다.둘째는 정답 여부를 쉽게 검증할 수 있는 작업에서 진전이 가속되는 순간이다. 프로그래밍처럼 유닛 테스트로 정합성을 즉시 확인할 수 있는 분야에서는 이미 발전 속도가 빠르다. 수학·문제풀이도 정답 기준이 명확해 개선이 빠르게 이뤄지는 영역이다. 이런 검증 시스템을 적용할 수 있는 과제와 도메인이 늘어나면 해당 분야의 발전 속도는 기하급수적으로 빨라질 것이다.로봇공학에서는 더 정교한 시뮬레이터, 신약 개발에서는 검증 비용과 시간을 획기적으로 줄이는 기술이 여기에 해당한다. 예를 들어 신약은 FDA 임상 절차만 수년에 달하지만, 이 과정을 단축하면 연구·개발의 반복 주기가 빨라져 속도가 비약적으로 높아진다.정리하자면, 비용의 급격한 하락과 검증 가능성의 확대·경량화가 앞으로 AI 산업의 가장 중요한 전환점을 만드는 핵심 요인이 될 것이다.”



최중혁 팔로알토캐피탈 대표


필자(최중혁)는 미국 미시간대 경영학석사(MBA) 학위를 받은 뒤 삼성SDI America, SK Global Development Advisors 등을 거쳐 미 실리콘밸리 소재의 사모펀드 팔로알토캐피탈(Palo Alto Capital)을 설립해 운용하고 있다. ‘트렌드를 알면 지금 사야 할 미국 주식이 보인다’ ‘2025-2027 앞으로 3년 미국 주식 트렌드’ 등의 저자다. 기자 admin@reelnara.info