'일레븐랩스', 주말 프로젝트가 33억 달러짜리 회사가 되기까지

들어가며

일레븐랩스 (ElevanLabs)라는 회사를 아시나요? 텍스트, 오디오를 기반으로 목소리를 생성하는 서비스를 주력 서비스로 하는 회사인데요. 우리나라에도 ‘타입캐스트’라는 유사한 서비스를 제공하는 ‘네오사피엔스’라는 스타트업이 있습니다.

일레븐랩스가 계속해서 빠르게 성장하고 있는데요. 2025년 1월 렉스 프리드먼이 키이우에서 진행한 우크라이나 대통령 젤렌스키와의 3시간짜리 인터뷰에서, 일레븐랩스 서비스로 인터뷰 내용을 영어, 우크라이나어, 러시아어로 제공하기도 했는데, 젤렌스키 대통령의 목소리와 억양이 아주 그럴 듯하게 다른 언어들 간에 보존되더군요 - AI가 ‘언어의 장벽’을 허무는 - 단순한 번역이 아니라요 - 것을 확인한 사례였습니다. 한 번 보시죠:

일레븐랩스도 좋고, 타입캐스트도 좋아요. 한 번 써 보세요 - 상당히 놀랍습니다. 일레븐랩스의 경우에 파트너들도 글로벌 거물 회사들이 많네요. 사업적으로 일레븐랩스는 영민하게, 그렇지만 꼭 긍정적으로만 움직이는 회사는 아닌 걸로 보입니다 - 혹시 윤리적인 문제가 이슈가 될 거 같으면, 빠르게 움직여서 잠재적인 부정적 여론을 다양한 수단으로 잠재우기도 하고, 요즘 오픈소스 AI들 많이 이야기하시지만, 일레븐랩스는 연구 결과를 공유하거나 오픈소스로 공개하지도 않습니다.

몇 주 전에, 일레븐랩스는 또 한 번 대규모 투자 라운드를 마무리하면서 1억 8백만 달러를 유치해서 기업 가치가 33억 달러가 되었습니다. 과연 폴란드 출신의 두 창업자는 어떻게 일레븐랩스를 AI 음성 기술의 최전선에 있는 회사로 성장시켰을까요? 그리고, 이 회사의 ‘비밀주의’에도 불구하고 왜 사람들은 이 회사를 좋아할까요?

오늘 AI 유니콘 시리즈에서는 이 일레븐랩스의 여정, AI 음성 분야에서의 경쟁력, 그리고 이들이 사업을 추진하는 전략을 함께 살펴볼까 합니다.

이 에피소드는 다음과 같은 내용을 포함하고 있습니다:

• 일레븐랩스의 시작 - ‘엉망’인 폴란드의 더빙 환경

• 연구 중심, 그러나 고객과 밀접하게 협업한다

• 챗GPT 등장, 오히려 좋아 - 투자자들은 ‘생성형 AI’의 실체를 원했다

• 완전히 틀려버린 예측

• 명확한 방향의 사업전략

• 제품군, 그리고 대화형 (Conversational) AI 에이전트

• 외부에 알려지지 않은 기술 스펙과 연구 내용 

• ‘오픈’은 홍보용 캐치프레이즈

• 다양한 경쟁자들

• 시장 규모 및 사업모델

• 재무 상태

• 맺으며

• 보너스: 참고자료

일레븐랩스의 시작 - ‘엉망’인 폴란드의 더빙 환경

마티 스타니셰프스키 (Mati Staniszewski), 그리고 피오트르 다브코프스키 (Piotr Dabkowski)는 바르샤바의 코페르니쿠스 고등학교 시절부터, 그러니까 아주 오래전부터 아는 사이였다고 해요. 꽤 끈끈한 사이였나봐요. 사실, 너무 잘 아는 사람하고 같이 일하는게 어려울 수도 있는데, 이 두 사람은 ‘기술에 대한 열정’을 공통 분모로 해서 오랫동안 주말 프로젝트도 같이 하면서, 협력을 계속 해 왔다고 해요.

피오트르와 마티 모두 영국으로 대학을 가게 됐는데, 마티는 임페리얼 칼리지 런던에서 수학을, 피오트르는 옥스퍼드/케임브리지에서 컴퓨터 사이언스를 공부했습니다. 그리고 마티는 Opera Software, 블랙록, 팔란티어에서, 피오트르는 Tessian과 구글에서 7년간 근무했어요.

이렇게 각자의 길을 영원히 갈 수도 있었겠지만, 같이 했던 주말 프로젝트 중 하나가 갑자기 이 두 사람이 어릴 때부터 불만을 가졌던 공통의 문제를 해결할 것 같다는 느낌을 받았다고 해요 - 바로, ‘폴란드 영화 더빙’이었어요.

폴란드도 영어를 모국어로 쓰는 나라가 아니니, 많은 외국 영화가 더빙으로 송출되는데, 상당히 많은 경우에 단조로운 나레이터 한 명의 목소리로 더빙을 했다고 해요 - 네, 한 명이요 ^.^; 상상해 보면 정말 기괴할 거 같지 않나요?

음성 분석을 가지고 실험하던 중에, 마티와 피오트르는 발음, 감정, 음색의 미묘한 차이에 흥미를 느꼈습니다. 일종의 ‘와우’ 모먼트였겠죠? “만약에 음성 합성 기술이 계속 발전해서, 진짜 감정, 개성을 담아낼 수 있다면, 전 세계 컨텐츠가 훨씬 더 많은 사람들에게 전달될 수도 있고, 무엇보다 마침내, 폴란드 사람들을 이 끔찍한 더빙에서 구해줄 수 있겠구나!”라는 깨달음의 순간이요.

얼마 지나지 않은 2022년 4월, 마티와 피오트르는 이 주말 프로젝트를 가지고 ‘일레븐랩스’라는 스타트업을 설립하게 됩니다.

연구 중심, 그러나 고객과 밀접하게 협업한다

자, 2022년 ‘모든 언어, 모든 목소리로 고품질 컨텐츠에 대해서 보편적인 접근성 (Universal Access)을 제공한다’는 사명을 가진 연구 중심 기업 일레븐랩스를 설립한 후, 마티는 CEO, 피오트르는 CTO 역할을 맡습니다. 처음에는 아예 사무실이 없이 15명 직원을 운영했다고 해요. 초기 6개월은 두 파트너 모두 연구 및 제품 개발에 집중했는데, 모든 노력을 TTS (Test-to-Speech) 기술 개발에 쏟았죠.

TTS는, 아시다시피, 머신러닝 기술을 사용해서 텍스트를 자연스러운 음성으로 변환하는 기술이죠. 시리, 알렉사 등과 대화할 때 많이 써 보신 기술입니다. 내부를 들여다보면, TTS는 몇 가지 단계를 거치는데, 먼저 ‘텍스트 정규화 (Text Normalization)’와 ‘음소 변환 (Phoneme Conversino)’을 통해서 입력값을 표준화, 부호화합니다. 다음으로는 인코더-디코더 아키텍처 (어텐션 메커니즘을 갖춘 Seq2seq 모델 같은)가 이 언어적인 표현을 ‘멜 스펙트로그램 (Mel-Spectrogram)’ 같은 중간의 음향적 특징들로 변환합니다. 마지막으로, Wavenet 같은 신경망 보코더가 이런 스펙트로그램에서 원시 오디오 파형을 생성하죠. 이런 End-to-End 접근방식이 딥러닝 기술을 기반으로 해서 운율, 억양, 자연스러움 등을 잘 포착해서 표현력이 좋고 사실적으로 음성을 합성할 수 있게 해 줍니다.

일레븐랩스는 물론 시리나 알렉사 수준의 TTS에서 만족하지 않았죠. 훨씬 더 감정적이고 현실적인 뭔가를 만들고 싶었습니다. 결구 2023년 1월 베타 버전 제품을 출시했고, 마티는 CEO의 역할을 다하고자 잠재 고객들에게 연락을 하면서 일레븐랩스의 기술을 현장에서 입증하기 위해서 노력했습니다.

마티가 튜링 포스트의 Ksenia에게도 연락을 했었다고 해요. 안타깝게도 당시에는 튜링 포스트를 설립하기 이전이었고, Ksenia가 공동 창업했던 TheSequence의 리더십은 ‘음성 해설을 통해서 컨텐츠의 접근성을 높이는’ 데는 큰 관심이 없었나봐요. 어쨌든, 마티는 그 외에도 같이 일하고 싶은 컨텐츠 제작자들에게 직접 연락해서 충분한 케이스 스터디를 쌓아 나갔습니다.

2023년 6월까지 일레븐랩스의 AI 플랫폼에 등록한 사용자가 100만 명이 넘었습니다. 그리고 일레븐랩스는 산업 내의 중요한 사업자들과 B2B 파트너십도 열심히 구축했는데, 예를 들어 가장 큰 오디오북 출판사 중에 하나인 Storytel, 글로벌 컨텐츠 제작 플랫폼의 리더인 TheSoul Publishing, Embark Studios, Paradox Interactive 같은 유명한 게임 개발사, 그리고 크리에이티브 미디어 플랫폼 MNTN과도 협력했습니다.

마티가 B2B 파트너십을 구축해 가는 사이, 팀은 아래와 같은 목표를 달성하는데 집중했죠:

• 음성 합성 (Speech Synthesis)
  문맥과 맥락을 고려해서 반영하는, 장문 (Long-form)의 TTS에 집중하면서 자연스러운 음성을 만들어내는 기술에 집중했습니다.

• 음성 복제 (Voice Cloning)
  사이즈가 큰 데이터셋이 필요한 기존의 방식과는 달리, 당시 일레븐랩스의 시스템은 단 1분 분량의 데이터만으로도 목소리를 복제할 수 있었습니다.

• 압축 (Compression)
  일레븐랩스의 모델은 음성 데이터를 MP3보다 100배 더 압축해서, 고품질의 효율적인 인코딩을 해 줍니다.

챗GPT 등장, 오히려 좋아 - 투자자들은 ‘생성형 AI’의 실체를 원했다

그러던 중, 일레븐랩스는 2023년 1월, 중부와 동부 유럽의 창업자들을 지원하는 체코의 펀드 Credo Ventures, 그리고 영국의 최대 시드 펀드인 Concept Ventures로부터 첫 번째 Pre-Seed 라운드 투자를 유치했습니다.

이 때가 어떤 분위기인지 기억하세요? 챗GPT가 2022년 11월 30일에 출시됐고, 투자자와 시장은 생성형 AI와 조금이라도 관련이 있다면 열광하기 바빴죠. 수많은 스타트업들에 돈이 쏟아져 들어오고 기업가치는 폭등했고, 모두가 갑자기 거대 언어모델로 뭔가를 ‘혁신한다’고 주장하기 시작했던 땝니다.

*리뷰를 남기시려면 로그인하시거나 구독해 주세요. 감사합니다!

읽어주셔서 감사합니다. 친구와 동료 분들에게도 뉴스레터 추천해 주세요.