When you type a prompt, you summarize. When you speak one, you explain. Wispr Flow captures your full reasoning — constraints, edge cases, examples, tone — and turns it into clean, structured text you paste into ChatGPT, Claude, or any AI tool. The difference shows up immediately. More context in, fewer follow-ups out.

89% of messages sent with zero edits. Used by teams at OpenAI, Vercel, and Clay. Try Wispr Flow free — works on Mac, Windows, and iPhone.

Start flowing free

얼마 전 The Information에 UBS 최고 AI 책임자 다니엘레 마가체니(Daniele Magazzeni)의 짧은 인터뷰가 올라왔습니다. AI 도입을 가로막는 게 무엇이냐는 질문에, 그는 이렇게 답합니다. 결국 "모델을 신뢰할 수 있느냐(the ability to trust the model)"의 문제라고요. 맞는 말입니다. 그런데 이 대답을 곱씹다 보니, 어딘가 좀 걸리는 데가 있더라고요. 하필 은행의 AI 책임자가, 신뢰를 모델 안에서 찾고 있으니까요.

사실 이건 마가체니 혼자만의 이야기가 아닙니다. AI 관련 발표 자료들을 보다 보면 이런 표현이 써 있는 경우가 참 많거든요. Build Trust into AI. AI에 신뢰를 심자, 신뢰를 내장하자. 나무랄 데 없는 구호입니다. 그런데 이렇게 멀쩡해 보이는 문장일수록 함정이 있습니다. 신뢰가 어디서 생기는지를 슬쩍 잘못 짚고 있거든요. 그리고 그 오해 위에서 지금 수많은 조직이 엉뚱한 곳에 돈과 시간을 쏟고 있고요.

자, 마가체니의 바람대로 완벽하게 신뢰성 있고 정확한 모델이 하나 있다고 해 봅시다. 정렬(Alignment)도 완벽하고, 가드레일도 촘촘하고, 안전성 검증까지 전부 끝냈습니다. 이 모델을 회사에 들였을 때, 여러분은 이제 그걸 '신뢰'할 수 있을까요? 저는 아니라고 생각합니다.

'신뢰를 AI에 내장한다'는 말은, 신뢰를 모델이 가진 '성질'로 본다는 겁니다. 잘 정렬하고 잘 학습시키고 가드레일만 잘 걸면, 그 결과물이 '믿을 만한' 물건이 된다는 건데요. 마치 신뢰가 가중치 어딘가에 스며드는 성분이라도 되는 것처럼요. 그런데 웬만큼 굴러가는 시스템을 들여다보면, 신뢰는 그런 식으로 생기는 게 아닙니다.

신뢰가 구조에서 나온다는 걸 가장 오래, 가장 잘 보여준 곳이 바로 은행입니다. 마가체니가 일하는 바로 그 은행 말이죠.

복식부기가 상업을 뿌리부터 바꿔 놓은 건 상인을 정직하게 만들어서가 아니었습니다. 장부를 속이려면 양쪽에 두 번 적어야 하고, 두 번 적어도 대차는 맞지 않으니까요. 복식부기는 '정직함'을 요구하는 대신, '부정직함'이 그 자리에서 드러나게 만들었습니다. 신뢰의 무게를 사람의 '성품'에서 장부의 '구조'로 옮겨 버린 겁니다.

그래서 우리는 은행원이 착해서 은행을 믿는 게 아닙니다. 대차가 맞아야만 하는 장부, 그걸 대조하는 감사, 틀리면 답해야 하는 규정이 있어서 믿는 거예요. 이런 신뢰는 나쁜 사람이 섞여 들어도, 담당자가 바뀌어도 흔들리지 않습니다. 애초에 개인의 선함에 의존하지 않으니까요.

조금 더 가까운 예도 있습니다.

우리는 매일 도로에서 한 번도 본 적 없는 사람들과 나란히 운전을 하는데요. 옆 차선 운전자가 누구인지, 얼마나 조심스러운 사람인지 알 길이 없지만, 아무렇지 않게 그 사이를 달립니다. 다들 선량하고 침착한 운전자여서가 아니고요.

신호등과 교통 관제가 흐름을 정리하고, 교통법규와 면허 제도가 누가 어떻게 달릴 수 있는지를 미리 정해 두고, 사고가 나면 블랙박스와 사고 기록이 무슨 일이 있었는지를 남깁니다. 그리고 그 맨 끝에 보험이 있죠. 보험은 운전자를 더 안전하게 만들지는 않지만, 대신에 뭔가 잘못됐을 때 누가 얼마를 책임질지를 미리 정해 둡니다. 모든 차가 보험에 들어야 하고, 과실이 나뉘고, 배상이 이뤄지죠.

결국 우리가 그 낯선 이들 사이에서 안심하는 건 모두가 완벽하게 운전해서가 아닙니다. 누군가 완벽하게 운전하지 않았을 때, 기록이 남고 규칙이 판정하고 책임질 사람이 정해지기 때문이죠. 관제에서 보험까지 층층이 쌓인 이 구조가 신뢰를 만듭니다.

AI 에이전트도 다르지 않습니다.

앞에서 상상한, 그 완벽하게 신뢰성 있는 에이전트로 돌아가 볼까요. 그게 조직에 신뢰를 줄까요? 그렇지 않습니다. 기업이 실제로 부딪히는 질문은 '이 AI가 착한가'가 아니거든요. 이 AI가 뭔가를 실행했을 때 그 행적이 기록으로 남는가, 해서는 안 될 일을 미리 막을 수 있는가, 일이 터진 뒤에 누군가 그걸 두고 답할 수 있는가 — 진짜 질문은 이 셋입니다.

자동차로 치면 사고 기록이고, 신호등이고, 보험이죠. 그리고 이 셋 중 어느 것도 모델 안에는 없습니다. 전부 모델 바깥, 에이전트가 내리는 모든 결정이 지나가는 통제 평면(control plane)에 있고요.

여기서 하나는 분명히 해 두죠.

"이 모델은 믿을 만합니다"라는 말은, 확인되기 전까지는 그냥 마케팅이고요. 신뢰의 반대는 불신이 아니라, 확인이 안 된다는 것입니다.

그리고, 인프라가 하는 일이 바로 이 희망을 확인 가능한 사실로 바꿔 주는 겁니다. 결정이 실행되기 전에 막아서는 게이트, 무엇을·왜·누구의 권한으로·무엇을 근거로 했는지 네 칸이 채워진 결정 기록 한 줄, 나중에 그 줄을 되짚을 수 있는 흔적. 이게 갖춰졌을 때 비로소 '믿는다'가 '확인했다'로 바뀝니다. 규제 심사관 앞에서도, 사고가 터진 뒤 열리는 회의에서도, 감사 자리에서도 필요한 건 착한 모델이 아니라 답할 수 있는 기록이거든요.

'선의'는 감사받을 수 없습니다. '기록'은 감사받을 수 있고요.

솔직히 말씀드리면, 저도 한때는 모델만 잘 정렬하면 웬만한 건 풀린다고 여겼습니다. 지금은 아니고요. 오해는 마시길 바랍니다 — 모델 자체의 안전과 정렬은 물론 중요하고, 마가체니의 말도 그 점에선 옳은 말입니다. 잘 정렬된 모델은 인프라가 감당할 사고의 빈도를 낮추고, 좋은 레일 위에서 더 나은 결과를 냅니다.

다만 그건 신뢰의 필요조건이지, 충분조건은 못 됩니다. 이 차이가 규모에서 드러나는데요. 에이전트 하나를 공들여 정렬하는 건 할 수 있습니다. 그런데 조직 안의 에이전트가 열, 백, 수천으로 불어나는 순간, '하나하나 착하게 만들자'는 방식은 복리로 쌓이지 않고 빈틈만 빠르게 커지고 늘어날 뿐입니다

반대로 통제 평면은 에이전트가 늘어난 만큼 같이 커집니다. 결정이 몇이든 에이전트가 몇이든, 같은 게이트를 지나 같은 장부에 쌓이니까요.

그러니 구호의 방향을 뒤집어야 합니다. AI에 신뢰를 심겠다고 매달리는 대신, 신뢰가 저절로 따라 나오는 구조를 깔아야 하는 거죠. 장부가 상거래에서, 관제와 보험이 도로에서 그랬듯이요. 목표는 '착한 AI'가 아니라 '답할 수 있는 AI'입니다. 식별하고, 통제하고, 증명하고, 최적화하는 구조가 제대로 돌아갈 때, 신뢰는 그 맨 끝에서 저절로 따라옵니다.

Build Trust into AI, 신뢰를 '안'(in)에 심으라는 말입니다. 그런데 신뢰는 늘 '사이'(between)에 있었어요. 행동하는 쪽과, 그를 붙드는 구조 사이에요. 신뢰는 모델이 돌아가는 '런타임'이 아니라, 그 밑을 받치는 '레일'에 있는 거예요. 그러니 마가체니의 질문으로 돌아가 봅시다. 우리는 지금 모델의 신뢰성과 정확성만 재고 있는 걸까요, 아니면 그 모델한테 답을 물을 수 있는 구조를 짓고 있는 걸까요. 어쩌면 진짜 걸림돌은, 아직도 모델만 들여다보고 있는 우리의 눈에 있는지도 모릅니다.

Toren은 에이전트의 모든 결정을 실행 전에 통제하고 실행 뒤에 증명할 수 있는 하나의 기록으로 다룹니다. 신뢰를 성품이 아니라 인프라로 취급하는 것 — 저희가 하는 일이 그겁니다.

출처 — The Information, "On the Ground at UBS' Private AI, Software and Internet Conference" (TITV, 2026. 7. 15.)

읽어주셔서 감사합니다. 친구와 동료 분들에게도 뉴스레터 추천해 주세요!