[Deep Tech Insight] 젠OTC는 보이지 않는 금융시장을 어떻게 검증하는가

이전 편에서 살펴본 의료기기 스타트업의 사례는 프로토타입 단계부터 성능을 측정하고 정량적 데이터를 확보하는 일이 제품의 신뢰성을 높이는 출발점임을 보여줬다. 매트랩 기반의 신호처리와 시각화를 활용하면 설계 방향을 구체화하고, 규제 제출을 앞두고 뒤늦게 기술적 문제가 드러나는 위험도 줄일 수 있다. 이처럼 개발 초기부터 측정과 검증을 설계 과정에 포함하는 접근은 복잡한 기술을 신뢰할 수 있는 제품으로 발전시키는 데 중요한 기반이 된다.

이 원칙은 눈에 보이는 제품에만 적용되지 않는다. 미래의 시장 상황을 직접 시험할 수 없는 금융에서도 현실을 수학적 모델로 표현하고, 실제 데이터와 비교하며 가정과 결과를 반복적으로 검증해야 한다. 이번 글에서는 금융 기술 스타트업 젠OTC(genOTC)의 사례를 통해, 공학 분야에서 익숙한 모델링·수치해석·시뮬레이션의 흐름이 복잡한 금융 시장을 분석하고 신뢰할 수 있는 서비스로 구현하는 과정에 어떻게 활용되는지 살펴본다.

금융 모델은 가격 산정이나 투자 전략뿐만 아니라 리스크 관리와 같은 중요한 의사결정에도 활용되는 만큼 모델의 정확성과 신뢰성이 중요하다. 모델이 어떤 데이터를 바탕으로 만들어졌는지, 가정은 적절한지, 예측 결과가 실제 결과와 얼마나 일치하는지 등을 지속적으로 확인해야 한다. 과거 데이터에서는 잘 작동했던 모델이라도 시장 환경이 달라지면 동일한 성능을 보장할 수 없기 때문이다.

최근 시장 변동성이 이어지면서 다양한 시장 상황을 가정하고 리스크를 점검하는 활동의 중요성도 커지고 있다. 2026년 PwC가 미국 소비자 1,004명과 금융서비스 업계 임원 204명을 대상으로 실시한 시장 변동성 조사에 따르면, 금융서비스 임원의 84%가 현재의 시장 변동성에 대응해 스트레스 테스트와 시나리오 계획을 강화했거나 강화하고 있다고 답했다. 즉, 하나의 미래를 정확히 맞히는 것보다 다양한 시장 상황에서 어떤 결과가 나타나는지를 미리 확인하는 것이 중요해지고 있는 것이다.

이러한 특성은 스타트업에도 중요한 과제를 던진다. 새로운 수학적 접근법이나 알고리즘을 개발했다고 해서 곧바로 금융 현장에서 활용할 수 있는 것은 아니다. 연구 단계에서 성립한 이론을 실제 시장 데이터에 적용하고, 반복적으로 계산하고 검증하면서 실제 서비스에서 사용할 수 있는 수준으로 발전시켜야 한다. 결국 중요한 것은 새로운 모델을 만드는 것뿐만 아니라 그 모델을 얼마나 빠르게 실험하고 검증하며 실제 운영 환경까지 연결할 수 있느냐다.

금융 시장의 움직임을 모델로 검증하다

실제 시장에서 거래되는 옵션 가격을 바탕으로 시장의 변동성을 추정하고, 다양한 조건에서 시장이 어떻게 움직일지를 하나의 모델로 표현해야 한다. 여기서부터 모델링의 어려움이 시작된다. 자산의 장기적인 움직임을 나타내는 드리프트(drift)는 무차익거래(no-arbitrage) 조건에 따라 엄격하게 결정되지만, 변동성은 그렇지 않다. 따라서 시장 데이터를 어떤 수학적 구조로 표현할 것인지에 따라 모델의 결과가 달라질 수 있다.

현재 많은 금융기관은 SVI나 SABR처럼 일정한 구조적 가정을 적용하는 모수적 모델을 활용하거나 자체 로컬 변동성(local volatility) 모델을 구축한다. 그러나 이러한 접근은 일정한 가정을 전제로 하기 때문에 시장 환경이 급격하게 변화할 경우 실제 시장의 움직임을 충분히 반영하지 못할 수 있다. 자체 모델 역시 지속적인 재보정과 관리가 필요하다. 모델이 시장을 제대로 설명하지 못하면 모델 리스크와 헤지 오차, 잘못된 가격 산정으로 이어질 가능성이 생긴다.

금융 분야에서 모델 검증이 중요한 이유도 여기에 있다. 리스크 측정치의 추정이 부정확하면 주요 리스크 지표가 실제 위험을 제대로 반영하지 못할 수 있다. 이는 자본 요구량을 과대 또는 과소 산정하는 결과로 이어질 수도 있다. 따라서 금융기관은 모델의 예측 정확성과 가정의 타당성을 확인하고, 서로 다른 경제 환경에서도 모델이 의도한 성능을 유지하는지 검증해야 한다.

이러한 검증은 모델 개발이 끝난 뒤 마지막 단계에서 한 번 수행하는 절차에 그치지 않는다. 데이터를 바꾸거나 모델을 수정하면 결과가 어떻게 달라지는지 다시 확인하고 실제 관측된 결과와 비교하면서 모델을 지속적으로 점검해야 한다. 시장 리스크 모델에서는 과거 모델의 예측과 이후 실제로 관측된 결과를 비교하는 백테스팅도 활용된다. 모델링과 분석, 검증이 서로 분리된 과정이라기보다 반복적으로 이어지는 하나의 개발 흐름인 셈이다.

젠OTC, 시장 데이터에서 변동성의 해답을 찾다

금융 기술 스타트업 젠OTC(genOTC)는 이러한 변동성 모델링의 문제를 새로운 방식으로 풀고 있다. 젠OTC는 최적수송 이론(optimal transport theory)을 활용해 실제 시장 데이터와 일치하고 무차익거래 조건을 충족하는 로컬 변동성 곡면을 생성하는 방법을 개발했다.

기존 방식과의 중요한 차이는 변동성 곡면에 특정한 모수 형태를 미리 가정하지 않는다는 점이다. 젠OTC는 최적수송이라는 수학적 프레임워크를 활용해 시장 데이터를 직접 다루고, 캘리브레이션(calibration) 자체를 볼록 최적수송(convex optimal transport) 문제로 정의한다. 이를 통해 실제 시장 데이터와 일치하는 유일한 해를 구하고, 경로의존형 복합 파생상품의 가격 산정에 활용할 수 있는 매끄러운 로컬 변동성 모델을 생성한다.

이는 단순히 새로운 수학 공식을 제안하는 데 그치지 않는다. 젠OTC는 해당 접근법을 실제 금융 현장에서 활용할 수 있도록 로컬 변동성 모델링과 가격 산정 엔진으로 구현하고 있다.

사용자는 자체 데이터를 업로드하거나 젠OTC가 확보한 데이터를 활용할 수 있다. 시스템은 입력된 데이터를 바탕으로 모델 프리(model-free) 최적수송 접근법을 적용해 무차익거래 로컬 변동성 모델을 생성한다. 캘리브레이션이 완료되면 내재 변동성과 로컬 변동성 곡면을 확인하고, 모델이 입력된 시장 데이터를 얼마나 잘 반영하는지 평가할 수 있다. 또한 시각화를 통해 모델의 동작을 살펴볼 수 있다.

이 과정은 연구 중심 스타트업이 하나의 수학적 아이디어를 실제 제품으로 발전시키는 과정을 잘 보여준다. 이론적으로 타당한 모델을 만드는 것이 첫 단계라면, 실제 데이터를 적용해 결과를 확인하고 모델의 움직임을 시각적으로 분석하며 반복적으로 수정하는 과정이 뒤따라야 한다. 최종적으로는 이를 사용자가 반복적으로 활용할 수 있는 소프트웨어와 워크플로우로 구현해야 한다.

캘리브레이션이 끝났다고 해서 금융 모델의 역할이 끝나는 것은 아니다. 생성된 모델은 이후 가격 산정과 관련 분석을 위한 다양한 계산에 활용된다.

젠OTC의 캘리브레이션된 모델은 가격 산정 라이브러리로 내보내 편미분방정식(PDE)을 풀거나 몬테카를로 시뮬레이션(Monte Carlo simulation)을 수행하는 데 활용할 수 있다. 이는 시장에서 가격을 직접 관측하기 어려운 장외파생상품의 공정가격을 산정하는 데 활용된다.

여기서 금융과 다른 엔지니어링 분야 사이의 공통점을 발견할 수 있다. 물리적 시스템을 개발할 때 실제 환경에서 발생할 수 있는 모든 조건을 직접 시험하기 어렵기 때문에 모델과 시뮬레이션을 활용하듯, 금융에서도 직접 관측하기 어려운 값이나 미래의 다양한 조건을 수학적 모델과 수치적 계산을 통해 분석한다. 대상은 다르지만 현실의 복잡한 현상을 모델로 표현하고, 여러 조건에서 결과를 계산하며, 그 결과가 실제 데이터와 얼마나 일치하는지를 검증한다는 기본적인 흐름은 유사하다.

특히 젠OTC의 방법론은 상당한 수준의 수치 계산을 요구한다. 최적수송과 편미분방정식 기반 기법으로 주어진 시장 데이터와 일치하는 로컬 변동성 모델을 만들기 위해서는 수많은 편미분방정식을 수치적으로 풀어야 한다. 젠OTC는 이 과정에서 매트랩(MATLAB)의 효율적인 선형대수 솔버(linear algebra solver)와 벡터화(vectorization) 기능을 활용하고 있다.

연산 결과를 빠르게 확인하고 다시 모델에 반영하는 과정도 중요하다. 연구 중심의 개발에서는 하나의 완성된 모델을 처음부터 만드는 것보다 작은 규모의 실험을 반복하며 알고리즘의 동작을 확인하고 개선하는 과정이 빈번하게 이루어진다. 젠OTC 역시 MATLAB을 활용해 간단한 실험을 빠르게 수행하고 결과를 시각화하면서 알고리즘을 발전시켰다.

젠OTC는 이러한 연구와 개발 과정 전반에서 매트랩을 활용한다. 연구진은 매트랩으로 함수를 작성하고 테스트하며, 3차원 변동성 곡면을 시각화하고 다양한 실험을 수행한다. 숫자로만 나타나는 결과를 곡면 형태로 시각화하면 모델이 시장 데이터를 어떻게 반영하는지 더 직관적으로 확인할 수 있고, 반복적인 연구와 개발 과정에서 결과를 비교하는 데도 활용할 수 있다.

파이낸셜 툴박스(Financial Toolbox)와 옵티마이제이션 툴박스(Optimization Toolbox)는 검증과 회귀 분석을 비롯한 금융 계산의 기반으로 활용된다. 복잡한 모델의 연산 성능을 개선하는 과정에서는 매트랩 프로파일러(MATLAB Profiler)를 사용한다. 이를 통해 연산 시간이 많이 소요되는 병목 구간을 찾아내고, 계산 집약적인 작업에서 알고리즘의 성능을 개선한다.

이 과정에서 중요한 것은 모델링, 분석, 검증, 최적화가 각각 별개의 도구와 환경에서 단절되지 않는다는 점이다. 연구자가 함수를 작성하고 결과를 확인한 뒤 다시 알고리즘을 수정하고, 성능을 분석해 개선하는 작업을 하나의 개발 흐름 안에서 반복할 수 있다.