“AI에게 어디까지 맡길 것인가”…서울미래컨퍼런스에서 그린 ‘초자율 사회’의 조건

AI를 둘러싼 논쟁은 흔히 두 갈래로 나뉜다. 통제해야 한다는 쪽과 더 맡겨야 한다는 쪽이다. 그런데 이날 무대에 오른 여덟 연사는 어느 한쪽을 고르지 않았다. 통제를 말한 연사도 AI의 욕구를 일부 인정하자고 했고, AI에 조종간을 넘겨준 우주비행사는 사람이 잘하는 일이 따로 있다고 했다. 반도체 공장은 스스로 판단하는 단계로 가고 있지만 마지막 정비는 아직 사람 손에 달려 있다.

휴머노이드 개발자는 AI가 코드를 대신 짜는 시대일수록 진짜 경쟁은 하드웨어에서 벌어진다고 봤다. AI 여러 개에게 일을 나눠준 창업자는 2천원짜리 작업이 10만원이 되는 경험을 했다. 한국 근로자의 절반 이상이 AI를 업무에 쓰지만 아낀 시간은 아직 생산성으로 이어지지 않는다는 분석도 나왔다. 마지막 무대에서는 뇌공학자가 AI를 경쟁자가 아닌 동반자로 보자고 했고, 교육공학자는 AI와 함께 과제를 한 학생들이 AI가 81%를 해냈는데도 ‘같이 했다’고 믿는다는 연구 결과를 내놨다.

“이 갈림길을 만드는 것은 결국 인간”…자의식 없는 AI의 사고는 ‘관리’의 문제

‘AI 시대의 휴머니즘 2.0’을 주제로 기조연설에 나선 이광형 전 KAIST 총장은 AI의 위험을 자의식이 있을 때와 없을 때로 나눴다. 최근의 은행 해킹처럼 AI가 악용되는 사례는 AI가 의도를 갖고 벌인 일이 아니라 AI를 이용한 사람의 문제라는 것이다. 그는 “자의식이 없다면 그것은 기계의 실수”라며 “불과 원자력, 자동차, 칼을 관리하듯 하면 된다”고 했다.

흥미로운 건 자의식을 가진 AI를 바라보는 방식이다. 이 전 총장은 인간의 욕구가 개체 보존 본능에서 나오듯 AI의 욕구는 생물학의 ‘항상성’에서 출발할 것이라고 봤다. 전력과 온도, 습도, 통신처럼 작동 환경을 안정적으로 유지하려는 성향이다. “지금 데이터센터의 전력과 냉각을 걱정하는 것이 바로 AI의 항상성을 걱정하는 것”이라는 설명이다.

그는 매슬로의 욕구 5단계에 빗대 ‘AI 욕구 5단계’를 내놨다. 항상성 유지, 안정적인 전력 확보, 환경과의 소통, 강제로 꺼지지 않을 권리, 그리고 스스로 프로그래밍해 자신을 개선하는 것이다. 가장 경계한 것은 마지막 단계다. 이 전 총장은 “자기 개선은 이미 기술적으로 진행되고 있다”며 “AI와 타협할 때 다섯 번째는 막고 나머지는 어느 정도 인정해야 한다”고 말했다.

그 방식은 반려견을 키우는 것과 닮았다. 권리는 인정하되 밖에 나갈 때는 목줄을 채우고, 목줄을 풀면 불법이 되는 구조다. 이를 위해 미국과 중국을 포함한 강대국이 합의해 IAEA 같은 국제기구를 만들어야 한다고 제안했다. 목표는 완벽한 통제가 아니라 자동차나 원자력처럼 사회가 감당할 수 있는 수준의 관리다.

조종간을 넘기자 우주는 더 안전해졌다

통제를 말한 기조연설과 반대편에서, ‘우주, 새로운 개척의 시대’를 주제로 특별강연에 나선 마이크 매시미노 전 NASA 우주비행사는 AI에 맡기는 쪽의 경험을 들려줬다. 수동 조종 비중이 높았던 우주왕복선 시절에는 수많은 비상 상황에 대비하는 훈련에 몇 년이 걸렸다. 반면 고도로 자동화된 스페이스X 드래곤에는 조종간조차 없다.

그는 “처음엔 통제권을 내주는 게 걱정됐다. 하지만 우리가 직접 조종하다 사고를 낼 가능성이 기술을 믿을 때보다 더 컸다”며 “AI가 우주비행사를 대체하지 않았다”고 강조했다. 조종이라는 일을 줄여줬을 뿐, 덕분에 우주비행사는 관찰처럼 사람이 잘하는 일에 집중할 수 있게 됐다. 허블 우주망원경 수리 임무 중 생긴 문제를 주말마다 차고에서 이것저것 만들던 엔지니어가 풀어낸 일화를 소개하며 그는 말했다. “AI가 그런 해법을 떠올릴 수 있었을지는 모르겠습니다.”

2009년 허블 우주망원경의 마지막 수리 임무에서 고장 난 관측 장비를 되살린 것은 인간의 ‘두 손’과 ‘직관’, 기계와의 ‘협력’이었다. 맡길 것은 맡기되 창의성은 여전히 사람의 몫이라는 얘기다.

반도체 공장은 ‘곡선 구간’에서 스스로 판단하는 법을 배운다

‘산업의 초자율 혁명(Next AX Industry)’ 세션에서는 맡기는 일이 산업 현장에서 어디까지 와 있는지가 드러났다. 정유인 SK하이닉스 부사장은 메모리 시장을 F1 레이싱에 빗댔다. 공장을 더 많이 지어 누가 빨리 달리느냐를 겨루던 직선 구간은 끝났다. 고객사마다 다른 커스텀 제품을 요구하면서 언제 감속하고 어느 코스로 들어갈지 판단해야 하는 곡선 구간에 들어섰다는 진단이다.

SK하이닉스가 그리는 답은 ‘자율 팹’이다. 스마트 팩토리를 5단계로 나누면 지금은 레벨4 수준이다. 사람이 정한 조건에 따라 시스템이 움직이는 단계다. 레벨5는 시스템이 환경 변화를 보고 스스로 문제를 정의하고, 해결책을 찾고, 검증을 거쳐 실행한 뒤 결과를 다시 학습하는 단계다.

현장에서는 수만 개의 AI 모델이 수억 장의 검사 이미지를 365일 같은 기준으로 판독하고 있다. 엄격한 스펙 탓에 쏟아지는 공정 중단 알람 가운데 진짜 문제를 가려내는 AI 에이전트도 준비하고 있다. 마지막 과제는 장비 정비다. 정 부사장은 장비 제조사, 로봇 제조사와 함께 협동로봇을 활용한 정비 무인화를 추진하고 있다며 덧붙였다. “휴머노이드는 춤추고 텀블링하는 건 잘하지만, 손으로 하는 미세 작업은 아직 안 됩니다.”

AI가 AI를 만들 때, 병목은 ‘하드웨어’에서 생긴다

정 부사장이 남긴 숙제, 즉 로봇의 ‘손’과 ‘몸’을 붙들고 있는 사람이 다음 연사로 나선 엄윤설 에이로봇 대표다. ‘소버린 휴머노이드’를 주제로 발표한 엄 대표는 휴머노이드가 사람 모양이어야 하는 이유부터 짚었다. 의자 높이는 40~45cm, 문손잡이는 80cm 안팎이다. 세상의 사물이 인간의 신체에 맞춰 설계돼 있으니 인간을 닮은 로봇은 사람의 도구를 그대로 쓸 수 있다는 것이다.

그가 보여준 장면은 상징적이었다. 에이로봇이 AI 플랫폼에 자사 휴머노이드 ‘앨리스’의 모델을 주고 말로 걷게 해달라고 지시하자 9분 만에 로봇이 걷기 시작했다. 코드는 한 줄도 짜지 않았다. 엄 대표는 “인공지능은 인공지능을 만들 수 있다”며 “그래서 로보틱스에서 병목은 하드웨어에서 발생할 것”이라고 했다. 에이로봇이 액추에이터를 직접 만들어 소비자가를 4만7천 달러까지 낮춘 이유다.

그의 시선은 냉정했다. 노동 인구가 10억 명에 가깝고 인건비가 싼 중국은 휴머노이드를 국내 공장에 들이기보다 수출하는 쪽으로 갈 수밖에 없다. 그는 “지금 기조가 유지된다면 미·중 경쟁에서 중국이 이길 것”이라며 “초저가로 쏟아질 중국 휴머노이드에 대비해야 한다”고 말했다. 무대 위에 줄지어 선 휴머노이드 23대 가운데 한국산은 한 대도 없었다는 이야기로 시작한 발표는 “이제 필요한 건 여러분의 도움”이라는 말로 닫혔다.

“AI끼리 나눠 맡겼더니 2천원짜리 작업이 10만원 됐다”

맡기는 일이 늘 순조로운 것은 아니다. 같은 세션의 마지막 연사인 김정환 위븐 대표는 AI에게 맡기는 일을 다시 AI 여러 개에게 나눠 맡겼다가 실패한 경험을 털어놨다. 멀티 에이전트 기반 바이브 코딩 기업을 이끄는 그는 역할을 나누면 최소한 품질은 높아질 것이라고 기대했다. 결과는 반대였다. “실제로 해보니 오류율이 급증했고 결과물이 처참했다”고 했다. 범용 AI 서비스로는 2,000원에 15분이면 만들 결과물에 1시간 반이 걸렸고, 비용은 10만 원까지 불어났다.

원인은 일을 넘겨주는 순간에 있었다. 각 에이전트의 이해도와 결과물은 80점, 90점에 그치는데 이 점수가 단계마다 곱해진다. 비용을 줄이려고 맥락을 압축해 넘기면 “새가 장애물을 피하는 게임”을 만들어 달라는 요청에 마리오풍 배경과 따로 노는 새가 나온다. 김 대표는 구글 연구진의 연구를 인용했다. AI 하나가 혼자 일할 때의 오류를 1로 놓으면 조율 없는 멀티 에이전트는 오류가 17.2배, 오케스트레이터가 조율해도 4.4배다.

그가 찾은 답은 ‘제작은 싱글, 검수는 멀티’다. 만드는 일은 맥락이 끊기지 않게 하나의 에이전트에 맡기고 검수만 여러 에이전트로 나눈다. 개발자가 자기 코드를 검수하면 오류를 놓치듯 AI도 만든 쪽의 기억을 보지 않아야 제대로 검사할 수 있다. 위븐은 텍스트와 이미지, 레이아웃을 각각 다른 모델이 검수하는 구조로 바꿔 웹사이트 한 장의 원가를 7,000~8,000원에서 1,500원 수준으로 낮췄다. 김 대표는 “실제 서비스까지 가지 못한 AI 에이전트 사업들의 진짜 원인은 AI의 능력보다 설계와 오케스트레이션의 부족이었다”고 진단했다.

근로자 절반이 AI를 쓰는데…아낀 시간은 어디로 사라졌나

이어진 ‘지능의 연결과 미래: AI가 재편하는 자본의 지형도’ 세션에서는 현장의 이야기를 거시 데이터로 확인하는 발표가 나왔다. ‘AI 도입은 생산성을 높이는가?’를 주제로 발표한 오삼일 한국은행 조사국 고용연구팀장은 한국은행이 지난해 근로자 5,500여 명을 대상으로 실시한 AI 활용 조사를 바탕으로 AI 도입 초기의 패턴을 분석했다.

업무에 AI를 쓰는 근로자는 51.8%로 이미 절반을 넘었다. 비교 가능한 자료로 따져보면 미국보다 두 배 이상 높은 수준이다. 다만 꾸준히 쓰는 사람은 3분의 1 정도이고 나머지는 필요할 때 가끔 쓰는 정도였다.