씽크포비엘, 경찰청 AI 시스템 29개 위험도 분석…기획부터 운영까지 통합 관리체계 수립

범죄 예방과 수사, 현장 대응 등 치안 분야에 인공지능(AI) 기술이 도입되면서 시스템의 성능뿐 아니라 안전성과 책임성을 확보하는 일이 중요한 과제로 떠오르고 있다. 특히 치안 업무에 활용되는 AI는 국민의 생명과 안전, 개인정보와 기본권에 영향을 미칠 수 있어 도입 이전부터 위험을 평가하고 운영 과정에서도 지속적으로 관리할 필요가 있다. 이에 따라 개별 기술의 정확도를 검증하는 수준을 넘어 조직 차원에서 AI를 관리하고 통제하는 체계가 요구되고 있다. AI 신뢰성 기술 전문기업 씽크포비엘(대표 박지환)이 경찰청과 함께 치안 AI 시스템의 영향 평가 및 위험 관리 기준을 수립했다.

씽크포비엘은 경찰청 미래치안정책국과 지난 7월부터 공동 수행한 ‘AI 영향 평가 및 위험 관리’ 기준 수립 연구를 26일 마무리했다. 이번 연구는 경찰청이 현재 운영하거나 도입을 검토 중인 AI 시스템의 위험 요소를 분석하고, 기획과 개발, 조달, 운영에 이르는 전 과정에서 일관된 기준을 적용할 수 있는 관리체계를 마련하는 데 초점을 맞췄다.

연구 대상은 경찰청이 운영 중이거나 도입 예정인 AI 시스템 29개다. 씽크포비엘은 각 시스템의 위험 수준을 검토하고, 개별 시스템에 대한 평가 결과를 기관 전체의 관리 정책과 연결할 수 있도록 통합 체계를 설계했다. AI 기술의 성능과 안전성을 확인하는 데서 나아가 실제 운영 과정에서 발생할 수 있는 위험을 조직적으로 관리하도록 구성한 것이 특징이다.

이를 위해 AI 시스템 도입 전 단계부터 운영 이후까지 적용할 수 있는 위험 관리 절차를 마련했다. 발주 단계에서는 AI 도입의 적합성과 예상되는 위험 요소를 검토하고, 개발 과정에서는 신뢰성 기준 충족 여부를 확인하도록 했다. 실제 운영 단계에서는 시스템의 적정성을 점검하고 문제가 발생할 경우 필요한 조치를 취할 수 있도록 관리 절차를 구체화했다.

AI가 국민에게 미칠 수 있는 영향을 평가하는 기준도 포함됐다. 시스템별 위험 수준을 구분하고 이에 따른 관리 조치와 책임 권한을 정하며, 심각한 문제가 발생하면 운영을 중지할 수 있도록 하는 방식이다. 담당자나 관리 조직이 변경되더라도 동일한 기준으로 위험을 판단하고 관련 근거를 기록할 수 있도록 문서화 체계도 마련했다.

29개 시스템 위험도 검토…EU AI법·국제표준 반영한 관리 기준 마련

이번 연구에서는 AI 영향 평가와 위험 관리 정책, 조직별 책임 체계, 조달 가이드라인, 안전성·신뢰성 관련 문서화 절차를 하나의 관리체계로 연결했다. 기술 도입을 담당하는 부서와 실제 시스템을 운영하는 조직이 공통 기준을 활용하도록 해 AI 관리 과정에서 발생할 수 있는 책임과 절차의 공백을 줄이는 데 중점을 뒀다.

국내 법령뿐 아니라 국제적인 AI 안전·신뢰성 규범도 반영했다. 유럽연합(EU)의 AI법과 국제표준화기구(ISO) 관련 표준, 미국 국립표준기술연구소(NIST)의 AI 위험관리 프레임워크 등을 검토해 경찰청의 관리 기준에 적용했다. 향후 AI 관련 국제 교류와 기술 협력이 확대될 경우에도 공통적으로 활용할 수 있는 위험 관리 원칙을 확보하기 위한 조치다.

특히 모든 AI 시스템에 동일한 관리 수준을 적용하기보다 위험도에 따라 필요한 검증과 통제 조치를 차등화하는 방식을 채택했다. 국민의 안전과 기본권에 미치는 영향이 큰 시스템에는 보다 엄격한 관리 기준을 적용하고, 위험 수준에 맞춰 검토 절차와 책임 범위를 구체화하도록 했다.

이번 연구는 2027년 2월 시행 예정인 ‘인공지능 및 데이터 기반 행정 활성화에 관한 법률(AI데이터행정법)’에 대비하는 성격도 갖는다. 해당 법률에 따른 공공기관의 AI 영향 평가와 위험 관리 요구에 대응할 수 있도록 관련 정책과 운영 절차를 사전에 정비했다는 설명이다.