심경아 박사는 국가수리과학연구소(소장 정순영)에서 암호를 개발하는 수학자다. 국가수리과학연구소에 따르면, 심 박사팀은 ‘세계에서 가장 빠른 공개키 암호 알고리즘’을 개발했으며 이 암호는 양자컴퓨터로도 깨지지 않는다. 그는 2008년부터 연구소 내 암호 분야 연구를 개척했고 지금은 5명의 암호 팀을 이끈다. 보직은 산업수학전략연구부장 겸 암호기술연구팀장. 6월 20일 만난 심 박사는 “미국 기업 구글이 72큐빗 양자컴퓨터를 개발했다는 말도 들리고, IBM, 마이크로소프트도 5년 이내에 상용화한다는 말도 있다”면서 “이게 사실이라면 모든 공개키 암호(public-key cryptography)가 깨질 수 있어 ‘양자컴퓨터 이후’를 대비한 새로운 공개키 암호가 필요하다”라고 말했다.
양자컴퓨터가 암호학자를 분주하게 하고 있다. 그동안 안전하다고 생각했던 공개키 암호가 상상할 수 없는 계산능력을 가질 양자컴퓨터 출현이 임박하면서 위협받고 있기 때문이다. 심 박사는 “이대로 놔뒀다간 현행 공개키 암호에 근거한 전자상거래, 통신시스템은 와해되고 만다”고 말했다.
사물인터넷도 암호학자에게는 도전이다. 사물인터넷은 가전제품, 모바일 기기, 웨어러블(wearable) 디바이스에 센서와 통신 기능을 장착, 정보를 생산하고 인터넷으로 연결해 그 정보를 송신한다. 스마트홈, 커넥티드카(connected car)가 사물인터넷을 이용한 제품이다. 여기도 보안이 생명이다. 커넥티드카가 해킹을 당하면 외부에서 차를 조작할 수 있다. 주차장에 서 있는 차를 빼내갈 수도 있고 운행 중인 차에 문제를 일으킬 수도 있다. 사물인터넷 기기는 용량이 작은 것도 문제다. 기존 공개키 암호가 그 안에서 제대로 돌아가지 않는다.
공개키는 기존의 대칭키가 갖는 단점을 해결하고자 나왔다. 대칭키는 필요한 사람에게 열쇠를 직접 건네주는 방식이어서 안전하다. 하지만 열쇠(암호 키)를 필요한 사람에게 나눠주는 데 어려움이 있다. 그 사람이 가까이 있다면 좋으나 지구 저편에 있으면 전달이 어렵다. 키를 많은 사람에게 건네줘야 하는 경우도 문제가 된다. 심 박사는 “공개키 방식은 키를 ‘공개’하는 방식으로 이 열쇠 배분 문제를 해결했다”고 말했다.
전자상거래 등을 가능하게 하는 현행 국제표준 공개 암호 키 알고리즘에는 RSA와 ECC(타원곡선 암호)가 있다. RSA는 1978년에, ECC는 1985년에 수학자들이 내놓았다. 이 두 암호 알고리즘은 ‘수학의 난제’를 이용한다. RSA는 ‘소인수분해’가 어렵다는 점을, ECC는 무작위 타원곡선의 이산로그(discrete logarithm)를 찾기 힘들다는 특징을 이용했다. 심 박사는 내게 “소인수분해가 쉽다고 생각하나, 어렵다고 생각하나”를 물었다. 내내 취재원에게 질문을 던지다가, 취재원으로부터 돌연 이런 질문을 받으면 당혹스럽다. 나는 다행히 모범답안을 알고 있었다. “작은 수는 쉽지만, 숫자가 커지면 어렵다”고 답했다. 심 박사는 “그렇다”면서 “주어진 수를 소인수분해 할 수 있으면 RSA는 깨진다. 하지만 현재 컴퓨팅 파워로는 인수분해가 불가능하다”고 말했다.
한데 시간이 지나면서 RSA가 한계를 드러냈다. 무선인터넷 환경이 등장하자 사용하기가 불편해졌다. 무선인터넷 환경에서 사용하기에는 공개키 길이가 길고 암호문이나 전자서명 값이 길었다. 무선인터넷을 사용하는 기기는 성능이 PC보다 떨어지고 대역폭도 제한이 있다. 그래서 RSA의 대안으로 등장한 것이 ECC, 즉 타원곡선암호다. ECC는 RSA보다 짧은 길이의 암호 키를 사용하면서도 그에 못지않은 안전성을 담보한다.
그런데 이 두 개가 제공했던 안전한 암호 시대가 양자컴퓨터 시대를 앞두고 위협받고 있다. 이는 역설적으로 암호학자에게는 기회다. 심 박사는 “그간 새로운 공개키 암호 연구가 위축된 게 사실이다. 하지만 이제 새로운 암호 원천기술을 만들어야 하는 때가 되었다”고 말했다.
암호 깨기는 창과 방패의 싸움
심 박사가 이끄는 암호기술연구팀은 2015년 양자컴퓨터에도 안전하고, 사물인터넷암호에서도 잘 돌아가는 안전한 암호 알고리즘 개발을 시작했다. 기존 연구를 살펴보고, 알고리즘 설계를 하고, 안전성 분석을 하며, 실제로 구현하는 순서로 일을 진행해나갔다.
때마침 미국 표준기관인 NIST가 차세대 공개키 암호 알고리즘 표준화 작업에 나섰다. NIST는 2017년 초 양자컴퓨터 시대의 암호 알고리즘을 공개 모집했고, 같은 해 11월 30일 마감했다. 심 박사팀도 NIST의 최종 마감일에 새로운 암호 알고리즘을 제출했다. 심 박사에 따르면 암호학자가 연구해온 것 중에 양자컴퓨터에도 안전하다고 알려져 있는 문제를 이용한 공개키 암호가 4종류 있다. 이 중 하나가 ‘다변수이차식 시스템의 해를 구하는 문제’다. 심 박사팀은 2차 방정식들의 시스템의 해를 구하는 게 어렵다는 데 착안, 새로운 공개키 암호 HIMQ를 개발했다. “세계에서 가장 빠른 공개키 암호이고, 사물인터넷기기에서도 잘 돌아간다”고 국가수리과학연구소 측은 자랑한다.
심 박사는 “NIST에는 모두 83개의 암호 알고리즘이 제출됐다. 이 중 일부는 벌써 암호가 깨졌거나 스스로 철회했고, 현재 63개가 남아 있다”고 말했다. 당시 NIST 응모는 암호알고리즘, 전자서명, 키 분배 알고리즘 세 분야로 나눠 진행됐는데 심 박사팀은 전자서명 분야에 제출했다. 국가수리과학연구소말고도 한국에서 다른 몇 개 팀이 참여했다. 암호알고리즘 분야에는 서울대, 서강대, 상명대 팀이, 전자서명 분야에는 서울대 팀도 제출한 것으로 안다고 심 박사는 말했다.
NIST는 공모를 마감한 뒤 지난 4월 미국 플로리다에서 ‘제1차 포스트 양자컴퓨터 표준화 회의’를 열었다. 심 박사 팀의 박철민 박사가 회의에 참석, 국가수리과학연구소팀이 제출한 알고리즘의 내용과 안전성 분석 결과를 발표했다. NIST는 5년의 공개 검증 기간을 거쳐 살아남은 알고리즘을 대상으로 표준화 논의를 진행하게 된다고 심 박사는 말했다. 이 기간 남이 만든 암호를 깨고 내가 만든 암호 알고리즘의 완성도를 높여야 한다.
“남이 만든 암호를 깨는 작업도 중요하다. 새 공개키 암호 개발에 필요하다. 나도 암호를 몇 개 깼다. 내가 쓴 논문의 절반 이상은 남의 암호를 깼다는 내용이다. 그 어떤 창도 막을 수 있는 방패를 만들고, 그 어떤 방패도 깰 수 있는 창을 만드는 게 암호학자가 하는 일이다.”
심경아 박사는 이화여대 수학과 88학번. 대수기하학을 공부했다. 박사과정 중에 타원곡선 암호를 개발한 미국 수학자 닐 코블리츠 강연을 듣고, 깊은 인상을 받았다. 코블리츠가 타원곡선으로 암호를 만들 수 있다는 얘기를 했는데, 타원곡선은 심 박사가 대수기하학을 공부하며 익숙한 분야였다. 그러다가 포항공대 최영주 교수 밑에서 박사후연구원 생활을 하면서 암호학자의 길에 접어들게 되었다.