차재춘 포항공과대학교 수학과 교수는 “학교 다닐 때는 수학을 별로 잘하지 못했다”라고 말했다. 지난 4월 8일 포항공대 수리과학관 내 ‘위상수학연구센터’에서 만난 그는 “나는 수학을 싫어했다. 아니 싫어했다기보다는 좋아하지 않았다”라고 했다. ‘위상수학연구센터’는 한국연구재단의 리더연구자 지원 사업. 리더연구자 지원 사업은 개인 연구자를 대상으로 하는 지원 사업 중 최상위 지원 제도다.

차 교수는 “반면 과학기술에는 꼬마 때부터 관심이 많았다”라고 했다. 그는 어릴 때부터 컴퓨터를 좋아했는데 게임에는 관심이 없었고 프로그래밍을 좋아했다. 베이식이라는 컴퓨터언어의 기능을 개량하고 확장하는 일도 했다. 중3 때부터는 각종 프로그래밍 대회에 나가 장관상, 국무총리상을 여러 번 받았다. 중학교 때 컴퓨터 잡지 ‘마이크로소프트웨어’에 기사를 연재하기도 했다. 이 잡지는 당시 프로그래머들이 최고로 치는 잡지였다. 공부는 썩 잘하지 못했다. 부모님이 ‘전교 1등 하면 컴퓨터를 사주겠다’고 했으나 성적이 반 5등 안에도 못 들었다. 부모님은 전교 1등 가능성이 없어 보이자 ‘반 1등 하면 사주겠다’라고 목표치를 낮춰줬다. 

수원에 있는 경기과학고등학교에 진학했다. 경기과학고는 전교 1~2등이 들어가는 학교. 중학교 선생님들이 합격했다니 믿지 않았다. 고교 때도 수학 점수는 안 좋아 첫 시험에서는 반 학생 중 뒤에서 두 번째 성적을 받았다. 뒤에서 첫 번째이던 학생이 일반고로 전학가면서는 반에서 꼴찌가 되었다. 당시 카이스트는 입학시험에서 수학 과목 비중이 압도적이었다. 물리, 영어 과목이 150점이었다면 수학은 300점 만점이었다. 수학을 못하면 카이스트에 들어갈 수 없었다. 경기과학고에서 수학을 집중 공부해 성적을 끌어올렸다. 수학에 관심이 있어서가 아니라 대학에 가기 위해서였다. 1989년 카이스트 수학과가 아닌, 전자전산학부에 진학했다.

차 교수는 한국의 수학 교육에 대해 이렇게 비판했다. “빠른 시간에 많은 문제를 기계처럼 해결하기를 요구하는 한국 초·중·고 수학에 별 흥미를 느끼지 못했다. 중등교육까지 가르치는 수학은 재미있는 수학이 아니다. 특히 사교육을 통해 과도한 훈련을 받은 학생들이 아니면 중등교육 과정에서 좋은 점수를 받기 어려워 관심을 잃게 된다. 마치 어린 운동선수들에게 금지약물을 쓰고 혹독한 트레이닝을 가해 성과만을 추구하는 것과 비슷하다. 그 후유증으로 나중에 몸과 마음이 상하고 흥미를 잃게 되기 쉽다는 것도 비슷하다. 정말 재능과 흥미를 가진 아이들이 가려지게 된다는 면도 비슷하다.”

카이스트에 입학하자 컴퓨터 천재가 입학했다는 소문이 돌았다. 한 선배는 첨단컴퓨터 실습실 열쇠를 주며 “컴퓨터 수업은 재미가 없을 거니까, 여기에 와서 놀아라”라고 했다. 그는 나중에 유명한 컴퓨터게임 개발자가 되었다. 어떤 선배는 부르더니 “너, 다른 건 몰라도 해커가 되면 안 된다”라고 다짐받으려 하기도 했다.

수학과의 만남은 카이스트 1학년 때 찾아왔다. 수학과 오윤용 교수가 가르치는 선형대수학 중간시험 때였다. 추상적인 문제가 하나 있었다. 추상적으로 생각하는 훈련이 안 되어 있으니, 학생들 아무도 문제를 못 풀었다. 차재춘 학생은 시험이 끝나고도 그 문제에 대한 생각을 멈출 수가 없었다. 이틀인가 지나서 어느 순간, 풀이를 알게 되었다.

선형대수학 배우며 수학에 빠지다

시험 기간이 끝나고 선형대수학 첫 수업 때 교수님이 시험 관련 질문이 있으면 하라고 했다. 학생들 모두 못 풀었으니, 그 문제는 어떻게 되는 거냐고 질문했다. 오 교수가 풀이를 칠판에 쓰는데 증명은 다섯 줄이면 되나 싶을 정도로 간단했다. 그런데 오 교수가 한 줄 쓰고 나서 멈칫했다. 갑자기 생각이 나지 않는 듯했다. 그때 맨 앞줄에 앉아 있던 그가 “교수님, 그거요. 이걸 빼서 1이 나오게 하면 되지 않나요”라고 말했다. 차 교수는 당시 오윤용 교수의 눈빛을 지금도 기억한다. 되게 인자한 표정인데 차재춘 학생 쪽을 돌아보며 이북 말투로 “자네가 이거를 풀었나”라고 말했다. “아니오 못 풀었는데요.” “그런데 어떻게 하는 걸 알아?” “시험 끝나고 생각해봤는데, 그렇게 하면 될 것 같았습니다.” “맞아, 그렇게 하는 게 맞아”.

2학년 때 수학과를 선택해 수학을 계속 공부했다. 차 교수는 “수학이 너무 재밌었다. 힘들기는 되게 힘들었다”라고 말했다. 이후 카이스트 대학원 수학과에 진학해 석사를 1993~1994년에 했고 1995년에 박사과정에 들어가 2000년에 박사학위를 받았다. 박사 과정은 위상수학자인 고기형 교수의 지도를 받았다. 차재춘 교수는 위상수학자이고, 위상수학에서도 기하위상수학 전공이다.

해석학이나 대수학, 정수론 이런 건 고대 그리스가 기원이다. 반면 공간의 학문인 위상수학은 현대에 와서 시작됐다. 차 교수는 어려서부터 도면 그림 같은 걸 좋아했다. 위상수학은 그런 도식적인 그림을 많이 그리고, 그걸 수학으로 쓴다. 

“다시 말하지만 나는 수학을 뛰어나게 잘했다기보다는, 흥미를 갖고 엄청나게 안 되는 걸 되게 해보려고 했다. 수학이 내가 할 수 있는 일 중에 재능이 제일 잘 맞는지는 솔직히 모르겠다. 하지만 수학에는 내가 도전하게 만드는 게 많다. 그런 상황이 됐을 때 ‘지금부터 재밌는 게임이 시작이구나’라는 생각을 한다. 안 되는 벽을 만났을 때 포기하는 게 아니고, 뭔가 해볼까라고 생각하는 게 수학의 매력이다.”

위상수학이란 무엇인가? 차 교수는 “위상수학자는 공간이 어떤 구조를 갖는지 알고 싶어 한다”라며 다음과 같이 설명했다. “공간이란 건 우리가 쉽게 받아들일 수 있다. 예를 들면 상대성이론은 공간이 휘어졌다고 말한다. 그게 무슨 뜻인지 모르지만 그렇구나 하고 생각할 수 있다. 연속이라는 개념도 우리에게는 익숙하다. 종이가 있는데 예를 들어 찢으면 연속적으로 변형된 게 아니다. 종이를 구부린다든지, 혹은 고무판의 경우 잡아 늘인다든지 하면 연속이다. 그러다가 찢어지면 불연속이 되는 거다. 그런 게 위상수학이다. 공간이라는 건 바꿔 말하면 연속이라는 성질을 명확히 정의할 수 있는 대상이다.”

위상은 무엇일까? 차 교수에 따르면, 위상은 공간을 연속적으로 휘거나 변형해도 본질적으로 변하지 않고 내재해 있는 어떤 성질이다. 공간에서 불변하는 성질이 위상이다. 도너츠와 머그잔은 위상수학에서 널리 알려진 예다. 도너츠와 머그잔은 생긴 게 많이 다르지만 공간을 연속적으로 잡아 늘이거나 줄이는 방법으로, 즉 찢어 붙이지 않고서 서로 상대의 모양으로 바뀔 수 있다. 이때 두 개가 공통으로 갖는 불변량, 즉 구멍이 한 개라는 것이다.

차 교수에게 “공간에 불변하는 다른 성질들이 또 있느냐”라고 물었다. 차 교수는 “그렇다. 뭘 할 때 변하느냐 안 변하느냐를 정하는 게 사실 수학의 분야를 정하는 것이다”라고 말했다. 그러면서 그는 기하학 얘기를 꺼냈다. 기하학에서는 거리가 변하지 않는다. 거리가 달라지면 변한 거다. 하지만 위상수학에서는 연속적으로 변형시킨 건 똑같은 걸로 보자고 한다. 거리 불변량을 갖고 연구하는 분야가 기하학이고, 위상 불변량을 갖고 연구하는 분야가 위상수학이다.

위상수학자가 연구하는 공간 중에는 ‘지저분한’ 것도 많다. 그런 걸 보는 것도 재밌다. 반면에 자주 등장하고 익숙한 공간도 재밌다. 이런 공간은 깨끗한 공간이라고 한다. 깨끗한 공간의 대표적인 게 다양체(manifold)다. 차 교수는 “다양체 공간의 특성을 이해하고자 하는 게 기하위상수학(geometric topology)이다. 그리고 나는 기하위상수학을 연구한다”라고 말했다.

가장 난제인 4차원 공간의 비밀

다양체는 이렇게 설명할 수 있다. 예컨대 2차원 면에 사람이 서 있다. 주위를 보면 평평한 유클리드 공간이다. 유클리드 공간이란 고등학교 때 배운 좌표축이 있는 공간이라고 생각하면 된다. 차 교수가 나의 취재수첩에 도너츠 모양을 그렸다. 도너츠 표면만 보자고 했다. 내부는 비어 있다. 도너츠 표면에 작은 점을 그린 뒤 그 주변을 떼어보면 그건 2차원 다양체다. 반면 3차원 다양체는 그림으로 그리기가 어렵다. 훈련되지 않은 일반인은 상상하기가 쉽지 않다. 3차원 다양체를 그리려면 4차원이 되어야 하니까.

차 교수에 따르면 다양체의 공간 차원을 고정시키는 것이 중요하다. 가령 60차원 다양체의 족보를 전부 나열해 보라는 문제가 있을 수 있다. 60차원 다양체 리스트를 만들되, 빠지는 게 없어야 하고 두 번 나오는 것도 없어야 한다. 이런 걸 ‘분류(classification)’ 문제라고 한다. 

그가 공간은 그리기가 힘이 드니 매듭을 갖고 생각해 보자고 한다. 그가 취재수첩의 빈 공간에 매듭 두 개를 그렸다. 생긴 게 달라 보인다. 하지만 늘이고 줄이고 잡아당겨서 연속적으로 변형시키면 두 개가 같음을 확인할 수 있다. 차 교수는 “3차원 다양체만 해도 상상이 어렵다. 4차원은 더 어렵다”라고 말했다. 5차원 다양체는 더 어려울 것 같지만 그렇지가 않다. 기하위상수학에서는 직관과 다른, 즉 반직관적인 게 5차원 이상의 공간이어서 오히려 잘 이해되어 있다. 수학에서는 잘 알려진 재밌는 현상이다. 차원이 높으면 공간을 이해하기 어려울 것 같은데 오히려 ‘분류’가 잘 되어 있다. 물론 풀어야 하는 흥미로운 문제가 많지만, 연구 프레임은 정립되었다. 1960년대에 엄청난 대가들이 나와서 그 틀을 만들어 놨다. 당시 대가들의 접근 방법이 성공을 거둬 위상수학이 크게 발전했다.

1차원과 2차원은 너무 낮은 차원이라 복잡할 것이 별로 없다. 남은 것이 3차원과 4차원이다. 두 개가 큰 난제인데 3·4차원을 저차원 위상수학(low dimensional topology)이라고 한다. 반면 5 차원 이상은 고차원 위상수학이라고 한다. 3차원에서 엄청난 발전이 2000년대 들어서 있었다. 초석을 놓은 사람이 윌리엄 서스턴(1946~2012)이다. 미국 수학자 서스턴은 3차원 이해에 훌륭한 방향을 제시했다. 그가 제시한 난제들을 해결하는 것이 큰 과제였는데 2000년대 이후 대부분 해결되었다. 그중에 제일 유명한 게 3차원 푸앵카레추측(Poincaré conjecture)이다. 러시아의 괴짜 수학자 그리고리 페렐만이 2003년에 풀었다.

지금 위상수학자가 모르는 건 정확히 말해 4차원 공간의 구조다. 여기에도 1980년대 큰 진전이 있었다. 4차원 공간은 5차원 이상의 고차원과도 너무나 다르고 3차원과도 달라 진짜 이상하다는 사실이 발견됐다. 마이클 프리드먼(미국)과 사이먼 도널드슨(영국), 두 사람이 그런 얘기를 했다. 연속적인 변형이 위상수학에서는 핵심인데 프리드먼은 엄청 달라 보이는 다양체도 연속적인 변형을 가해 위상적으로 분류할 수 있는 기술을 개발했다. 또 도널드슨은 미분이 가능한가라는 기준으로 공간을 봤다. 자연과학과 공학에서는 미분이 중요한 수학적인 도구다. 공간에서 미분이 가능하지 않다면 자연법칙을 쓸 수가 없다. 미분이 가능하면 할 수 있는 게 굉장히 많다. 즉 좋은 공간이다. 그러니 미분 가능한 걸로 만들 수 있느냐가 중요한 문제다. 도널드슨은 미분 가능한 4차원 공간을 연구했다. 그러면서 4차원 공간의 연속적인 변형, 즉 위상 특성을 연구했다.

3차원 공간에서는 ‘미분 가능한 것’과 ‘위상적인 것’의 차이가 없다. 그런데 4차원에서는 미분 가능한 것과 위상적인 것의 차이가 너무나 컸다. 4차원에서는 계산할 방법이 보이지 않았다. 차 교수는 “프리드먼과 도널드슨의 발견을 이후에 많이 발전시켰다. 하지만 현재도 새로운 차이를 계속 찾아내는 상황이지, 어떤 차이가 다 가능한지를 분류 해볼까 하는 상황도 아니다”라고 말했다. 미분 가능한 걸 알고 싶으면 위상적인 걸 알아내고, 그다음에 미분 가능한 것과 위상적인 것의 차이를 알면 다 이해할 수 있다. 그런데 지금 그 두 가지가 다 벽에 부딪혀 있다.

이런 맥락에서 차 교수는 어떤 연구를 하고 있는 것일까? 차 교수는 “4차원 연구를 제일 많이 했다라고 말할 수 있다. 그중에서도 4차원의 위상적인 걸 많이 했다. 4차원 공간의 구조 및 이와 관련된 매듭이론을 연구하는 사람이다”라고 말했다.

그는 박사 때 매듭이론으로 연구를 시작했다. 지도교수가 매듭이론을 했는데 이것도 여러 방법으로 공부할 수 있다. 그중 차 교수가 보기에 가장 흥미로운 건 공간 구조와 연관된 것이다. 매듭의  4차원적 특성을 알아낼 수 있다면, 4차원 공간의 위상을 분류할 수 있다. 사람들이 그렇다는 건 알고 있었지만 이 작업을 해낼 수 있느냐는 것은 다른 문제다. 차 교수는 이 연구를 많이 했다.

국내 두 사람밖에 없는 리더연구자

“특수한 4차원 공간보다 더 일반적인 4차원 공간에서 매듭이 풀리는지에 대한 내용으로 논문을 썼다. 고차원 매듭에 대해 분류가 가능하고, 4차원 공간에서는 분류는 어려우나 그걸 향해 나아갈 수 있는 새로운 불변량을 찾아냈다. 불변량을 찾아내는 것까지는 박사 과정 때 성공했다.”

그의 논문은 2002년 영국 옥스퍼드대학교가 발행하는 위상수학의 최상위 학술지인 ‘위상수학(Topology)’에 실렸다. 박사학위를 받고 카이스트에서 1년간 연구원으로 머물렀다. 좋은 학술지에 논문을 냈지만 직장을 찾기는 쉽지 않았다. 그래서 과학재단의 해외 박사후연구원 프로그램에 지원해 미국 인디애나대학교로 2002년 초 떠났다. 이곳에서 차재춘 박사는 박사학위 논문 주제를 계속 생각했다. 차 교수는 “생각을 멈출 수가 없었다. 거기에 빠졌다”라고 당시를 돌아봤다. 사실 그때는 논문 생산성을 높여야 할 때였다. 실적을 내서 그걸로 직장을 찾아야 했다. 과학재단의 지원은 1년밖에 되지 않았다. 차 교수는 “논문을 쓰기 쉬운 문제를 잘 찾는 게 현명한데, 나는 그렇지 못했다. 미련한 스타일이어서 그러지 못하고 잘 안 되는 문제를 붙잡고 있었다”라고 말했다. 그러던 중 박사학위 논문 주제였던 위상수학의 문제를 대수학으로 바꿔 풀 수 있는 방법을 찾아냈다.

해결책의 가장 중요한 핵심을 미국에서 찾았지만 논문이 완성된 건 아니었다. 연구의 고비를 넘었을 뿐이었다. 미국 인디애나대학교에서 1년을 더 있게 되었고, 2003년 말 대전 대덕연구단지의 한국정보통신대학교 교수가 되어 한국으로 돌아왔다. 정보통신대학교는 카이스트와 2009년 통합되었는데 그전인 2007년 차재춘 교수는 포항공과대학교로 옮겼다.

미국에서 해법을 찾은 문제는 2007년 출판되었다. 수학 분야의 아주 좋은 학술지(Memoirs of American Mathematical Society)에 나왔다. 이 학술지의 해당 호에는 차 교수 한 사람의 논문만 실렸다. 논문 분량은 100쪽 안팎이었다. ‘Memoirs’라고 수학자가 부르는 이 학술지에는 긴 논문 한 편이 실리는 게 전통이다. 차 교수에 따르면, 당시까지 이 학술지에 논문을 쓴 한국인은 1~2명뿐이다. 논문 제목은 ‘매듭의 유리 계수 동계군의 구조’. 차 교수는 “이 논문이 나의 초창기 연구를 대변한다”라고 설명했다.

포항공과대학교에 와서는 여러 논문을 썼다. 이 중 중요한 연구는 함수해석학을 접목한 연구다. 차재춘 교수는 2007년 ‘Memoirs’에 논문을 쓰기 위해 위상수학 외에 대수학을 공부한 바 있다. 그런데 이번에는 해석학까지 연구 범위를 확대했다. 그는 4차원 공간에서 매듭이 풀리지 않는 경우를 판별할 수 있는 새로운 방법을 알아냈다. 판별법인 불변량을 새로 만들어낸 것인데, 그간 알려진 불변량보다 강력한 도구였다. 이 연구는 2012년에 최상위 수학 학술지인 ‘순수 및 응용수학교신(Communications on Pure and Applied Mathematics)’에 논문이 나왔다. 그리고 2016년에는 수학계의 최고 학술지 중 하나인 ‘인벤시오네 마테마티케’(Inventiones Mathematicae·독일 학술지)에 논문이 나왔다.

차재춘 교수의 위상수학 이야기는 흥미로웠다. 그는 성심껏 이야기를 들려줬다. 그가 언급한 부분에는 궁금한 내용이 많았지만 다 물어볼 수는 없었다. 그는 2019년 한국연구재단의 연구 지원프로그램 중 하나인 리더연구자로 선정되었다. 수학자 중에는 두 사람밖에 없다니, 그의 연구가 인정받은 결과다.