신용일 서울대 교수(물리천문학부)는 자신을 ‘양자(quantum)기체’ 연구자라고 말했다. 지난 11월 24일 서울대 연구실로 찾아가서 들은 양자기체라는 용어는 생소했다. 신 교수는 “양자기체 분야는 20년 전쯤 생겼다. 원자들의 움직임을 조절해서 재밌는 물리 현상을 연구하려는 게 목적이다”라고 말했다.

연구실이 있는 서울대 56동 4층에서 실험실이 있는 23동으로 갔다. 신 교수의 인터뷰 사진을 먼저 찍기 위해서였다. 두 건물이 통로로 연결돼 있었는데, 신용일 교수 실험실에는 레이저 발생장치와 극저온 원자기체 생성장치들이 보였다. “진공 체임버 안에 기체 상태의 원자들을 뿌린다. 기체를 아주 낮은 온도로 냉각시켜 기체의 성질, 즉 물성을 연구한다.” 사용하는 기체 원자는 소듐(나트륨), 이터븀(Yb), 리튬, 루비듐이라고 한다. 사진을 찍고 연구실로 돌아왔다.

신 교수는 서울대 물리학과 1995학번, 40대 중반의 나이다. 그는 양자기체 분야와 관련 “원자물리학의 히스토리를 말하면 좀 이해가 빠를 것 같다”라며 원자가 내놓는 고유한 빛의 특성을 이해하게 된 게 양자역학의 출발점이라고 설명했다. 원자마다 고유한 빛을 내놓는 이유는, 알고 보니 핵 주변에 있는 전자가 특별한 에너지만을 가질 수 있다는 것과 관련 있었다. 고전 역학(뉴턴 역학)에 따르면 전자는 모든 에너지 준위(level)를 가져야 하나, 양자 세계를 들여다보니 그렇지 않았다. 전자의 에너지 상태는 불연속적이고 이산적이었고, 한 에너지 상태에서 다른 에너지 상태로 변할 때 고유한 빛을 내놓았다. 신 교수는 “원자들이 그런 에너지 상태로 존재한다는 걸 알게 되니, 그런 상태를 이용하고 싶어졌다. 원자 내부 상태를 통제하는 기술이 발전했다. 레이저가 대표적이다”라고 말했다.

원자의 움직임을 0으로 통제하라

신 교수는 이어 “물리학자는 원자 내부 말고, 원자의 외부 움직임을 조정하고 싶어 하게 되었다. 그게 양자기체 물리학의 시작”이라고 말했다. 공기는 가만히 있는 것처럼 보이나, 그렇지 않다. 공기 속 원자들은 빠른 속도로 운동한다. 연구실 내의 온도라면 공기 속 원자의 이동속도는 초당 300m일 것이라고 했다. 이런 원자의 움직임을 0으로 통제하려고 물리학자는 달려들었다.

원자의 운동속도를 떨어뜨리는 첫 번째 방법은 ‘레이저냉각’이다. 빛은 광자의 다발이다. 원자에 빛을 쪼이면 그만큼 에너지와 운동량이 늘어난다. 날아오는 축구공을 두 손으로 받으면 몸이 뒤로 밀려나는 것과 같다. 그런 원리를 이용해 광자 다발로 원자 움직임을 제어한다. 원자가 움직이는 방향의 반대편에서 빛을 쏘아 원자의 운동속도를 낮춘다. 온도라는 건 공기 속 입자들의 평균 속도라고 중·고등학교 시절 배웠다. 이 평균 운동속도를 내리는 게 바로 ‘냉각’이고, 빛을 쏘아 냉각시키는 게 ‘레이저냉각’이다. 레이저냉각법은 1997년 노벨상(스티븐 추, 클로드 코앙타누지, 윌리엄 D 필립스)을 받았다. 레이저로 입자의 운동속도를 초당 몇 ㎝까지 낮췄다. 온도로 하면 절대온도 수백 마이크로(10-6) 캘빈이다. 절대온도 수백 마이크로 캘빈이라는 말을 들었을 때 몇 도에 해당하는 것인지 언뜻 감이 오지 않았다. 신 교수는 절대온도 0도에 아주아주 근접한 것이라고 했다. 절대온도 0도라면 물체가 아무런 에너지를 갖고 있지 않아, 움직임이 완전히 멈춘 것이라고 알고 있다. 실험실에서 이렇게까지 구현할 수 있다는 데 놀랐다.

레이저로 온도를 내리는 데는 한계가 있다. 추가로 나온 게 ‘증발냉각법’이다. 신 교수에 따르면, 진공 체임버에서 먼저 레이저로 원자기체를 냉각시킨 후, 이를 벽에 닿지 않도록 공중에 띄워 놓는다. 기체를 자기장 혹은 레이저 빔으로 잡아둔다. 트랩 내 기체의 이동속도는 1초에 수㎝. 트랩 속의 기체 중에는 움직임이 빠른 원자와 느린 원자가 섞여 있다. 이 중 움직임이 빠른 원자를 트랩 밖으로 내보내면 된다. 이를 위해서는 트랩의 기체를 꽉 잡고 있는 강도(depth)를 조금 낮춘다. 강도보다 에너지가 작아야 잡혀 있는데, 이것보다 움직임이 훨씬 빠르면 트랩 밖으로 나간다. 움직임이 빠른 원자가 빠져나갔기에 원자들의 평균 운동속도가 내려간다. 평균 속도가 떨어졌다는 건 온도가 내려갔다는 것이다. 온도를 추가로 내리는 데 성공한 것이다. 이 과정에서 기체의 전체 원자 수는 줄어들었다. ‘증발’했기 때문이다. 그래서 이 냉각법을 ‘증발냉각법’이라고 한다.

온도를 1000~1만배 내리는 증발냉각법

“증발냉각법을 쓰면 온도가 1000~1만배 떨어진다. 온도가 심지어는 1나노(10-9) 캘빈까지 내려간다. 원자기체의 새로운 성질이 나타난다. 이 성질을 연구하는 게 양자기체 물리학이다.”

증발냉각법은 1995년 미국 콜로라도대학의 에릭 코넬과 칼 와이먼, 그리고 MIT의 볼프강 케털리가 찾아냈다. 이들은 이 공로로 2001년 노벨물리학상을 받았다. “냉각하다 보면 어느 순간에 물질의 성질이 확 바뀌는 상(相)전이가 나타난다. 이 상전이를 ‘보스-아인슈타인 응축(BEC)’이라고 한다.”

보스-아인슈타인 응축은 1927년 사티엔드라 보스와 알베르트 아인슈타인이 이론적으로 그 존재를 예측한 바 있다. 자연계의 모든 입자는 보손과 페르미온으로 구분된다. 페르미온(예, 전자)은 같은 에너지 상태에 같은 종류의 입자 여러 개를 집어넣을 수 없다. 반면에 보손(예, 광자)은 같은 에너지 상태에 여러 개를 집어넣을 수 있다. 절대온도 0도에 가까운 온도에서 보손 입자들은 보스-아인슈타인 응축 현상을 보이면서 같은 에너지 상태에 많은 수의 입자들이 함께 존재하게 된다. 이렇게 되면 보손 입자들 사이에서 양자 중첩 현상이 일어나는 등 완전히 물질의 성질이 달라진다.

신 교수는 “접근할 수 없는 물리 영역이 열릴 때마다 새로운 물리 현상이 출현한다. 특히 사람들에게 즐거움과 호기심을 가져온 방향이 온도를 낮추는 것이었다”라고 말했다.

양자기체의 배경에 관한 짧지 않은 설명이 끝났다. 이제 신용일 교수의 연구 이야기를 들어볼 시간이다. 신 교수는 “나노캘빈이라는 아주아주 낮은 온도에서 물질의 특별한 성질을 연구하는 사람, 이 정도가 나를 설명하는 데 어울리지 않을까 싶다. ‘뭘 연구하느냐’고 물어오면, 나는 ‘초유체를 연구한다’라고 말한다. 초유체에 관심이 많다”라고 말했다.

에너지 손실 없이 전기 보내는 꿈의 기술

신용일 교수는 “초유체는 저온에서 발견된 놀라운 물리 현상 중 하나다. 이게 흥미로운 이유는 우선은 초유체 현상의 이해다. 두 번째는 새로운 초유체 발견이다. 세 번째는 꿈과 같은 이야기이지만, 초전도가 발생하는 온도를 월등히 올려 상온 초전도체를 구현할 수 있느냐 하는 것이다. 초유체의 한 종류인 초전도체는 전기 저항이 없다. 그러니 에너지 손실 없이 전기를 보낼 수 있다. 발전소에서 도시까지 오는 데 손실이 없다면, 그건 꿈의 기술이다”라고 말했다.

마찰 없이 흐르는 액체가 초유체다. 보스-아인슈타인 응축이 갖고 있는 독특한 성질이기도 하다. “초유체에 대한 물리학적 이해가 많이 됐으나 질문이 아직 많다”라고 그는 말했다. “초유체와 초전도체의 물성을 이해하려는 노력은 거의 같다. 초전도체는 고체 내에서 전기가 저항 없이 흐른다. 고체 내 전자가 초유체가 되는 것이다. 영하 70도에서 초전도체가 되는 물질이 1980년대에 발견됐다. 35년이 지난 지금도 이 초전도성이 왜 나타나는지에 대한 물리적 이해가 명확하지 않다. 워낙 복잡한 다체계(many-body) 양자 문제이다. 쉽게 풀리지 않는다.”

초전도성이 나타나는 이유와 관련한 이론가의 추측은 많다. 하지만 실험을 해서 그 이론들을 검증해야 한다. 신 교수는 “나는 그런 흐름 속에서 초유체 연구로 조금씩 기여해왔다”라고만 말했다.

신용일 교수가 양자기체 연구의 길을 걷게 된 건 대학 1학년 때인 1995년 ‘피직스투데이’라는 잡지를 본 게 출발점이다. 그해 보스-아인슈타인 응축 현상이 일어난다는 게 발견됐다. 앞에서 말한 세 사람이 해냈다. 그는 학부를 졸업하고 미국 MIT로 유학 갔다. 보스-아인슈타인 응축 연구를 하는 곳이 당시 세계에 두세 곳밖에 없었다. MIT가 그중의 한 곳이었다. 지도교수인 볼프강 케털리는 그가 박사과정 1년 차인 2001년에 노벨상을 받게 된다.

신 교수는 박사 공부를 할 때 보스-아인슈타인 응축 현상이 곧 ‘원자 레이저’라는 아이디어를 갖고 ‘원자간섭계’를 만들어 보였다. 이게 무슨 말인지는 캐묻지 않았다. 그는 “원자간섭계를 개발하는 연구를 통해 양자기체 실험 연구에 입문했다”라고 설명했다. 박사후연구원 시절도 MIT에서 보냈다. 2009년까지 3년을 보스턴에서 더 살았다. 당시 연구에 대해 신 교수는 ‘강하게 상호작용하는 페르미온 기체의 초유체성 연구’라고 표현했다. 신 교수는 “네이처와 PRL(피지컬 리뷰 레터스·최고의 물리학 학술지)에 논문 몇 편을 썼다”라고 말했다.

“당시 페르미온 기체 연구는 전자의 움직임 연구와 연결된다. 전자의 물리량에 스핀(회전)이라고 있다. 스핀 방향은 ‘위’ 혹은 ‘아래’다. 이 스핀 두 개가 묶여서 보손 입자처럼 행동하면 보스-아인슈타인 응축 상태가 된다. 그러면 초유체성이 생긴다. 이를 연구하기 위해 사람들이 페르미온 기체를 만들었다. 내가 박사후과정에서 한 일은 두 개의 페르미온이 상호작용을 해서 초전도성이 생기는데, 이걸 자연이 허락하는 최고의 세기로 만든 것이다. 그런 영역을 ‘Unitarity’라고 한다. 한국말로는 어떻게 표현하는지 모르겠다. 이 같은 일을 통해, 어떤 온도와 밀도에서 초유체성이 있는지 없는지를 보여주는 상 그림(phase diagram)을 그렸다. 정량적으로 어떻게 되는지를 보였다.”

신용일 교수는 3년간의 MIT 박사후연구원 생활을 마치고 2009년 서울대에 왔다. 해외학자초빙 프로그램(WCU)으로 초빙교수로 일하기 시작했다. 그리고 2년 후인 2011년 조교수로 임용되었다. 교수가 된 뒤에는 특히 ‘2차원 초유체성’ 연구를 했다.

신 교수에 따르면, 2차원은 한쪽 방향의 움직임이 제한되어 있는 납작한 시스템이다. 납작한 시스템에서는 보스-아인슈타인 응축 현상이 없다고 알려져 있다. 그런데 2차원 물질 중에 초유체성을 보이는 게 있다. 2차원 구조란 층(layer)들로 겹겹이 이뤄진 구조를 말한다. 높은 온도에서 초전도 현상을 보이는 물질들은 이러한 층 구조를 갖는 것이 대부분이다. 2차원이 중요한 역할을 했을 것으로 추정된다. 신 교수는 “차원이 낮아질수록 양자 요동이 심해진다. 차원이 낮을수록 우리 상식에서 어긋난다고 얘기할 수도 있다. 2차원이 다루기 어려우나 물리학적으로는 흥미롭다. 실험가들은 2차원에서 놀면 예상치 못한 발견을 할 수 있다는 얘기들을 한다”라고 말했다.

그는 이어 “2차원 물질의 초유체성 발현에 관한 이해가 충분치 않다. 양자기체 실험에서는 기체를 만들어놓고 한쪽 방향으로 누를 수 있다. 2차원 물질을 만드는 데 장점을 갖고 있다고 말할 수 있다. 여기에 추가해 스핀 자유도를 더 집어넣으면 새로운 초유체성이 나타날 것이라는 이론가의 예측이 있다. 이런 걸 실험으로 살피고 있다. 유럽과 일본의 이론가와 협업하고 있다”라고 말했다.

서울대에 온 지는 10년이 되었다. 신 교수는 지난 10년의 연구와 관련 이렇게 말했다. “사람들이 있을 것 같다고 하는 물질 상태를 규명하지는 못했다. 그렇지만 연구 과정에서 그 물질 상태에서 나타나야 한다고 하는 위상체(topological object)를 발견했다. 그런 질서가 있을 때 나타나야 한다는 시스템의 흥분 상태들이 있다. 흥분 상태를 실험으로 명확히 관측하는 실험 결과를 최근 4~5년간 만들어냈다. 예견됐던 물질 상태가 있을 것 같다는 심증이 강해지고 있다. 존재 유무를 결정적으로 알아내기 위한 실험을 현재 디자인하고 있다.”

연구의 어려움에 대해서는 “시료를 정확한 상태, 조건에 갖다 놓는 것이 어렵다”라고 신 교수는 말했다. “온도를 낮추는 것도 어마어마한 도전이다. 취약한 시료를 갖다 놓고 물성을 측정하는 게 쉽지 않다. 시료를 아주 고른 자기장에 놓아야 한다. 약간의 기울기, 휘어짐이 있으면 양자기체 시료의 상태가 깨진다. 자기장을 고르게 유지하기가 어렵다. 지구자기장의 영향도 있고, 실험실 내 주변에 있는 철제 의자의 영향을 받을 수도 있다. 시료로 쓰고 있는 소듐(나트륨) 원자기체의 크기는 대략 500마이크로미터×500마이크로미터다.”

신 교수에 따르면 이론가는 이런저런 환경에서 기대하는 효과가 나타날 것이라고 쉽게 말한다. 하지만 실험가는 이를 구현하는 데 무지막지한 어려움을 겪는다. 그는 실험물리학자가 시료의 온도를 절대온도 1나노 캘빈으로 내리는 데 40년이 걸렸다고 했다. 실험실에서 때로 자기장 편평도를 만들어내는 것도 수년에서 수십 년이 걸릴 수도 있다.

또 시료를 진공 체임버 내 트랩에 잘 놓았으나, 시료의 온도가 올라가 금세 증발될 수도 있다. 시료의 수명(lifetime)은 불과 몇십 초이다. 시료는 시간이 경과하면서 점점 양이 줄어든다. 그러니 정해진 시료의 수명 안에 실험 조건에 도달할 수 있느냐가 중요하다.

“연구를 정말 잘하는 교수”

신용일 교수는 그간에 했던 연구 중 주목받은 것이 무엇이냐는 질문에 대해 “소소하게 이것저것 했다. 2차원 초유체 말고 난류(turbulance) 연구를 한 게 있다”라고 했다. 물은 흐르는 중 난류를 만들어낸다. 난류 문제는 고전적인 유체에서 많이 연구했다. 점성, 즉 끈끈함이 그 원인으로 알려져 있다. 나비에-스톡스 방정식은 난류를 계산하기 위한 것이나, 완전히 풀리지는 않았다. 신 교수는 “초유체는 점성이 없다. 점성이 없는 유체에서는 어떤 난류가 생길 것인가, 난류가 없는 것인가 하는 게 문제의식이다. 2차원 초유체 연구를 하다가 파생 연구로 했다”라고 말했다. 신 교수가 이미지 하나를 보여줬다. ‘칼만 와류’라는 이미지라고 했다. 바다의 섬 위를 지나가는 구름이 섬을 지난 뒤 어떤 소용돌이를 만들어내는지를 보여준다. 신 교수는 “점성과 섬의 크기, 바람세기로 칼만 와류를 설명할 수 있다. 나는 초유체에서도 이런 현상이 일어난다는 걸 보였다”라고 말했다. 연구 결과는 2016년 PRL에 실렸다.

“난류, 즉 소용돌이는 난제 중의 하나이다. 비행기 공학에서도 비행기 뒤편의 난류에 따라 엔진 효율이 달라진다. 골프공에 딤플을 만드는 것도 공 뒤의 난류를 줄여 비거리를 늘리려는 것이다. 그러나 유체역학을 수학으로 잘 설명하지 못한다. 시뮬레이션으로 확인할 뿐이다. 점성은 고전유체역학에서 나타난다. 그런데 내가 연구해 보니, 점성이 없는 초유체도 고전유체처럼 행동한다. 이는 양자역학과 고전역학을 연결하는 뭔가가 있을 것임을 시사하는 것이다. 두 개의 물리학 사이에 또 다른 연결성이 보인다. 새로운 연구 방향의 실마리를 제시한 것으로 본다. 서울대에서 일하며 기억에 가장 남는 연구다.”

신 교수는 “그간 재밌는 연구를 했다. 하나에 집중하지 못했다. 연구 토픽을 다듬어야겠다”라고 했다. 그는 또 “혼자 연구를 많이 했다. 외연성을 넓혀야겠다”라고 말했다. 신 교수에 대해 “연구를 정말 잘한다”라고 얘기하는 학자가 있었다. 신 교수가 들려주는 연구 얘기만을 들어서는 그가 얼마나 잘하는지, 잘 가늠할 수 없었다. 그건 신 교수가 바라보는 세계가 넓기 때문이 아닐까 하고 생각했다. 40대 중반이니, 앞으로 멀리 날아가지 않을까 싶다.