삼각 함수의 급수(級數) 연구에서 집합 개념의 기초를 확립하고, 또 무한 집합을 분석하여 고전 집합론을 창시하였다. 칸토어는 무한을 분류했을 뿐 아니라, 분류한 것끼리 셈을 하기도 했다. 이 작업에서 논리적인 모순을 확실하게 발견할 수는 없었지만 그 결과는 그때까지의 일반적인 상식으로는 받아들이기 힘든 것이었다.

시간이 지난 다음에 보면, 기존 학설을 뒤집는다는 것이 별로 어려운 일이 아니고, 오히려 그 당시의 기존 학설을 고수한 사람의 완고함이 바보스럽게 느껴지기도 한다. 그러나 피타고라스가 살던 시대에 '정사각형의 대각선의 길이를 한 변의 길이의 비로 표현할 수 없다.'라는 주장을 한다거나, 갈릴레이가 살던 시대에 '지구가 돈다'라는 주장을 하는 것은 목숨이 위태로운 일이었다.

현대 사회에서는 목숨을 잃는 일은 없겠지만, 학문적으로 엉뚱한 주장을 했다가는 쏟아지는 반론은 물론이고, 그 이론을 받아들이기를 거부하는 사람들의 멸시와 조롱까지 각오해야 한다. 그래서 기존의 관념과 반대되는 이론을 발표할 때에는 대단한 용기가 필요하다. 그러나 역사적으로 볼 때 혁명적이고 강인한 사람들만 그런 착상을 하는 것은 아니다.

19세기에서 20세기로 넘어오는 자연과학의 변혁기에 물리학과 수학은 공통적으로 '밑바닥의 붕괴'라는 과정을 겪는다. 물리학에서 막스 플랑크의 양자론이 기존의 물질과 에너지 개념을 붕괴시킨 것이라면, 수학에서 게오르그 칸토어의 집합론은 수학이라는 학문의 개념을 완전히 바꾸는 역할을 했다고 할 수 있다. 그

런데 양자론을 발표한 물리학자 플랑크는 보수적이라는 말이 어울릴 만한 사람이었고, 이번 글에서 다룰 칸토어는 불행하게도 강인함과는 거리가 있는 인물이었다. 게다가 칸토어는 집합론이라는 혁명적인 이론을 발표한 대가로 정신병원에서 생을 마감해야만 했다.

게오르그 페르디난트 루드비히 필립 칸토어(Georg Ferdinand Ludwig Philip Cantor)라는 긴 이름을 가진 이 수학자는 1845년 3월 3일에 러시아의 페테스부르그에서 태어났다. 아버지는 부유한 상인이었고 어머니는 예술적인 사람이었으며, 두 사람 모두 순수한 유태인이었다.
 
아버지는 덴마크의 코펜하겐에서 태어나서 젊을 때부터 러시아의 페테스부르그에서 살았고, 칸토어가 청소년이 되는 1856년에는 독일의 프랑크푸르트에 이주해서 살았다. 칸토어의 아버지는 신교로 개종한 사람이었고, 어머니는 태어날 때부터 구교도인이었다.

칸토어는 중세 신학과 연속성 및 무한대에 대한 증세 신학의 난해한 주장에 깊은 관심을 가졌는데 아마 그가 수학자가 되지 않았더라면, 철학이나 신학에서 업적을 남겼을 지도 모르겠다. 칸토어는 청소년기에 수학에 대한 굉장한 재능과 열성을 인정받고, 자신도 수학자가 될 결심을 하고 있었다.

그러나 현실적인 아버지는 아들이 수학적인 능력이 있음을 인정하면서도 장래 직업으로 더욱 유망한 공학 방면의 직업을 가지게 하려고 완고하게 노력했다. 착한 맏아들이었던 15세 소년 칸토어는 최소한 겉으로는 수학자의 길을 포기하고 아버지의 말을 따르기로 했다.

이처럼 권위 있는 사람에게 쉽게 복종하는 태도가 훗날 집합론의 발표 때문에 벌어지는 시련을 겪으면서 더욱 그 자신을 힘들게 하는 원인이 되었는지도 모른다. 어쨌든, 뒤늦게나마 칸토어의 아버지는 자신의 잘못을 깨닫고, 아들이 김나지움을 졸업할 때쯤 수학자의 길을 갈 것을 허락한다.

대학에서 칸토어의 연구는 주로 그 당시의 관심사인 수론에 관한 것이었는데, 이와 관련된 주제로 논문을 쓰고, 1867년에 베를린 대학에서 박사학위를 받았다. 훌륭한 논문이긴 했지만, 훗날 집합론의 창시자가 되리라는 어떠한 암시도 주지 않는 평범한 논문이었다.

집합론 발표 이전의 칸토어의 연구는 주로 수론에 집중되어 있는데, 특히 삼각함수(푸리에 급수) 이론에 관심을 가졌던 것 같다. 이 삼각함수 이론을 연구하기 위해서는 필연적으로 무한급수의 수렴에 관한 문제와 만나게 되는데, 여기에서 칸토어는 연속, 극한, 수렴 등의 밑바닥에 놓여 있는 '무한 그 자체'에 관심을 가지게 된다.

집합론
1874년 칸토어에게는 아주 중요한 세 가지 사건이 있었다. 그 첫 번째는 칸토어가 발리 쿠트만이라는 여성과 결혼을 한 것이었고, 두 번째는 신혼 기간을 보내면서 평생의 동지인 데데킨트와 자주 만나며 친하게 된 것이다.

그리고 세 번째는 그의 일생일대의 업적이자, 수학이라는 학문을 새로운 낙원으로 이끈 집합론에 관한 논문을 발표한 것이다. 칸토어는 이 논문에서 모든 대수적 수의 집합에 관련된 예상하지 못했던 역설적인 결과를 제시했는데 그 내용과 방법이 완전히 새로운 것이어서, 이 젊은 저자는 곧바로 놀라운 독창성을 가진 수학자로서 두각을 나타내게 되었다.

상시적으로 생각한다면, 그는 유명한 대학의 교수로 초빙되어 새로운 분야의 개척자로 자신의 학파를 거느린 대가로 성장해야 할 것이다. 그러나 실제로는 집합론의 발표로 인해서 많은 학문적인 적들을 상대해야만 했고, 그 과정을 이겨내지 못하고 끝내 정신병원에서 생을 마감하게 된다.

칸토어의 집합론이 심하게 공격받은 이유는 무엇보다 집합론에서 그때까지 금기시 되어오던 무한에 대해 본격적으로 다루었다는 점이 가장 큰 이유였다. 칸토어 이전의 무한은 ∞로 표시되는 한 가지 무한뿐이었다. 이것은 유한이 아닌 상태를 표시하는 하나의 기호로 이해되었고, 수학자들 사이에 무한을 하나의 실체로 다루기 시작하면, 뭔가 기분 나쁜 일이 벌어진다는 사실은 '제논의 역설'이 등장하는 아리스토텔레스 시대부터였다.

그리고 18세기 수학의 최대 업적 중 하나인 무한급수도 수렴하지 않는 경우-한쪽이 ∞인 경우-에는 사용할 수 없다는 것을 알고 있었다. 이렇게 무한이라는 존재가 있는 곳에서는 예기치 못한 오류가 발생하기에 대부분의 수학자들은 ∞라는 기호 속에 유한이 아닌 모든 존재를 쓸어 담아 놓고는 가능한 한 쳐다보지 않았다.

그런데 칸토어는 무한을 분류했을 뿐 아니라, 분류한 것끼리 셈을 하기도 했다. 이 작업에서 논리적인 모순을 확실하게 발견할 수는 없었지만, 그 결과는 그때까지의 일반적인 상식으로는 받아들이기 힘든 것이었다. 게다가 칸토어가 사용한 증명방법이라는 것도 그때까지 수학자들이 사용하던 방법이 아닌 새로운 것이어서 수학자들의 반감이 더 심했다.

칸토어는 '두 집합 사이의 일대일 대응의 존재'의 유무로부터 어떤 집합의 기수(基數:cardinal number)를 정의했다. 예를 들어 '자연수 전체와 유리수 전체 사이에는 일대일 대응이 존재하므로, 유리수 전체의 집합의 기수는 자연수 전체의 집합의 기수인 보다 크다는 것을 보였는데, 여기에 그 유 명한 '대각선 증명'을 사용하였다.

이 증명 방법 자체도 비전통적이어서 수학자들이 별로 좋아하지 않았을 뿐 아니라 증명한 사실들 중에도 다음과 같이 받아들이기 힘든 것들이 있었다. 직선 상의 점의 수인 집합의 기수가 평면상의 점의 수인 집합의 기수와 같다.

애초에 칸토어는 직선보다는 평면 쪽이 더 많은 점을 포함하고 있을 거라고 예측했던 것 같다. 이 잘못된 예상 때문에 3년의 세월을 허비하고, 위와 같은 결론에 도달한 칸토어는 데데킨트에게 다음과 같은 편지를 썼다.

최근 귀형에게 알린 것은 나 자신에게도 너무나도 의외이고, 경애하는 귀형이 이다지도  오래 '확실히 그렇다'라고 회답을 주지 않기 때문에… 내가 말할 수 있는 것은 단지 한  마디, '나는 보았어도 믿지 않는다'. 창시자인 칸토어 본인도 쉽게 믿지 못했던 것을 집합론에 거부감을 가지고 있던 다른 수학자들이 어떤 식으로 받아 들였을지는 짐작이 갈 것이다.

시련
집합론의 발표 이후 그의 생활은 가시밭길이었다. 그는 베를린 대학의 교수가 되려는 희망을 가지고 있었지만, 죽을 때까지 이루지 못했다. 칸토어는 그의 스승이었던 크로네커나 후에 브로워로 대표되는 직관주의와는 대립되는 입장에 있었던 것이다. 직관주의는 이간 사유에 의해서 구성될 수 있는 것만을 수학적 존재자로 인정한다.

여기서 직관이라고 하는 것은 단순한 경험적인 직관을 그대로 의미하는 것이 아니고 논리적, 산술적인 사실을 직접적으로 또는 확실히 파악하는 것을 의미한다. 수를 비롯한 모든 수학적 대상은 그것을 구성하는 방법이 존재하는 경우에만 정의되었다고 간주한다.

즉, 유한한 단계에서 구성이 될 수 있어야 존재한다고 간주하는 것이다. 따라서 직관주의자의 입장에서는 무한번 어떤 방법을 되풀이하는 칸토어의 수학은 문제가 있다고 본 것이다. 칸토어의 정신 상태는 40세를 맞이하는 1884년부터 이상하게 되어 대학과 정신병원을 왕복하는 생활이 시작되었다.

선천적으로 신경이 약했던 탓도 있었겠지만, 온 신경을 집합론의 완성에 집중하면서 한편으로는 크로네커와 같은 최고 싸움꾼의 공격을 막아내느라 그의 신경이 많이 상했던 것 같다. 발작적인 우울 상태일 때는 자기 자신이 보잘것없이 생각되어 자기의 일이 올바르다는 것까지도 의심하게 되었다.

여기에는 권위에 쉽게 복종하는 태도를 지녔던 그의 성격도 어느 정도 작용했던 것 같다. 자타가 공인하는 수학계의 거물들을 비롯해서 대다수의 학자들이 그의 이론을 비난하는 가운데 그 이론을 계속 연구해 나간다는 것은 자기 확신과 정신적 강인함 없이는 불가능한 일이다.

그가 정신병과 싸우면서도 그나마 집합론을 완성해 나갈 수 있었던 것은 그의 일생의 동지인 데데킨트의 덕분이라고 할 수 있다. 데데킨트 자신도 19세기 후반기의 독일 수학계의 '지도적인 사람들'로부터 그다지 좋은 평판을 얻지 못했기에 학문적인 평판이 나쁜 칸토어를 동정하는 입장이었다.

게다가 나이도 연상이며 온화한 성격에 수학에 대한 감각과 지적 능력도 칸토어보다 나은 면이 있었던 데데킨트는 칸토어의 마음을 달래는 역할 뿐 아니라 학문적으로도 '칸토어의 집합론'에 많은 기여를 했다.

그가 시련을 겪고 있던 시기에 데데킨트에게 보낸 편지에 적은 다음과 같은 그가 집합론을 받아들이려고 하지 않던 당시의 대다수 수학자들에게 외치는 소리로 들린다. "수학의 본질은 그 자유성에 있다."

칸토어의 집합론이 수학계에 어떤 영향을 주었는지 다루다 보면, 다른 거물 수학자들-예를 들어 힐버트, 러셀, 브로워, 괴델-을 만나게 된다. 집합론이 수학 전체에 끼친 가장 중요한 영향은 재미있게도 집합론을 곤경에 몰아넣은 여러 가지 역설(paradox)과 관계가 있다.

마치 삼대 작도 불능 문제나 페르마 정리의 증명 같은 문제들이 그것의 해결 과정에서 더 빛나는 수학적 결과를 배출한 것과 마찬가지로, 집합론도 '연속체가설'과 같은 증명되지 않는 초난문과 집합론 자체를 곤경에 몰아넣은 골치 아픈 역설을 설명하려는 노력을 통해 더욱 값진 결과들을 만들어 냈다고 할 수 있다.

처음에는 '러셀의 역설'과 같은 역설들의 잇따른 출현이 집합론의 명백한 오류를 보여주는 것이라고 생각했다. 그러나 칸토어 이후의 뛰어난 수학자들은 이 역설을 이유로 집합론을 폐기 처분한 것이 아니라, 이런 역설들을 설명할 수 있는 새로운 수학의 밑바탕을 마련하기 위해서 노력했다.

이 과정에서 수학의 기초에 대한 '형식주의', '논리주의', '직관주의'의 세 학설의 불꽃 튀는 논쟁이 계속된다. 그리고 이 다툼은 '괴델의 불완전성의 정리'라는 이전의 상식을 뒤엎는 정리를 낳는다. 힐베르트의 말대로 칸토어 이후의 후배 수학자들은 '칸토어가 만들어준 수학자의 낙원'을 떠날 의사가 전혀 없었던 것이다.

수학의 기초를 둘러싸고 불꽃 튀는 논쟁이 벌어질 조짐이 보이던 1918년 1월 6일에 칸토어는 자기가 창조한 '수학자의 천국'을 후배 수학자들에게 남겨주고 할레의 정신병원에서 숨을 거둔다.

힘겨운 그의 청년기, 장년기와는 달리 만년에는 영예와 칭송이 그의 몫이 되었고, 크로네커가 죽기(1891년) 수 년 전에 크로네커와의 화해도 이루어졌다. 처음에 칸토어와 데데킨트만이 외로운 투쟁을 했던 집합론도 그 즈음에는 많은 지지자가 있었다. 그리고 칸토어의 업적이 수학 전체, 특히 해석학의 기초를 닦는 데에 근본적으로 공헌했다는 사실이 받아들여지게 되었다.

그는 수학자로서 첫걸음을 디딜 때도 순탄하지 못했고, 왕성한 활동기를 포함한 인생의 대부분을 불행하게 산 인물이지만, 죽을 때만큼은 누구 못지 않게 행복하게 죽은 학자라고 할 수 있을 것이다.