'국가가 필요로 하는 고급 과학기술 인력을 양성하고, 연구중심대학의 모델을 제공'하기 위해 1971년 서울 홍릉캠퍼스에 '한국과학원'으로 설립됐다. 한국 최초의 이공계 연구중심대학인 셈이다.

경제개발 계획에 의한 산업화를 뒷받침할 고급 과학기술인력을 양성하고, 고급 두뇌의 해외 유출을 막고, 또 인재를 배출할 체계적인 국내 이공계 대학원의 설립이 필요해지면서 KAIST가 세워진 것이다.

이후 1981년 정부출연연구기관인 한국과학기술연구원(KIST)과 통합돼 한국과학기술원(KAIST)이 됐고, 여러 기관과의 통합.분리 등을 통해 1989년 대전의 대덕캠퍼스로 이전한뒤 서울에는 분원을 두게 된다.

2003년 7월 기관장 명칭을 원장에서 총장으로 변경했고, 2008년부터 공식 명칭을 영문명인 'KAIST(카이스트)'로 변경했다. 현재 자연과학대학과 생명과학기술대학, 공과대학, 문화과학대학, 정보과학기술대학, 경영대학, 이노베이션학부 등 6개 단과대학과 1개 학부로 운영되며, 나노과학기술대학원과 의과학대학원, 문화기술대학원, 과학저널리즘대학원, 테크노경영대학원 등의 전문대학원이 개설돼 있다.

부설기관으로는 고등과학원과 나노종합팹센터, 한국과학영재학교가 있고, 부속기관으로는 사이버과학영재교육센터, 과학영재교육연구원, 온라인전기자동차사업단, 모바일하버사업단, EEWS기획단 등이 있다.

2011년 2월까지 모두 1만1천341명의 학사와 2만2천796명의 석사, 8천578명의 박사 등 4만2천715명의 졸업생을 배출했다. 현재는 1만500여명의 대학원.학부생이 공부하고 있다. 2004년 노벨물리학상 수상자인 로버트 러플린 교수가 총장으로 취임했으나, 교수들과의 마찰로 2년만에 중도하차했다.

이어 2006년 취임한 서남표 총장은 교수와 학생 사회에 일대 개혁의 회오리를 몰고 왔다. '철밥통' 정년을 보장해던 교수들의 테뉴어 제도를 손봤고, 전액 면제되던 학생들의 학비 제도를 뜯어고쳐 '징벌적 수업료' 제도를 마련했으며, 모든 과목을 100% 영어로 강의하도록 조치했다.

또 배터리 대신에 도로에 매설된 전기공급장치를 통해 전기를 공급받는 새로운 방식의 '온라인전기자동차(OLEV) 프로젝트'를 추진, 지난 연말 타임의 '2010년 세계 최고 발명품 50'에 이름을 올렸고, 항구를 건설하는 대신 항구가 바다에 떠 있는 선박을 찾아가 하역 작업을 하는 '움직이는 항구' 모바일하버(MH) 프로젝트를 추진해 주목을 받기도 했다. 그러나 가혹하리 만치 매서운 개혁 정책에 피로감을 느낀 학생들 사이에서 2011년 들어 네 명이나 스스로 목숨을 끊는 등 개혁에 대한 심각한 부작용이 나타나고 있다.