카네기멜론대학의 전신은 1905년 노동자계층 자녀들을 위해 직업훈련학교로 세워진 카네기공업학교(Carnegie Technical Schools)이다. 1900년 영국 출신의 철강왕 앤드루 카네기(Andrew Carnegie, 1835~1919)가 기부한 100만 달러와 피츠버그 시가 내놓은 토지를 기금으로 학교가 설립되었다. 1912년 피츠버그 시로부터 정식 인가를 받아 카네기공과대학(Carnegie Institute of Technology)으로 교명을 변경하고 4년제 대학이 되었다. 1967년 멜론연구소(Mellon Institute of Industrial Research)와 통합해 종합대학인 카네기멜론대학이 탄생했다. 줄여서 ‘CMU’라고 불린다.

2014년 현재 카네기 공대, 예술대, 인문사회과학대, H. 존 하인즈 III대(1968년 도시 및 공공정책대학으로 설립되었다), 멜론 과학대, 컴퓨터공대, 테퍼 경영대 등 7개 대학에서 학부 및 대학원 과정이 운영된다. 개설학과로는 화공과, 기계공학과, 건축학과, 예술학과, 경제학과, 철학과, 통계학과, 정보시스템학과, 예술경영학과, 공공정책·경영학과, 정보기술학과 등이 있다. 학제간연구를 위한 다수의 프로그램이 준비되어 있다. 학제간연구는 어떤 대상을 연구할 때 다양한 학문 분야를 아울러 교차 연구하는 방법이다.

카네기멜론대학은 법대와 의대를 개설하지 않은 대신 컴퓨터 및 심리학 분야에 집중 투자했다. 그 결과 공학, 컴퓨터공학, 심리학 분야는 미국 대학 가운데 최고 수준으로 인정받고 있다. 로봇연구 부문을 선도하고 있으며 창업교육으로 유명하다. 경영학, 금융공학, 행동경제학, 건축학 분야도 높은 평가를 받는다.

이 대학은 국제교류도 활발히 추진해 캘리포니아의 실리콘밸리(Silicon Valley: 미국의 서해안 도시 샌프란시스코에 인접한 계곡지대로 세계 소프트웨어 산업의 중심지이다), 카타르의 도하, 일본의 고베[神戶], 그리스의 아테네 등 곳곳에 분교를 운영하고 있다. 부속 시설 및 연구소로 도서관, 소프트웨어공학연구소, 로봇공학센터, 멜론연구소, 피츠버그슈퍼컴퓨팅센터, 휴먼컴퓨터인터랙션연구소, 언어기술연구소 등이 있다.

전체 학생 1만 2,493명 가운데 학부생 수는 6,203명이고, 대학원생 수는 6,290이다. 115개국 출신의 유학생이 차지하는 비중이 약 35%이다. 225개 이상의 학생 단체가 있다. 캠퍼스는 피츠버그 도심에서 5km 떨어진 곳에 있으며 면적은 0.57km2이다. 캠퍼스에는 20개동의 기숙사가 있다.

2014년 미국 시사주간지 <US뉴스&월드리포트>가 발표한 전미 종합대학순위에서 25위를 차지했다. 같은 해 영국 대학평가기관 QS(Quacquarelli Symonds)가 발표한 세계대학순위에서 65위에 이름을 올렸다. QS는 연구, 교육, 졸업생, 국제화의 4개 부문을 주요 지표로 세계대학을 평가한다. 그리고 중국 상하이자오퉁대학의 ARWU 세계대학순위에서 62위를 차지했다.

이 학교 졸업생과 교수 중에 노벨상을 수상한 사람이 21명이다. 이 학교 출신의 유명인사로는 1978년 노벨경제학상 수상자인 허버트 알렉산더 사이먼(Herbert Alexander Simon, 1916~2001), 1994년 노벨경제학상 수상자인 존 포브스 내시 주니어(John Forbes Nash Jr., 1928~), 자바 프로그래밍 언어 개발자인 제임스 고슬링(James Gosling, 1955~), 선마이크로시스템스 공동창업자인 앤디 벡톨샤임(Andy Bechtolsheim, 1955~), 팝아트의 선구자인 앤디 워홀(Andy Warhol, 1928~1987)이 있다. 서울대 경영대 학장을 지낸 안상형 교수, 서남표 전 카이스트 총장 등이 이 대학을 나왔다. 9만 5,000명의 졸업생이 세계 각지에서 활동하고 있다.