巴黎国立高等音乐学院是在“国民自卫军音乐学校”的基础上发展起来的。该校由贝尔纳.萨莱特（Bernard Sarrette）创建于1795年。 巴黎国立高等音乐学院录属于文化部，实行免费教育，学生只需交付登记注册费，注册费每年约150到300欧元，可申请奖学金。入学考试在每年的第一个学期进行。各学科都有年龄限制，最小10岁（和声、钢琴、竖琴、小提琴、大提琴和视唱练耳），最大30岁（预段结束后，不同学科的学生可以享受奖学金。每个阶段结束后，不同学科的学生得到的奖励不尽相同，有：考试合格证书，毕业证书，第一、二等奖，等等。）
巴黎国立音乐学院拥有一家乐器博物馆。该馆建于1864年。乐器藏品达3000多件。在此应该特别提到尚比尔公爵夫人（Genevieve Thibaul）在乐器的收集和介绍方面所起的作用。1961--1973年，她担任该馆馆长之职。
音乐学院的图书馆因藏有大量的手稿（如：莫扎特的《唐乔桥尼》，贝多芬《热情奏鸣曲》，比才的《卡门》以及柏辽兹、拉罗、夏布里埃和德彪西的大部分作品。）已成为当今世界上较好的图书馆之一。在阅览室，读者可查阅到几乎所有涉及音乐领域的书籍，如：法文或其他文种的总谱，音乐词典，百科全书，传记，等等。1911年马雷伯遗赠了大量总谱、亲笔书信以及各种手稿。自1964年马国家图书馆成立音乐部以后，音乐学院图书馆的大部分藏品都转至该部。该馆藏书量为100000册。
最后还需提一下建于1975年的唱片收藏室。该室配有欣赏室。至1980年，收有7000多张唱片，其中很大一部分是1975年平谢尔的遗赠品。该室已成为国家录音资料馆的一部分。
从学校成立之日起就开始任教并在国内外享有声誉的教师有：戈塞克，梅于尔、勒絮尔，柏辽兹，费蒂斯，克鲁采，马斯内，维多尔，吉尔芒，M.埃玛纽埃尔，H.比塞，P.杜卡斯，A.科尔托，CI.克鲁瓦兹，M.穆瓦兹，A.布律诺，M.迪普雷，罗兰-曼努埃尔，Ch.图尔内米尔，M.博菲斯，L.马夏尔，N.杜富尔克，L.拉斯基纳，O.梅西安及古典吉他大师，作曲家罗兰迪恩斯等，世界著名的钢琴演奏家理查德·克莱德曼，就是出自此校。
法国大革命以前，音乐教育一直是在隶属于各教堂教务会的儿童唱诗训练班、音乐学校或儿童唱诗班进行的。萨莱特原本计划在巴黎建立30所初级音无法学校和15所中级音乐学校以取代儿童唱诗训练班；另外再建几所高级进修学校和一所高等大学，而且，教育完全免费。然而到最后，只有这所高等大学如愿以偿地建成了。嗣后，在外省也建有类似的大学。
巴黎国立高等音乐学院曾几度更名，“国民自卫军免费学校”(1792),"国立音乐院"（1793），“全国音乐戏剧学院”（1795），在法国王朝复辟时期，成为“皇家音乐学校”，后又重用“全国音乐戏剧学院”之名（1822），直到后来取名为“国立高等音乐学院”。该校最初设在普瓦尼埃尔区的Menus-Plaisirs 旅馆，1911年迁至马德大街14号的一所古老耶稣教中学。 学校初建伊始，萨莱特周围有五位督学：梅于尔，格雷特里，戈塞克，勒絮尔和谢吕里尼。至1796年，学校男女生人数达600人，教师人数达115人。
学校从其创办至今，历任校长有12名。萨莱特（1796--1815）力求为各学科找到一种行之有效的教育方法。他为歌唱家设立了奖学金，同时还在该校建起了图书馆。弗朗索瓦.佩尔内（1815--1822）向图书馆捐赠了吉约姆.马肖比尼（1822--1842）经努力终被获准同意在每个班招收两名外国学生，并创建了“音乐学院音乐会联合会”。达尼埃尔.奥贝尔（1842--1871）是任期最长的校长。之后是昂布鲁瓦兹.托马（1871-1896）和泰奥多尔.杜布瓦（1896-1905）.加布里埃尔.富雷（1906-1920）开设了一个对位班，从此这门学科可以在作曲班里教授。亨利.拉博（1920-1941）为第八任校长。克洛德.德尔万古（1941-1954）于1943年创创办了“音乐学院少年管弦乐团”。该团后来成为巴黎最出色的管弦乐团之一。其继任者为马塞尔.迪普雷（1954-1956）。雷蒙.卢舍尔(1956-1962)在任期间，行政管理比艺术管理更加严格。雷蒙.加卢瓦-穆布伦（1962-1983）是位小提琴家兼作曲家，他对器乐各科的教学结构作了调整。1966年，他开办了一个进修班；1969年，又办了一个古典吉他班，聘请亚历山大.拉戈亚任教；1977年，还办了一个乐器法和配器法班，聘请马里斯.康斯坦执教。此外，在舞蹈教学方面，他也进行了改革。他要求学舞蹈的学生要同时学习视唱练耳和音乐史。继他之后又有马克.布勒兹（1983-1986）和阿兰.卢维埃（1986）两位校长。自1986年起，各种事务均由阿兰.邦卡尔负责。
