Mitte des 19. Jahrhunderts war Leipzig eine Musikstadt von herausragender Bedeutung. Der traditionsreiche Thomanerchor, das 1781 gegründete Gewandhausorchester, erfolgreiche Musikverlage und zahlreiche hier ansässige Komponisten, Virtuosen und Musikschriftsteller prägten das besondere musikkulturelle Klima der Stadt. Bereits seit den 1830er Jahren verfolgten verschiedene Persönlichkeiten die Idee, in Leipzig eine Ausbildungsstätte für Musiker zu gründen. Ihre Realisierung rückte in greifbare Nähe, als 1839 der Königlich Sächsische Oberhofgerichtsrat Heinrich Blümner König Friedrich August II. eine Summe von 20.000 Talern zur Förderung eines Instituts für Kunst oder Wissenschaft hinterließ. Auf Betreiben des damaligen Gewandhauskapellmeisters Felix Mendelssohn Bartholdy (1809-1847) konnte am 2. April 1843 das Leipziger Konservatorium der Musik als erste höhere Bildungsanstalt für Musiker im Gebiet des heutigen Deutschland eröffnet werden.
Mendelssohn gelang es, in den ersten Jahren renommierte Lehrer an das Konservatorium zu binden. Zu ihnen gehörten der Thomaskantor Moritz Hauptmann (1792-1868), der Organist Carl Ferdinand Becker (1804-1877), der Konzertmeister des Gewandhauses Ferdinand David (1810-1873), der Pianist Ignaz Moscheles (1794-1870) und für kurze Zeit auch der Komponist Robert Schumann (1810-1856). Die Einrichtung wurde schnell international bekannt. Studierende, Männer wie Frauen, kamen aus zahlreichen Ländern Europas und bald schon aus den USA. Besonders enge Beziehungen bestanden zu Großbritannien, wo Mendelssohns Name durch längere Konzertreisen wohl ausgewiesen war und auch Ignaz Moscheles mehrere Jahre gewirkt hatte. Einen besonders guten Ruf hatte das Konservatorium auch in Skandinavien. Der namhafteste norwegische Student ist Edvard Grieg, der von 1858-1862 in Leipzig studierte.
Für knapp vierzig Jahre war die Lehranstalt im Hofe des alten Gewandhauses untergebracht. Als 1885 das Gewandhausorchester einen neuen Konzertsaal im neu erschlossenen Musikviertel bezog, war dies Anlaß auch über ein eigenes Konservatoriumsgebäude nachzudenken. Dank einer Stiftung des 1884 verstorbenen Mediziners Justus Radius konnte 1887 das von Hugo Licht entworfene Gebäude in der Grassistraße eröffnet werden. Die erneute räumliche Nähe zwischen Gewandhaus und Konservatorium spiegelt die bis heute anhaltende enge Zusammenarbeit zwischen beiden Institutionen. Während in der Anfangszeit des Konservatoriums nur eine begrenzte Fächeranzahl angeboten werden konnte (Klavier, Violine, Orgel, Gesang, Musiktheorie), wurde im Laufe des 19. Jahrhunderts das Lehrspektrum auf die gängigen Orchesterinstrumente erweitert. Hinzu kamen eine Opern- und kurzzeitig eine Organistenschule.
Einen deutlichen Einschnitt in der Geschichte des Konservatoriums bildete der erste Weltkrieg. Die Studentenzahlen gingen drastisch zurück, das Haus verlor seine Internationalität. In den Zwischenkriegsjahren konnte sich die Einrichtung insbesondere aufgrund finanzieller Schwierigkeiten nur langsam erholen. Um die prekäre Lage aufzufangen, wurden Entlassungen notwendig. Zudem verkaufte man Teile der Bibliothek und vermietete das Gebäude regelmäßig als Musik-Meßhaus. Ein Lichtblick war 1921 die Gründung des Instituts für Kirchenmusik unter Karl Straube (1873-1950), ab 1926 Kirchenmusikalisches Institut der Evangelisch-lutherischen Landeskirche Sachsens. Die kirchlich angebundene Einrichtung setzte nachhaltige Impulse zur Ausbildung professioneller Kirchenmusiker. Ihre Absolventen prägten in den folgenden Jahren das kirchliche Musikleben in Deutschland. 1928 rief Kurt Thomas (1904-1973) eine Kantorei des Kirchenmusikalischen Instituts ins Leben, die sich durch eine umfangreiche Konzerttätigkeit und zahlreiche Rundfunkaufnahmen deutschlandweit einen Namen machen konnte.
Mit der Machtergreifung der Nationalsozialisten im Januar 1933 wurde das Leben am Konservatorium zunehmend ideologisiert. Mit Ausbruch des zweiten Weltkriegs kam der Studienalltag allmählich zum Erliegen. Im Februar 1944 trafen Bomben das inzwischen evakuierte Konservatoriumsgebäude und zerstörten unter anderem den prachtvollen Konzertsaal.
Am 1. Oktober 1946 wurde die „Staatliche Hochschule für Musik – Mendelssohn Akademie" wiedereröffnet. Nach einer ersten Phase des schrittweisen Wiederaufbaus gelang es ab den sechziger Jahren die Angebote auszuweiten. Besonderes Interesse galt der Förderung des Nachwuchses in speziellen Kinderklassen. Ferner entstanden neue Abteilungen wie "Tanz- und Unterhaltungsmusik“ (1969) und „Korrepetition“ (1974).
Nach der friedlichen Revolution im Herbst 1989 begannen erneut nachhaltige Umstrukturierungen und Veränderungen. Hierzu gehörte der Zusammenschluss mit der 1953 gegründeten Theaterhochschule „Hans Otto“ im Jahr 1992, durch die das Spektrum der Hochschule eine deutliche Erweiterung fand. Es folgten die Wiedereröffnung des "Kirchenmusikalischen Instituts" sowie die Einrichtung neuer Fachrichtungen wie "Alte Musik" und "Jazz- / Popularmusik / Musical". Im Jahr 2001 erhielt die Hochschule einen neuen Großen Saal, der 2004 vom Bund Deutscher Architekten Sachsen prämiert wurde. Hier findet eine Vielzahl an Hochschulveranstaltungen statt, unter anderem Sinfoniekonzerte, Operndarbietungen, Sprechtheatervorstellungen. Die Lehrbedingungen wurden durch das 2002 eröffnete weitere Hochschulgebäude am Dittrichring 21 nochmals deutlich verbessert. Neben Unterrichts- und Übräumen finden sich hier zusätzliche Probebühnen. Seit Herbst 2004 wird die Zusammenarbeit mit dem Gewandhausorchester durch eine gemeinsam betriebene Orchesterakademie weiter intensiviert.