Mit zehn Jahren gab er sein erstes Konzert als Pianist, lernte an der Juilliard School in New York und debütierte mit 18 Jahren als Dirigent.  1973 wurde James Levine zum Chefdirigenten der Metropolitan Opera New York ernannt, dieses Amt bekleidete er mehr als vier Jahrzehnte und dirigierte dort über 2.500 Aufführungen mit 85 verschiedenen Opern. Er machte die Metropolitan Opera zu einem der bekanntesten Opernhäuser der Welt – auch durch die Fernsehübertragungen „Live from the Met“.

Bei den Bayreuther Festspielen trat er fast jedes Jahr von 1982 bis 1998 auf und leitete hoch gelobte Aufführungen von Wagners „Parsifal“. Seine Deutung des vierteiligen Opernzyklus „Der Ring des Nibelungen“ war so außerordentlich, dass die Produktion seinerzeit als „Levine-Ring“ in die Festspielgeschichte einging. Geradezu narkotische Wirkung habe Levines musikalisches Konzept, schrieb damals das deutsche Wochenmagazin „Die Zeit“.  Auch bei den Wiener Philharmonikern und bei den Salzburger Festspielen war er regelmäßig zu Gast.