Michel Béroff a commencé ses études de piano au Conservatoire de Nancy, dont il obtient le 1er prix de piano en 1962 puis le Prix d'excellence en 1963. Il intègre ensuite la classe d'Yvonne Loriod puis celle de Pierre Sancan au Conservatoire de Paris (CNSM). En 1966 il obtient le 1er prix du CNSM et se distingue une nouvelle fois l'année suivante en recevant le 1er prix du premier Concours International de Piano Olivier Messiaen à Royan en 1967.
Il devient l'un des plus importants interprètes du compositeur Olivier Messiaen. Son répertoire compte également de nombreuses œuvres de Beethoven, Bartók, Brahms, Debussy, Mozart, Moussorgski, Prokofiev, Schubert, Stravinsky et Schumann.
En 1967, il fait ses débuts en récital à Paris puis entame une brillante carrière l'amenant à collaborer avec de grands chefs d'orchestre : Claudio Abbado, Daniel Barenboim, Leonard Bernstein, Pierre Boulez, Charles Dutoit, Christoph Eschenbach, Kurt Masur, Seiji Ozawa, Andre Previn, Mstislav Rostropovich, Michael Tilson Thomas et d'autres. Il se produit également aux côtés d'interprètes tels que Pierre Amoyal, Martha Argerich, Jean-Philippe Collard, Augustin Dumay, Lynn Harrell et Barbara Hendricks.
Il se produit en concert dans de nombreux pays, en tournée au Japon, en Grande-Bretagne, en Espagne, en France, en Grèce, puis aux États-Unis, en Allemagne, en Hollande, en Suède, en Finlande, au Portugal, au Brésil et en Corée. En 2006 il est sollicité par le télévision japonais pour donner quinze master classes sur la musique française.
Michel Béroff a enregistré de nombreuses œuvres de Liszt, Prokofiev, Stravinsky, Bartók, Brahms, Debussy, Messiaen, Schumann et Schubert. Il est artiste exclusif depuis plus de vingt ans chez EMI, il enregistre aussi pour Deutsche Grammophon et Denon.
En plus de sa carrière de soliste, Michel Béroff est chef d'orchestre et enseigne la direction d'orchestre au CNSM depuis 1989. Il est également professeur à la Musikhochschule de Fribourg (Allemagne) depuis 1994.