Son nom provient du Concertgebouw d'Amsterdam, le bâtiment (réputé pour son acoustique) où il donne la plupart de ses concerts. Son titre « royal » lui a été conféré par la reine Beatrix en 1988. Aujourd'hui, l'orchestre est sous le patronage de la princesse royale Máxima, épouse du prince héritier Willem-Alexander des Pays-Bas.
Le Concertgebouw est inauguré le 11 avril 1888 mais ce n'est que quelques mois plus tard que l'orchestre du même nom est fondé. Son premier concert a lieu le 3 novembre 1888, l'orchestre étant alors dirigé par Willem Kes.
Sept ans plus tard, c'est Willem Mengelberg qui en devient le principal chef d'orchestre. Il reste à sa tête jusqu'en 1945, soit durant cinquante ans, un laps de temps assez inhabituel pour un directeur musical (deux autres exemples célèbres sont Evgeni Mravinski à l'Orchestre philharmonique de Leningrad et Eugene Ormandy à l'Orchestre de Philadelphie). Mengelberg est généralement considéré comme le chef ayant donné à l'orchestre sa carrure internationale. Durant son « règne », on compte parmi les invités de l'orchestre les noms prestigieux de Richard Strauss, Gustav Mahler, Claude Debussy, Igor Stravinski, Bela Bartok, Serge Rachmaninov, Serge Prokofiev.
En 1945, c'est Eduard van Beinum qui succède à Mengelberg. Après son décès subit en 1959, Bernard Haitink et Eugen Jochum se partagent la direction, le premier restant le chef principal jusqu'en 1988. À partir de cette date, et jusqu'en 2004, Riccardo Chailly devient le chef principal de l'orchestre (le premier à ne pas être néerlandais). Depuis 2004, c'est le chef letton Mariss Jansons qui le remplace à ce poste.
Les œuvres du romantisme tardif font partie du répertoire de prédilection de l'Orchestre royal du Concertgebouw. Ses interprétations de Mahler, Bruckner et Strauss font particulièrement référence. L'orchestre est régulièrement cité comme l'un des meilleurs du monde. Sa sonorité soyeuse, sa transparence, la chaleur et la beauté de ses pupitres, l'ampleur des ses grands tutti en ont fait un orchestre de légende, comparable dans sa perfection et sa "signature sonore" aux Philharmonique de Vienne et de Berlin.
