Harnoncourt est né à Berlin et a étudié la musique à Vienne. Il est le fils de Ladislaja Gräfin von Meran, Freiin von Brandhoven, petite-fille de l'Archiduc d'Autriche Johann de Styrie et fille du Comte de Meran et d'Eberhard de La Fontaine, comte d'Harnoncourt-Unverzagt. Il a eu deux enfants de son premier mariage. Deux ans après la naissance de Nikolaus, son frère Philipp Harnoncourt naît. La famille déménage à Graz, où le père a obtenu un doctorat et un poste dans le gouvernement (Landesregierung) de Styrie.
Nikolaus Harnoncourt a fondé le Concentus Musicus Wien avec sa femme, Alice Hoffelner, en 1953 alors qu'il joue du violoncelle avec l'Orchestre symphonique de Vienne. Ce groupe se dédiait à l'authentique performance sur instruments d'époque.
De fait, Nikolaus Harnoncourt et le Concentus Musicus Wien prennent place au premier rang des musiciens qui, par leurs travaux de recherche, leurs interprétations, leurs écrits, leur enseignement, ont initié, à partir des années soixante, une véritable révolution dans l'interprétation et dans la réception de la musique baroque européenne. Cette révolution a radicalement modifié notre compréhension et notre évaluation d'une grande partie de cette musique dont les productions couvrent le dix-septième et le dix-huitième siècles, et elle a exercé une grande influence sur notre culture musicale, notre sensibilité musicale et nos pratiques culturelles.
De nombreux enregistrements d'Harnoncourt et du Concentus Musicus Wien apparaissent aujourd'hui comme des références incontournables. Les Concertos Brandebourgeois (1964) et l'intégrale des Cantates de Bach, l'Orfeo (1968) et l'Incoronazione di Poppea (1974) de Monteverdi, Il Cimento dell'armonia e dell'inventione (1977) de Vivaldi, Belshazzar (1978), l'Ode à Sainte Cécile (1978), Alexander's Feast (1979), Jephtha (1979) de Haendel, comptent parmi les plus admirables fleurons d'une abondante et brillante discographie.
Il a plus tard travaillé avec beaucoup d'autres orchestres en utilisant des instruments modernes, mais veillant toujours à préserver une authenticité historique en termes de tempos, de dynamique musicale, etc. Il a également étendu légèrement son répertoire en continuant à jouer de la musique baroque, travail qui l'a rendu célèbre, mais aussi le répertoire d'opérettes viennoises. Récemment, il a effectué un réenregistrement des symphonies de Beethoven, avec le Chamber Orchestra of Europe.
En 1971, Harnoncourt et le chef Gustav Leonhardt ont débuté le projet d'enregistrer toutes les cantates de Johann Sebastian Bach. Le projet s'est terminé en 1990, et ce fut le premier et unique cycle complet de cantates (exceptées les nº 51 et 199) à utiliser des voix solistes et un chœur exclusivement masculin.
En 2001, une excellente critique et un Grammy Award sont venus récompenser l'enregistrement de la Passion selon Saint Matthieu de Bach dirigé par Harnoncourt.
En 2006, il reçoit ECHO KLASSIK award pour son enregistrement du Messie avec le Arnold Schoenberg Choir et le Concentus Musicus Vienna (82876640702 dhm/SONY Masterworks).
