Né en Allemagne, à Breslau (aujourdui Wroclav en Pologne) dans une famille d'intellectuels juifs professeurs d'universités. Études musicales au Conservatoire Hoch de Francfort, puis à Berlin avec Hans Pfitzner. Dès 1905, il se lie d'amitié avec Gustav Mahler qui le fait engager comme chef de l'Opéra Allemand de Prague en 1907 et le prend comme assistant pour la création de sa Symphonie n°8 " Des Mille " en 1910. Jusqu'en 1931, il dirige à Hambourg, Strasbourg, Cologne, Wiesbaden et Berlin, où il se fait le champion de nombreuses oeuvres contemporaines signées Janacek, Schönberg, Stravinsky et Paul Hindemith. Dès l'ascension au pouvoir d'Hitler, en 1933, iI quitte l'Allemagne nazie pour les USA et prend la direction musicale de l'Orchestre Philharmonique de Los Angeles où il approfondit son répertoire de Beethoven, Brahms et Mahler. Naturalisé américain en 1937, il s'adapte mal aux conditions de vie de la Californie, devient dépressif.
Opéré d'une inexistante tumeur au cerveau à la suite d'un diagnostique pour le moins malencontreux, il se retrouve partiellement paralytique. Ses comportements agressifs et désordonnés le rendent « indésirable » pour les orchestres américains. De retour en Europe après la Seconde Guerre mondiale, il dirige l'Opéra de Budapest de 1947 à 1950, ne supporte pas les réglementations communistes et préfère diriger, en invité, des orchestres comme le Symphonique de Montréal, le Concertgebouw d'Amsterdam ou le Philharmonia de Londres avec lequel il enregistre pour le label EMI, avec le célèbre impresario Walter Legge. Installé en Suisse, il travaille également pour le Royal Opera House de Covent Garden. À la suite d'une série d'accidents (fumant au lit, il est gravement brûlé après avoir tenté d'éteindre un début d'incendie avec un verre de whisky), sa paralysie s'accentue. Devenu citoyen d'Israël en 1970, il cesse de diriger l'année suivante et meurt à Zürich en 1973, à l'âge de quatre-vingt-huit ans.
