Steinberg était très admiré pour sa grande musicalité; l'étendue de son répertoire, qui comprenait beaucoup de musique contemporaine; la clarté et la précision de sa technique; son humour et sa cordialité de fumeur de pipe; et sa façon de nouer des relation respectueuses et solides avec les musiciens.
Steinberg dirigea les Septième et Huitième Symphonies de Beethoven ainsi que la Symphonie n°55 de Haydn à la tête de l'orchestre de Boston à plusieurs reprises. En regardant cet extrait au Symphony Hall, on est frappé par l'interprétation soignée et naturelle, dépourvue de perte d'intensité ou d'excitation. Steinberg n'est pas un manipulateur, et bien que sa technique soit minimaliste, le résultat sonore est riche et détaillé. En outre, il a un instinct d'acteur : chaque mouvement qu'il fait, chaque geste et chaque regard a du caractère et est expressif. Il sourit quand un détail tombe parfaitement en place.
Dans le trio de Scherzo, au merveilleux balancement, il utilise ses coudes autant que sa baguette pour faire passer l'idée : on a ainsi l'impression qu'il est à cheval et se sert des rênes pour guider la musique. Le final est rapide et enivrant, mais jamais dur ou forcé. Steinberg semble avoir un gyroscope intérieur et rien ne fait perdre l'équilibre au chef ou à l'orchestre.
Le Boston Symphony est une grosse machine, mais Steinberg sait la manier à sa guise ; il réussit à négocier les nombreux changements et contrastes de tempo sans faire d'embardée.
