Steinberg suscitaba mucha admiración por su gran musicalidad; la extensión de su repertorio, que incluía mucha música contemporánea; la claridad y precisión de su técnica; su humor y cordialidad como fumador de pipa; y su forma de establecer relaciones respetuosas y sólidas con los músicos.
Steinberg dirigió las Séptima y Octava Sinfonías de Beethoven y la Sinfonía n.° 55 de Haydn al frente de la orquesta de Boston en varias ocasiones. Mirando este extracto en el Symphony Hall, nos sorprende la interpretación cuidadosa y natural, desprovista de intensidad o excitación. Steinberg no es un manipulador, y aunque su técnica es minimalista, el resultado sonoro es rico y detallado. Además, tiene un instinto de actor: cada movimiento que hace, cada gesto y cada mirada tiene carácter y es expresivo. Sonríe cuando un detalle encaja perfectamente.
En trío de Scherzo, maravillosamente balanceado, utiliza sus codos tanto como su batuta para transmitir la idea: se tiene la impresión de que está a caballo y utiliza las riendas para guiar la música. El final es rápido y embriagador, pero nunca duro ni forzado. Steinberg parece tener un giroscopio interior y nada hace perder el equilibrio al director o a la orquesta.
La Boston Symphony es una enorme máquina, pero Steinberg sabe manejarla a su antojo; logra negociar muchos cambios y contrastes de tempo sin bandazos.