Johnson erhielt früh eine Ausbildung zum Pianisten und begann im Alter von 14 Jahren mit dem Studium der Posaune. Er wurde 1941 Berufsmusiker und arbeitete während des Jahrzehnts in den Orchestern von Benny Carter und Count Basie. Er war als begabter Solist bekannt, der die Techniken der Bebop-Bewegung der 1940er Jahre übernommen hatte. Er war bei Jazzmusikern sehr gefragt und trat unter anderem mit Charlie Parker, Dizzy Gillespie und Miles Davis auf. Nach einer vorübergehenden Pause (1952-54) kehrte er mit dem Posaunisten Kai Winding auf Tournee zurück, deren Duette als Wendepunkte in der Entwicklung der Jazzposaunentechnik anerkannt wurden.
In den späten 1950er und 1960er Jahren komponierte Johnson kontinuierlich, darunter die großen Werke El Camino Real, Sketch for Trombone and Orchestra und Perceptions. Er arbeitete auch als Komponist und Arrangeur für Filme und Fernsehen (darunter Shaft mit Isaac Hayes, Across 110th Street, Cleopatra Jones und Starsky and Hutch).
