Johnson groeide op in Louisiana en kreeg de liefde voor muziek mee van zijn vader, die banjo en saxofoon speelde. Op twaalfjarige leeftijd kreeg hij zijn eerste saxofoon. Later leerde hij ook andere blaasinstrumenten bespelen, waaronder klarinet en fluit.
In de jaren vijftig verhuisde Johnson naar Los Angeles, waar hij uitgroeide tot een veelgevraagd sessiemuzikant. Hij speelde mee op opnames van grote artiesten zoals Frank Sinatra, Barbra Streisand, B.B. King, Nat King Cole, Marvin Gaye, Elton John en Rod Stewart.
Zijn saxofoonspel in de opening van The Pink Panther maakte hem ook bekend bij het grote publiek. De film uit 1963, met Peter Sellers als de stuntelende inspecteur Jacques Clouseau, kreeg een iconische titelsong die later ook werd gebruikt voor de populaire tekenfilmserie over de roze panter.
De muziek uit The Pink Panther kreeg veel waardering. Het American Film Institute plaatste het nummer op de twintigste plek van de lijst met beste filmmuziek aller tijden. De soundtrack won daarnaast drie Grammy Awards en werd in 1965 genomineerd voor een Oscar.
Johnson bleef tot op hoge leeftijd optreden. Volgens zijn kinderen gaf hij ongeveer een maand voor zijn overlijden nog een optreden in het woon-zorgcentrum waar hij woonde. Hij overleed op 15 juli in Los Angeles, zes dagen voor zijn 95e verjaardag.
