Davis overleed in zijn huis in New York, meldde zijn familie aan The New York Times. Hij werd eerder deze maand opgenomen in het ziekenhuis vanwege luchtwegproblemen.

Davis was decennialang platenbaas voor grote platenmaatschappijen. Hij stond bekend als "de man met het gouden oor", vanwege de vele artiesten die hij ontdekte en contracteerde. Ook zorgde zijn advies bij tal van singles ervoor dat het grote hits werden.

Zijn carrière in de muziekindustrie begon begin jaren zestig als jurist bij Columbia Records. Daar baarde hij opzien door Bob Dylan te overtuigen bij het platenlabel te blijven. In 1966 werd Davis directeur van Columbia Records. Hij contracteerde onder meer Bruce Springsteen, Billy Joel en Pink Floyd; enkele van de artiesten die wereldhits schreven.

In 1973 raakte Davis in opspraak. De platenmaatschappij klaagde hem aan voor het gebruik van bedrijfsgelden voor persoonlijk gebruik. Davis beweerde dat een ondergeschikte facturen zonder zijn toestemming had vervalst. Hij werd ontslagen. Ook werd Davis aangeklaagd voor belastingmisbruik. Hij bekende een van de zes aanklachten en kreeg een boete.

Davis richtte vervolgens zijn eigen platenlabel Arista op en legde ook daar muzieksterren vast. Aretha Franklin en Whitney Houston, die in 1983 op haar negentiende bij het label aansloot, zijn enkele van de grote namen met wie hij werkte. Houston bleef haar hele leven aan het label van Davis verbonden. Davis was in de rol van producer nauw betrokken bij de opnames van I Will Always Love You, de grootste hit van Houston.