Oliver Nelson naît dans une famille de musiciens dans le Missouri. 

C'est le 4 juin 1932 qu'Oliver Nelson voit le jour dans une famille de musicien dans le Missouri, apprenant le piano à 6 ans puis le saxophone à 11 ans. En 1950 il intègre l'orchestre de Louis Jordan avant d'effectuer son service militaire dans les Marines. Il s'installe à New York en 1958 et collabore avec Erskine Hawkins, Louie Bellson ou encore Quincy Jones. En 1959, il signe 6 albums pour le label Prestige et sort sur le label Impulse, son album signature "The Blues And The Abstract Truth" sur lequel figure l'une de ses pièces maitresses "Stolen Moment". En 1967, Oliver Nelson habite à