Rudy Van Gelder nait à Jersey City dans le New Jersey. 

Né dans le New Jersey le 2 novembre 1924, le jeune Rudy s'intéresse déjà aux sons et à la radio dès ses 12 ans. Découvrant le jazz dans les clubs, créant lui-même ses mixeurs et amplificateurs, il va s'adonner à sa passion, les enregistrements, dès les années 1930. En 1946, dans leur toute nouvelle maison, Rudy van Gelder va convaincre ses parents d'y installer un studio d'enregistrements."J'ai dû expérimenter pour trouver le meilleur moyen de disposer musiciens et microphones de façon à ce que le son soit le plus chaud et le plus réaliste possible"