Filho de um imigrante alemão que fez fortuna com a importação de tecidos em Nova York, Oppenheimer nasceu em uma família rica, de origem judia não praticante, que mantinha um alto padrão de vida. Seu pai, Julius Seligmann Oppenheimer, atuava no setor têxtil, e sua mãe, Ella Friedman, era artista. Ele tinha um irmão mais novo, Frank, e a família vivia em um apartamento de luxo em um bairro nobre da cidade.