Frederick Austerlitz, seu nome de batismo, era filho de imigrantes de origem alemã e austríaca e cresceu em uma família que apostou desde cedo no talento artístico dele e da irmã, Adele Astaire. Depois que a família se mudou para Nova Iorque, em 1905, os dois passaram a estudar dança, canto e teatro para atuar no vaudeville. A mãe sugeriu a troca do sobrenome Austerlitz por ?Astaire?, por considerá-lo mais artístico.