No entanto, a vida do jovem Norris teve seus percalços no início, com o alcoolismo do pai, Ray, que chegou a ser declarado como desaparecido no meio da Segunda Guerra Mundial, mas conseguiu voltar. Ele tem dois irmãos mais novos: Clayde Wieland, que morreu na guerra do Vietnã, e Aaron, que se tornou um produtor de Hollywood.