Na vida pessoal, James Brown foi casado com Velma Warren, Deidre Jenkins e Adrienne Rodriguez, além de ter relação com Tomi Rae Hynie. Teve cerca de dez filhos reconhecidos, entre eles Terry Brown e Deanna Brown Thomas, que seguiram caminhos ligados à música e ao ativismo. No ano de sua morte, em 2006, residia em Atlanta, Geórgia, onde faleceu vítima de pneumonia e insuficiência cardíaca.