No Natal de 1871, casou-se com uma jovem de 16 anos, Mary Stilwell, uma de suas empregadas, que era perfuradora de fitas telegráficas. Ela morreria doze anos depois, de febre tifóide. Ele, então, se casaria mais uma vez, com Mina Miller. Nos dois casamentos, teve seis filhos, três de cada um.