Filho de José Manuel de Barros Wanderley, agricultor em Rio Formoso e em Sirinhaém, e de Maria Francisca Accioli Lins, irmã dos barões de Goicana e do Rio Formoso. O primeiro tomou por esposa a irmã mais velha de José Manuel, Feliciana Inácia de Accioli Lins (1840 - 1896), em 1855. José Manuel, por sua vez, casou-se com sua prima, Maria da Conceição de Barros Wanderley (4 de novembro de 1857 - 13 de outubro de 1910), filha de Manuel Mesquita de Barros Wanderley e de Rita Angélica de Barros Wanderley. O casal teve 21 filhos.