Hij trouwde in 1883 in Leuven met Henriette Roberti (1862-1944), dochter van Jules Roberti, notaris, gemeenteraadslid van Leuven, provincieraadslid van Brabant en senator. Ze kregen een zoon en twee dochters:
Etienne Orban de Xivry (1885-1953), advocaat en senator, trouwde in 1914 in Bonheiden met Ludwine de Vrière (1889-1916). Ze kregen een dochter. Na haar overlijden in Folkestone, korte tijd na de geboorte van hun dochter, hertrouwde hij in 1919 in Bonheiden met haar zus, Marie de Vrière (1892-1934). Ze kregen vijf zoons en vijf dochters, met afstammelingen tot heden.
Agnès Orban de Xivry (1886-1944), trouwde in 1909 in La Roche-en-Ardenne met graaf Ludovico Ruffo di Calabria (1885-1952), oom van koningin Paola. Ze kregen een dochter, maar zonder nakomelingen.
Jeanne Orban de Xivry (1890-1965), trouwde in 1914 in Oostende met baron Gaston del Marmol (1890-1968). Ze kregen drie zoons en drie dochters, met afstammelingen tot heden.