Lindsay épouse Emilia Anne, fille du très révérend l'hon. Henry Montague Browne, doyen de Lismore, en 1851. Sa fille Violet Manners est artiste. Elle épouse Henry Manners (8e duc de Rutland) et est la mère de Diana Cooper. Emilia Anne est décédée en février 1873. Lindsay lui a survécu de 16 ans et est décédé en mars 1889, à l'âge de 72 ans.