En 1889, el cronista Nicolás Rabal hablaba en los siguientes términos del palacio, en su obra Soria, perteneciente a la serie «España: sus monumentos y artes, su naturaleza e historia»:
El aspecto de este edificio, á juzgar por la descripción que de él hace el canónigo Bedoya y por la fachada que aún subsiste, era magnífico y pintoresco. El cuerpo del palacio lo adornaban dos torres, un patio de columnas dóricas en el centro y un ancho atrio a la entrada con su pretil, de cuyo centro partían dos tramos de escalera para bajar a la plaza del Mercado, y una en rampa para los coches, que podían llegar por la espalda al piso principal. En la puerta se ve aún el gran escudo de los Tovar con la inscripción siguiente: «Sapientia aedificabis sibi domus et prudentia roborabitur». En el interior y junto á la escalera estaba la capilla-oratorio con la efigie de San Juan Bautista en el desierto, obra del maestro Becerra, y las demás habitaciones eran espaciosas y cómodas. Contiguos al palacio estaban, y aún se ve, los preciosos jardines explanados en tres grandes parterres elevados desde el principal, á manera de anfiteatro, y sostenida la tierra con muros y cubos hasta el castillo. Los cubos que cerraban estos muros servían de miradores, desde los cuales se recreaba la vista en la contemplación del vasto horizonte en cuyo primer término aparecían adornados con estatuas, fuentes, baños, de que aún quedan restos, los jardines mantenidos siempre verdes con el riego que se proporcionaba por una noria de la que se subía el agua á más de 120 pies. Por último, debajo de los jardines, al nivel ya de la plaza, se extendía una rica huerta con regadío por el pie.
Partes de este artículo incluyen texto de España: sus monumentos y artes, su naturaleza e historia. Soria (1889), una obra de Nicolás Rabal (1840-1898) en dominio público.