El Palacio Ducal de Lerma, símbolo del poder político del duque, fue erigido entre 1601 y 1617 por Francisco de Mora sobre las ruinas del viejo castillo. En su puerta principal los escudos de armas de los Sandoval y el de Los Rojas; los dinteles, muros, pedestales y columnas son de piedra pulimentada, de una sola pieza.
El total del edificio posee 210 balcones y treinta y cinco ventanas, en sus extremos esbeltos chapiteles en las torres y la cubierta de pizarra, donde estaban las estancias del servicio.
