La Casa de los Marqueses de Lozoya es un edificio de corte defensivo. Se levantó en el siglo XIII y ayudaba con la defensa de la desaparecida Puerta de San Juan.
Tiene una portada románica pero el interior abarca desde el patio gótico (construido en el siglo XVI) hasta los salones decimonónicos. Era éste un palacio de fábrica de mampostería decorada con el encintado característico de los primeros esgrafiados. La fachada se restauró en el primer tercio del siglo XX.
Entre otros, perteneció al mayorazgo de los Cáceres. Por esta razón también es conocida como Casa de los Cáceres o Casa del Mayorazgo de los Cáceres. Desde el pie de los muros de la Casa de los Marqueses de Lozoya es posible ver el Acueducto de Segovia.
Llama mucho la atención su imponente jardín, imposible de ver desde la calle pero sí desde el Mirador del Cementerio. Fue huerto y hoy es jardín. El huerto tenía corralón para guardar las caballerías y para que pudieran maniobrar los carruajes, pradera para poner la ropa a secar, eras para hortalizas y un «rincón de flor». La transformación en jardín se debe a la actual marquesa, Dominica de Contreras, y data del último tercio del siglo XX.
Es un jardín desarrollado en varios niveles, de carácter un tanto ecléctico en el que se combinan elementos característicos del jardín formal -cuadros simétricos- con otros más propios del jardín paisajista.