El Torreón de Lozoya es conocido así por el nombre de la última familia que lo poseyó. Su origen habría que buscarlo en el siglo XIV. Fue un momento de la historia de Segovia que estuvo caracterizado por las luchas entre bandos de la nobleza. Sin embargo, la gran transformación del palacio y su torre se llevó a cabo dos siglos después.
El conjunto lo adquirió el secretario de Felipe II, Francisco de Eraso. Dotó al edificio de dos patios, una gran escalera y de la gran portada de enormes dovelas que facilitaba el acceso por donde nunca lo había tenido.
En la actualidad, el Torreón de Lozoya pertenece a la Fundación Caja Segovia. En su interior se realizan todo tipo de actividades culturales, tales como exposiciones; algún concierto o conferencia; la Feria Nacional de la Artesanía; o el Salón de Anticuarios.
A escasos metros caminando podremos encontrar la Iglesia de San Martín.
