Las rejas de unos y otras son del siglo XVII. El edificio tiene un blasón de las armas de los Contreras sobre el dintel de la puerta, ya que perteneció al regidor Juan de Contreras. En el siglo XIX lo compró el Conde de Cheste, de quien toma el nombre. Fue ministro de la marina, y lo ocupó en grandes estancias hasta su muerte en los primeros años del siglo XX.
Al pertenecer a una orden religiosa, no se puede visitar su interior. No obstante, el futuro del edificio aún es incierto. Las Madres Concepcionistas planifican desde hace varios años el traslado de este centro educativo bilingüe a una parcela de 24.000 metros cuadrados en El Sotillo, pedanía de La Lastrilla. Entonces el viejo edificio podría ser destinado a uso residencial con hasta 74 viviendas.
A escasos metros del Palacio del Conde de Cheste se encuentra el Palacio del Marqués de Quintanar.