A finales de ese mismo siglo las dependencias originales se quedaron pequeñas y se compraron casas adyacentes para proceder a la ampliación del convento. De su construcción original se conservan muy especialmente las columnas del patio central, patio que sufrió diversas modificaciones.
En cuanto a la iglesia, está toda recubierta al interior por yeserías barrocas. Cuenta con una nave en estilo barroco, con importantes yeserías, falsa cúpula, coro alto (en los pies de la iglesia) y coro bajo (en el crucero de la iglesia, del lado de la epístola). Contiene una capilla barroca en la que destaca una imagen de San José, del imaginero Salvador Carmona. El retablo se remata por un grupo escultórico representando el calvario. En las pechinas de la falsa cúpula se disponen lunetos representando a santos relacionados con la orden carmelita
El Convento de San José está situado muy cerca de la Iglesia de San Andrés, al otro lado de la Plaza de la Merced. Ocupa un amplio terreno en la zona del casco antiguo de Segovia, en la calle Daoiz.