У XVIII ст. нові власники язловецького замку - Понятовські, перебудували нижню частину на пізньобароккову резиденцію. Цей палац зберігся, бо із середини XIX до середини XX ст. сам палац належав монастирю сс. Непорочниць. В 1946 р. монастир закрили. В радянські часи тут була лікарня. В 1990 pp. частину монастирських приміщень повернули Згромадженню Сестер Непорочного Зачаття Пресвятої Діви Марії