Містечко Скала відоме з першої половини XIV ст. вже тоді тут був оборонний замок дерев'яно-земляного типу, дуже понищений татарами. Князі Коріатовичі, які правили Поділлям у XIV ст., відбудували замок у 60-70-х pp. того ж століття. У 1395 р. Вітольд, великий, князь литовський, відібрав у Федора Коріатовича ряд міст, зокрема і Скалу. Після його смерті місто стало належати польському королівству, а замок у 1515 р. король віддав у прижиттєву власність Кам'янецькому старості Станіславу Лянцкоронському.

У першій половині XVI ст. татари кілька разів руйнували замок. Особливо великої шкоди завдав напад волохів у 1538 р. Замок був цілком знищений і лежав у руїнах. Та вже на середину XVI ст. його знов відбудували. Саме в цей період остаточно сформувалася оборонна система. Дитинець розширився до напільної сторони. Замок з трьох боків був природно захищений і лише з південного боку міг бути доступний. Але з цієї сторони викопали глибокий рів, звели кам'яні стіни і округлої форми порохову вежу. З південної сторони знаходилась в'їзна брама. Дістатися до неї можна було через підйомний міст, який при потребі спускався на грубих ланцюгах.

Особливих руйнувань замок зазнав у 1657 р., коли нам заволодів трансільванський князь Д'єрдь II Ракоці. Люстрація 1665 р. повідомляє, що "замок, вимуруваний на скалі і обведений навколо муром, прийшов у цілковите запустіння". В 1665 р. турки захопили на Поділлі багато фортець, у тому числі і скалу. Оборонні споруди тут були остаточно зруйновані, після чого замок уже не відбудовувався.

У XVIII ст. на території зруйнованого турками замку староста Скали Адам Тарло проводить ре.монт оборонних мурів і вежі. В середині фортеці реставровано пишний палац з великими підвалами. Але незабаром палац зазнає руйнувань. У літописі за 1765 р. записано: "...через кілька років після закінчення реставрації палац спалено вогнем блискавки і зараз він стоїть пустий, а особливо знищено бічні прибудови".

На сьогодні із фортифікаційних споруд збереглися одна башта і частина оборонних стін. В південній частині замку знаходиться чотириярусна башта (порохова), яка у своїй основі прямокутна, а на висоті першого ярусу зовнішня частина заокруглюється.

Ще й сьогодні привертає увагу своєю довершеністю кам'яний орнамент, що обрамляє вікна і двері палацу в Скалі-Подільській. Власне від палацу добре збереглися лише підвали. Ще кілька років тому палац Голуховських піднімався на висоту двох поверхів, тепер - руїна, яка потребує негайної консервації.