Перший дерев’яний костел у Берездівцях був побудований ще у XV ст. З 1526 р. Берездівці отримали статус міста. У 1618-1621 рр. місцевий храм зазнав пошкоджень під час турецько-татарських нападів, а на початку XVIII ст. відбулось чергове нищення святині шведськими військами.
У 1769 р. за кошти власників Берездівців - родини Жевуських - по сусідству з дерев’яним збудували мурований костел, який у 70-х рр. освятили під титулом Воздвиження Святого Хреста. Черговий ремонт храму датується 1932 р.
У 1949-1992 рр. храм використовувався як колгоспний склад.
У 2000-2002 рр. варшавські реставратори відновили фрески над головним вівтарем. Чудотворна ікона вивезена з костелу у 1945 р. знаходиться у катедрі міста Камєнь Поморські (Польща). У Берездівцях знаходиться її копія.