Obok przesławnej, romańskiej kolegiaty św. Marcina, to drugi sakralny zabytek w mieście, zasługujący w pełni na miano architektonicznej perły. Kościół i klasztor Bernardynów stoją na wzgórzu, gdzie, według tradycji, znajdowała się niegdyś osada zwana Żmigrodem. To w tym miejscu archeolodzy upatrują początków dzisiejszego Opatowa. Gród obronny usytuowany ponad brzegiem rzeki miał tu istnieć już w czasach plemiennych. Jest dość prawdopodobne, że już w roku 1040 pobudowano tu pierwszy kościółek Najświętszej Maryi Panny. Podobno modlił się w nim kiedyś sam św. Stanisław. Świątynia służyła najpierw cystersom, później aż do roku 1471 pełniła funkcje kościoła parafialnego. W owym czasie biskup lubuski Krzysztof Fryderyk II ofiarował istniejący kościół Bernardynom, zaś biskup krakowski Jan Rzeszowski przeniósł parafię do kolegiaty, a przy świątyni NMP zdecydował wznieść klasztor. Ten ostatni dostojnik był postacią niezwykle barwną. Spowiednik Kazimierza Jagiellończyka, uczestnik bitwy pod Warną i pierwsza osoba tytułująca się mianem księcia siewierskiego. Za czasów administrowania diecezją przez biskupa Jana powstało wiele znanych budowli, między innymi sławny dziś klasztor Paulinów na Skałce.
Fundatorem opatowskiego konwentu i człowiekiem, który skutecznie wprowadził w życie zamysł krakowskiego duchownego, był Jan Tarło, potomek magnackiej familii, o którym wybitny polski krajoznawca z przełomu XIX i XX wieku, Aleksander Janowski pisał następującymi słowami: „syn sławnego wojownika Jagiełłowego, Ottona ze Szczekarzewic (inne źródła podają, że ojciec Jana Tarło nosił imię Zaklika), tak upodobał sobie braci św. bernarda, że cały majątek na ich klasztory zapisał, a sam przywdział sukienkę zakonną i jako bernardyn udał się do Ziemi Świętej. Tam zmarł w roku 1488, na górze Syon, a bracia opatowscy w napisie klasztornym z żalem zaznaczają, że fundatora swego nawet pochować u siebie nie mogli”.
Klasztor miał charakter obronny, co widać zresztą również obecnie. Wytrzymał kilkudniowe oblężenie tatarskie w roku 1502, lecz w ruinę obróciły go wojny szwedzkie. Spłonęła wówczas również biblioteka zakonna, zawierająca wiele rzadkich dzieł, druków i rękopisów.
Na początku XVIII wieku kompleks zniszczonych budowli został odnowiony, głównie dzięki ofiarności wojewody sandomierskiego Jana Tarły i podstolego Mozyrskiego Łukasza Krzyżanowskiego. Konsekracja kościoła, który podziwiać można obecnie, miała miejsce w roku 1765, kiedy gwardianem Bernardynów opatowskich był Ludwik Alszer.
W 1784 roku nakładem podstoliny sandomierskiej Felicjany Reklewskiej wnętrze świątyni pokryte zostało ciekawą polichromią o tematyce maryjnej, która, niestety, została zupełnie przemalowana na początku XX wieku.
Są jednak ciągle w przyklasztornym kościele dzieła cenne i zasługujące na uwagę. Do tych należy niewątpliwie ołtarz główny, wykonany w latach 1770-75 przez Macieja Polejowskiego, artystę bardzo uznanego, którego prace oglądać można również w sandomierskiej katedrze. Obrazy przedstawiające św. Antoniego Padewskiego i śmierć św. Franciszka przypisywane są Franciszkowi Lekszyckiemu. Był on krakowskim bernardynem, a zarazem malarzem samoukiem, który z czasem osiągnął tak wielki kunszt, że już współcześni nazywali go polskim Fra Angelico. Najwięcej bodaj jego dzieł oglądać można w Kalwarii Zebrzydowskiej. W opatowskiej świątyni przechowywany jest również wspaniały gotycki krucyfiks z ok. 1400 r.
Konwent na Żmigrodzie uległ kasacji po powstaniu styczniowym. Przez kolejne lata klasztorne budynki niszczały w zastraszającym tempie. Częściowo odnowiono je na początku ubiegłego wieku. Zakrojone na większą skalę prace remontowe rozpoczęły się jednak dopiero po powrocie tu zakonników, co nastąpiło w roku 1939. 12 grudnia 1989 r. erygowano w klasztornym kościele parafię pw. Wniebowzięcia Najświętszej Maryi Panny.