Legenda govori da su dva peraška ribara, braća Mortičić, vraćajući se iz ribolova, videli su na malom grebenu nadomak Perasta nekakvu svetlost. Kad su se približili, ugledali su ikonu sa likom Majke Božje i odneli je u Perast. Tada je narod odlučio da na tom mestu podigne crkvu u Bogorodičinu čast. Ikona je bila neoštećena kad su je braća donela u crkvu. Iste noći je nestala, a sledećeg dana, nađena je na istom grebenu odakle je i uzeta. Nekoliko puta, ribari su ikonu vraćali u crkvu, ali je ona neobjašnjivo nestajala preko noći i čudom se pojavljivala na vrhu grebena gde su je ribari prvi put pronašli. Peraštani su to shvatili kao znak sa neba i zavetovali se da će Bogorodici u čast na tom mestu sagraditi crkvu. Tako je i bilo. Ljudi su počeli da nasipaju kamenje oko hridi. Uspeli su da od mora otmu oko 3000 kvadratnih metara, naprave ostrvo i na njemu sagrade crkvu.
Današnja crkva je najvećim đelom nastala oko 1667. godine, jer je svetilište očigledno nastradalo u velikom zemljotresu koji je iste godine zadesio ovo područje. Jednostavnih je proporcija, sastoji se od jednog broda i kapele koja je presvedena kupolom visokom 11 metara, rađenom u vizantijskom stilu. Veza sa barokom vidi se samo u obradi detalja, a crkva je dobila izrazito barokni izgled tek izgradnjom okruglog zvonika, jedinstvenog po formi, čija struktura najvjerovatnije proizilazi iz odbrambene funkcije.
Pomorci su pre odlaska na duge plovidbe obavezno posećivali ovo svetilište i molili se pred čudotvornom ikonom za dobar vetar u jedrima i mirno more. Bio je to čitav ritual kojem su, pored pomoraca koji su se spremali na put, prisustvovali svi članovi njihovih porodica i sveštenici. U znak zahvalnosti, pomorci su sa dalekih putovanja donosili zavetne darove. Bili su to najskuplji i najskupoceniji predmeti – kineske vaze, porcelan, zlato, srebro, tako da se danas tamo nalazi bogata riznica raznih umetničkih predmeta neprocenjive vrednosti.
Posebno je interesantna priča o poklonu koji je crkvi zavetovala Janueta Kunić-Mijović, u narodu kasnije poznata kao Bokeljska Penelopa. Janueta je, čekajući dvadeset godina svog muža da se vrati sa dalekih putovanja, zlatnim i srebrnim nitima i vlasima svoje kose izvezla sliku gornjeg dela glavnog oltara crkve sa ikonom Svete Bogorodice. Na izvezenom liku vidljivi su tragovi starenja žene koja nikad nije gubila nadu da će se ponovo sresti sa svojim voljenim mužem. Njena plava kosa vremenom je gubila sjaj i boju, što se uočava i na ikoni, jer je Janueta kosu Bogorodice izvezla svojom kosom.
Zanimljivo je to što, svake godine na 22.jul, Bokelji nastavljaju svoju tradiciju obnove temelja ostrva, i barkama dopremaju kamen i polažu ga u dubine . Ova manifestacija se zove „fašinada“ i cilj je da se učvrste temelji ostrva kako bi Gospa od Škrpjela i dalje krasila pogled sa Perasta.
Crkva se nalazi u bokokotorskom zalivu, jedan od najlepši mesta Crne Gore. Škrpjel je stari naziv za morsko ostvrce, greben – hrid – škrti dar prirode oko kojeg su Peraštani vekovima pomagali prirodi da se stvori to što je danas.