Conta-se que, por volta de 1215, um abastado mercador inglês, Hildebrant, deixara a pátria à procura de lucros mais avultados que os que ela lhe proporcionava. Reduziu os seus bens a dinheiro e partiu para Portugal. Trazia a bordo, numa câmara especial, uma imagem de pedra de Nossa Senhora, de quem era muito devoto e que na sua família passara de pais para filhos, sendo considerada a mesma que os religiosos da Ordem de S. Bento adoraram, no reino de Inglaterra, quando foram mandados doutriná-lo.

Próximo de Lisboa, durante a noite, uma tempestade imprevista atirou-o para além do cabo Espichel e, em frente da praia de Alportuche, viu-se perdido no rigor da tormenta. Implorou então a protecção de Nossa Senhora e, nesse momento, uma luz vivíssima rasgou o negrume da noite, ao mesmo tempo que o temporal amainava. Hildebrant procurou agradecer a protecção recebida mas verificou que a imagem não se encontrava no navio. Entretanto amanheceu. Os marinheiros desembarcaram e foram procurar o sítio de onde, na serra, brilhara a luz salvadora, tendo encontrado a imagem que na véspera desaparecera do navio.

Hildebrant resolveu construir uma ermida e uma casa que lhe servisse de habitação nesse local e prometeu dedicar os seus dias a amar e servir Nossa Senhora na montanha onde a sua protecção não fora invocada em vão. Distribuiu parte dos seus bens pelos outros membros da tripulação do navio e pediu-lhes que todos os anos viessem, em romaria, à serra da Arrábida, visitar o local onde passara a viver. Atribuiu-se a este facto a origem do círio dos saloios de Alcântara, que durou até ao século passado.

Mais tarde erigiu, ali mesmo, Hildebrant um convento da mesma Ordem do nosso Patriarca Santo Agostinho, com licença do Bispo de Lisboa, que era naquele tempo D. Sueiro Viegas, o qual confirmou D. Bartolomeu, companheiro de Hildebrant, no lugar de prior, como consta de uma escritura que se conserva no arquivo da igreja catedral da mesma cidade de, Lisboa, feita pelos anos de 1288. 0 incêndio que se seguiu ao terramoto de 1755 destruiu todos os documentos que existiam no arquivo da Sé de Lisboa, impedindo que se pudessem comprovar as afirmações feitas pelo autor do Santuário Mariano.

Há quem admita, ainda, que a instituição religiosa fundada por Hildebrant tivesse seguido o exemplo do que S. Donato estabeleceu em Espanha, vivendo dispersa pela montanha, em casas humildes, entregando-se em plena liberdade à oração e ao trabalho. A congregação estava sujeita, no entanto, ao prelado diocesano e seguia as regras de Sto. Agostinho. Não há, contudo, qualquer documento que fundamente esta suposição.

Entretanto, Setúbal teve foral em 1249 e, em 1343, dada a importância que a vila adquiriu, o Mestre da Ordem de Sant'Iago demarcou-lhe um termo próprio. Por essa época, Azeitão tomara-se conhecida por ser o lugar de veraneio preferido pela melhor nobreza do Reino, entre a qual se contavam os infantes D. Constança e D. Pedro, futuros herdeiros da Coroa. A presença da infanta teve como consequências a construção de uma igreja na localidade no século XIV, a desanexação do limite de Azeitão da freguesia de Santa Maria do Castelo de Sesimbra e a concessão de vários privilégios aos seus moradores pelos reis D. Pedro I e D. Fernando.