As Baldrucas constituem um largo que fazia parte do morgado da Quinta da Torre dos Condes de Povolide, existente entre a estrada de Setúbal-Sesimbra e a que dá serventia à Aldeia de Oleiros, corno atrás se referiu. O referido largo foi adquirido em 1880 a D.Marcos de Noronha, o último possuidor daquele vínculo, por José António Fernandes, o qual, a expensas suas, o mandou ajardinar e arborizar. Contam-se, entre outras inovações, a plantação de um eucaliptal (com árvores cedidas pela Câmara Municipal de Setúbal em 1882) que ainda hoje existe, a colocação de um jogo de chinquilho no fundo do largo e a construção de um elegante coreto que a Perpétua Azeitonense passou a utilizar nos seus concertos. Francisco Pereira Cabral, regressado de Moçambique, onde enriquecera, adquiriu as Baldrucas, uma casa abarracada onde a banda de música fazia os seus ensaios, e o terreno anexo, tudo pertencente a José António Fernandes, e edificou nesse local uma quinta que se tornou conhecida por Quinta do Cabral ou das Baldrucas. Francisco Cabral teve um papel importante no desenvolvimento da viticultura azeitonense, adquirindo com essa finalidade várias propriedades, entre as quais a Quintinha e a Ribeira da Torre. Após a sua morte, a quinta esteve na posse de sua esposa, D. Maria Mlartha Sneyd Cabral, e de uma filha solteira. Uma outra filha foi casada com o Prof. Francisco Gentil.

APor volta de 1908-1910, a quinta passou a dispor de uma nova edificação construída junto da fonte de Oleiros, num local até então ocupado por um lagar de azeite. É a chamada Casa da Fonte de Oleiros, onde existe na parede da varanda do primeiro andar uma inscrição em pedra, pertencente ao inacabado Palácio do Peru e para aí levada no tempo de Pereira Cabral. Em 1952, durante. o período em que a Quinta das Baldrucas pertenceu a João Reis Castela, foi incorporada na propriedade uma quinta vizinha, conhecida por Quinta de Cima ou Quinta de Santo António. Contaram-se entre os seus anteriores possuidores o desembargador e conselheiro Joaquim Pedro Gomes de Oliveira e, a partir de 1884, o Prof. Manuel Bento de Sousa. A Quinta das Baldrucas, quando deixou de pertencer à família Pereira Cabral, teve como proprietários o Dr. Anastácio Gonçalves, João Reis Castela, seu filho Jorge Castela da Mata e, actualmente, o Dr. António Osório de Castro.