A quinta do velho João Vicente, monteiro-mor das matas de Azeitão, que constituiu o embrião da Quinta da Bacalhoa, confrontava com uma propriedade antiga, a Quinta da Palhavã, que em 1413 pertencia a Afonso Martins Palhavã e sua mulher, Constança Anes, os quais a tinham emprazada a Nuno Martins da Silveira pelo foro anual de duas mil livras dos reais de três libras e meia. Entretanto, o dono da quinta e a mulher morreram sem herdeiros, o foro passou para a Coroa e o Rei D. Duarte fez dele mercê, em 11 de Novembro de 1436, ao anterior foreiro, Nuno Martins da Silveira, seu criado, seu escrivão de Puridade e membro do seu Conselho. Esta quinta parece ter atingido, no entanto, alguma evidência somente no século XVIII.

Encontrava-se dividida nessa época em duas partes, a Quinta da Palhavã de Baixo e a Quinta da Palhavã de Cima. A primeira, constituída por uma vinha, pertencia ao sargento-mor Manuel Pires de Carvalho Brioso; a segunda tinha sido arrematada em 1724 pelo padre António Pires de Castelo Branco, capelão da Igreja de Nossa Senhora do Cabo Espichel e, posteriormente, doada ao sargento-mor e herdeiros como dote de casamento com sua sobrinha D. Maria Teresa de Castelo Branco. A quinta constava de casas nobres, poço, vinha, árvores de fruto e uma terra junto dela» e confrontava da parte norte com a quinta de Luís Avelar, a sul com a estrada para Setúbal, a nascente com a vinha do sargento-mor e a poente com um pomar de António Brito.