No ano de 1558, chegou à capitania do Espírito Santo o eremita português frei Pedro Palácios, uma bênção para o primeiro donatário da capitania, Vasco Fernandes Coutinho, que tinha muitas dificuldades com os índios, os quais assolavam as plantações dos portugueses, pelo que já tinha resolvido recorrer à religião para converter os índios e civilizá-los.
Frei Palácios erigiu logo um pequeno santuário em cima de um grande rochedo, nu e escuro, cuja base está sempre batida pelo mar. Esse primitivo santuário existe ainda hoje: é um pavilhão retangular de 15 palmos de altura, onde cabem apenas quatro pessoas.
Segundo a tradição local, foi nesse acanhado recinto que frei Palácios colocou uma imagem de Nossa Senhora com o divino filho nos braços, na qual tinha grande devoção. A imagem era representada em um painel de pequenas dimensões que o religioso trouxera de Portugal.
Para que pudesse contemplar mais de perto a querida imagem da Mãe de Deus e tributar-lhe mais a miúdo suas piedosas homenagens, o bom religioso habitava uma cavidade do rochedo, de onde podia enxergar o pavilhão e a imagem.
Frei Palácios ocupava-se em catequizar os indígenas, tendo conseguido, graças a seu zelo, converter grande número deles.
Para obter maiores favores do céu para essa obra apostólica, resolveu mais tarde construir, em cima do rochedo, uma ermida ao redor de duas palmeiras, que era a única vegetação que havia no local. Aos troncos delas, encostou uma ara em que colocou uma imagem da Virgem, mais bem feita e maior, porém semelhante à imagem pintada no painel depositado no pavilhão.
Muito longa e dificultosa foi a construção dessa ermida, embora fosse de pequenas dimensões e os índios já convertidos auxiliassem frei Palácios. Para animar os piedosos operários, o céu fez nascer abundante fonte de água em cima do rochedo todo o tempo que durou a obra, apenas se acabou a ermida, cessou a fonte.
Os materiais de construção eram carregados em ombros até a raiz do rochedo e depois puxados para cima à força de braços.
Foi essa tosca ermida que deu origem ao esplêndido santuário que hoje se admira no mesmo lugar, e a penha, a mesma em que foi colocada a primitiva imagem de frei Palácios, deu origem ao título Nossa Senhora da Penha.
Um dia, não o vendo em nenhum dos lugares que costumava percorrer, os moradores da vizinhança, alarmados, reúnem-se em grande número e correm ao morro da Penha, procurando-o primeiro na gruta que lhe servia de morada. Não o encontrando ali, o povo sobe o morro e abre a porta da ermida das palmeiras, e aí depara, com grande tristeza, com o corpo de frei Palácios sem vida, dobrado sobre os joelhos, reclinado sobre o altar, com a mão direita aproximada à imagem de Maria, a quem sempre tivera grande veneração e amor, e com a outra no peito, como quem remetia seu coração à augusta Rainha do Universo, ao mesmo tempo em que lhe entregava o último sopro de sua laboriosa vida.
A placidez de seu rosto revelava que não lhe fora custoso o último alento, porque se finara com a consciência pura, como puros foram seus dias no mundo. Via-se ainda em seus lábios entreabertos a expressão de um delicioso sorriso: era o sorriso do devoto de Maria ao deixar os males desta vida para se reunir à celestial protetora que inúmeras vezes o protegera quando se metia pelas matas à procura dos indígenas.
Sua morte foi em 2 de maio de 1575, depois de 17 anos de santa vida passados entre a catequese dos índios e a oração, no morro da Penha.
Com o tempo, o número de romeiros que visitavam Nossa Senhora da Penha cresceu tanto que a ermida de frei Palácios tornou-se pequena demais para o culto. Edificou-se então outro santuário, um convento de religiosos franciscanos, para o serviço do povo, bem como vastas acomodações para o alojamento dos romeiros.