A Albergaria do Espírito Santo foi fundada em 1425. Cinco anos depois passou a designar-se por Hospital do Espírito Santo. Em 1454, o rei D. Afonso V doou uns terrenos no Largo de S. Francisco (actual Praça Zacarias Guerreiro) para neles construir um novo hospital destinado a recolher os enfermos das expedições ultramarinas, nomeadamente os feridos nas galés. Sucessivas cartas régias foram aumentando os privilégios do Hospital. Em consequência do milagre ocorrido neste templo, em 1721, em que a imagem de S. José, que faz parte do grupo da Sagrada Família, actualmente exposta num retábulo colateral, suou sangue três vezes, a primitiva designação do Espírito Santo foi substituída por S. José. O terramoto de 1755 provocou graves ruínas no hospital e na igreja tendo ambos sido totalmente reconstruídos. Como sobrevivência do primitivo templo restou uma capela tardo-medieval, hoje adaptada a casa mortuária, em que na cobertura ogival surgem as armas dos Melos, e dos Costas. A actual igreja, de nave única e capela-mor, apresenta como particularidade a planta octogonal de lados desiguais. Projectada pelo mestre pedreiro farense, Diogo Tavares, integra-se numa tipologia de templos que têm como protótipo a Igreja do Menino de Deus em Lisboa. No frontão da fachada destaca-se a data de 1768, correspondente à conclusão das obras. Anexa à igreja há um passo setecentista, um dos quatro ainda existentes na cidade, que outrora servia de Estação na Procissão do Senhor dos Passos. Relativamente à ornamentação interior, para além do retábulo da capela-mor, exemplar de pintura em «trompe l'oeil», referem-se quatro retábulos: dois colaterais. do período Rococó e dois laterais, já Neo-Clássicos.