A vila de Castro Marim, que num princípio se desenvolveu dentro das muralhas do Castelo, foi cabeça da Ordem de Cristo a mando do Papa João XXII. Na altura em que as lutas contra os Mouros iam cessando, provocando uma diminuição da importância militar do Castelo e da vila, existiu um despovoamento do lugar, pelo que o regente D. Pedro tomou providências e lhe retirou o título conquistado outrora, trasladando esta Ordem para Tomar (c. 1356).

Dentro do Castelo Velho, de planta quadrada, quatro torres e torre de menagem, encontrava-se uma povoação. Junto à torre de menagem existia um campanário, que seria o da Igreja de Santiago construída no século XIV.

Esta Igreja era paroquial da freguesia, pois em 1320 já abrangia toda a área do concelho.

Foi a primitiva matriz da vila e onde se situou o Convento dos Cavaleiros da Ordem de Cristo, em 1504 transformado em quartel militar.

Foi esta Igreja Matriz acompanhada por várias Visitações, entre elas as de 1518, 1534, 1535, 1538, 1554 e 1565. Estas davam a sua localização entre Levante e Poente, de capela quadrada, com acesso por três degraus, com abóbada e retábulo-mor definido por cinco painéis, ao meio com a imagem de Santiago, de vulto. No lado esquerdo estava S. João e no outro lado S. Sebastião, tendo, no entanto, estes santos sofrido alterações de localização.

Na fachada norte há um adro demarcado, colocando a hipótese, na Visitação de 1554, de aí fazer um cemitério, porque "pelas outras bandas passavam as estreitas ruas da vila", e um portal que dava acesso à sacristia que tinha paredes em taipa, feita aquando da Visitação de 1535.

O corpo da Igreja possuía três naves na Visitação de 1534, porque na de 1518 só possuía uma, e, de cada lado, tinha três arcos com colunas e capitéis de pedra e as naves laterais eram com uma só água, forradas de madeira.

Na banda do sul, no meio da fachada, uma porta com acesso por seis degraus e, sobre ela, um campanário com dois sinos e uma pedra com a espada da Ordem de Cristo. Junto à porta principal, no interior e do lado esquerdo, uma pia de água benta e uma pia de batismo.

A Visitação de 1565 dá a descrição de dois altares laterais ao arco cruzeiro, o do lado do Evangelho com crucifixo de vulto.

Após o terramoto de 1 de Novembro de 1755 restou apenas uma parede da igreja, pelo que a partir dessa altura a Igreja Matriz passou a ser na Ermida de Nossa Senhora dos Mártires, localizada extramuros.

Após este terramoto e com o nascimento de Vila Real de Santo António em 1774, Castro Marim perdeu a influente posição que ocupara durante anos.