O clube foi fundado com o nome de FC Germania Elversberg. Foi dissolvido em 1914 e depois reconstituído em 1918 com o nome de Sportvereinigung VfB Elversberg.
Em 1921-1922, participou da Kreisliga Saar. Após a Segunda Guerra Mundial uma série de associações locais se reuniram para formar o Sportgemeinde Elversberg. De 1951 a 1960 o SV disputou a Saarland Amateurliga (III).
Em seguida, teve momentos de crises e terminou jogando entre os diletantes, mas em 1980 retornou à Amateur Oberliga Südwest (III), na qual se manteve por sete temporadas.
Depois, por dez anos, alternou participações na Saar Verbandsliga (IV) e a Saarland Landesliga/Nordost (V), antes de chegar à Regionalliga. De 1998 a 2008 participou da Regionalliga Süd (III), enquanto a partir de 2008-2009 se transferiu para a Regionalliga West. A equipe reserva disputa a Oberliga.
Nota: Bandeiras indicam equipe nacional, conforme definido pelas regras de elegibilidade da FIFA. Os jogadores podem ter mais de uma nacionalidade não-FIFA.
