A primeira gravação do grupo foi um EP de 7", chamado "Boys 16/18 Years... Age of Action" foi lançado em 1993 pelo selo Further Beyond Records. Porém, eles atingiram um público muito maior em 1998 (ironicamente, três anos depois que a banda havia se separado), quando Jade Tree Records lançou "Analphabetapolothology". Esse álbum duplo incluia toda discografia da banda, incluindo faixas gravadas ao vivo e/ou inéditas, além do relançamento do único álbum completo da banda, Burritos, inspiration point, fork balloon sports, cards in the spokes, automatic biographies, kites, kung fu, trophies, banana peels we've slipped on and egg shells we've tippy toed over. (Shmap'n Shmazz). Apesar do talento e da influência em sua própria cidade, Cap'n Jazz também é notável pelas carreiras importantes que ex-membros da banda seguiram após o término da banda em 1995, principalmente em Make Believe, The Promise Ring, American Football, Owls e Joan of Arc.
