La parroquia de San Vicente Mártir es la iglesia madre de más de 50 parroquias católicas en todo Nueva Jersey. Fue iniciada por refugiados franceses, a finales del s. XVIII, que llegaron a Estados Unidos huyendo de la Revolución Francesa. Antes de que hubiera una iglesia católica aquí, estos católicos franceses ocupaban asistían ocasionalmente a la iglesia Presbiteriana, la única iglesia en la vecindad. Para 1825, la creciente comunidad de católicos franceses e irlandeses necesitaba una iglesia permanente. Seis católicos franceses compraron unas propiedades y construyeron el primer edificio de la iglesia en Ridgedale Avenue. Pero ya el 30 de septiembre de 1906 se inauguró el edificio actual de la iglesia en Green Village Road. El diseño original de esta fue tomado de la Christ Church en Oxford, Inglaterra, una estructura del siglo XII, pero con el añadido de la influencia francesa dando lugar a cuatro gárgolas que adornan el exterior de la torre. La iglesia está construida con piedra caliza de Indiana.
Su escuela, Saint Vincent Martyr School (SVMS), es la escuela primaria católica más antigua (establecida en 1848) en Nueva Jersey, distrito de Madison, condado de Morris. SVMS educa a aproximadamente 400 estudiantes y el apodo de la escuela es Eagles.
