In Vincents leven in Dordrecht speelde het christelijk geloof zo’n belangrijke rol dat hij zondags vaak wel drie kerkdiensten bezocht, waaronder die in de Grote Kerk. Daar was een oude vriend van zijn vader dominee, Petrus Marinus Keller van Hoorn (1825-1908). Vincent kwam weleens bij hem thuis; zo bezocht hij hem op 16 februari 1877 samen met zijn vader en vroeg hij hem eens om advies over zijn wens om theologie te gaan studeren. Ds. Keller van Hoorn zou hem toen de studie ontraden hebben, omdat Vincent niet de juiste vooropleiding had.

Vincent schreef zijn broer Theo regelmatig over de onderwerpen van de preken die hij in de Grote Kerk hoorde. Zo weten we dat hij luisterde naar overdenkingen over de Bijbelteksten: “Ik kom om Uw wil te doen o Heer” (Heb 10: 7-9) en “Zoo wie niet heeft liefgehad die heeft God niet gekend want God is Liefde” (1 Joh 4: 8). Vincent hield van de omgeving van de Grote Kerk en wandelde steevast door het gebied als hij een wandeling door de stad maakte.