Sjef was getrouwd met Kee Robben. Ze hadden vijf kinderen waarvan 1 zoontje kort na de geboorte overleed. Ze woonden in een laag boerderijtje in Berkel vlakbij het klooster van de trappistinnen.

Herinneringen van Ger van de Ven aan zijn oom en tante:

Hij herinnert zich dat Ome Sjef heel vurig kon zijn.

Toen de gemeente grond van hem wilde en daarvoor naar zijn land wilde, stond hij klaar met een riek en zei: 'ais ge unne poot op menne grond zet, dan steek ik ouw on menne riek.' Vervolgens zijn de ambtenaren afgedropen en niet meer terug gekomen.
Van tante Kee herinnert hij zich dat haar mond niet gauw stil stond.

Ze liet mij een keer een positiejurk zien die zij vroeger had gedragen. Heel eenvoudig: een baaien rok, die je met knopen kon verstellen, naar mate de zwangerschap vorderde.