De oudste geschreven bronnen van de familie De Smet getuigen van een zekere Pieter de Smet Varenbeke (midden 16e eeuw - 1602). Pieter woonde in de streek van Temse en Beveren-Waas. Hij was de vader van Willem (I) de Smet Varenbeke (ca. 1580 - 1658) en de grootvader van Willem (II) de Smet Varenbeke (1633 - 1676). Twee zonen van deze laatste waren Jan (1656 - 1694) en Egidius ( ? - 1741). Jan overleed vrij jong. Hij was pas 38 wanneer hij zijn echtgenote Elisabeth Blondel met drie kleine jongens in Bornem moest achterlaten. Elisabeth hertrouwde met Geraard Rottiers (+1737).
De zoon van de jong gestorven Jan noemde ook Jan. Deze Jan De Smet (1691 - 1772) was de grootvader van onze missionaris.
Een andere belangrijke figuur is de zoon van Egidius : Judocus (1702 - 1792) De Smet. Hij was rentmeester en baljuw in de Baronie van Bornem, een belangrijke functie die het hem haast onmogelijk maakte om met een gewoon meisje uit de streek te huwen. Hij is dan ook nooit gehuwd. Die Judocus (I) was de peter van Judocus (II) De Smet, de vader van Pierre-Jean De Smet. Judocus (I) heeft nagenoeg gans zijn fortuin aan zijn petekind nagelaten !
Huis "Josse I", Bornem.
