Fermat 17 Ağustos 1601 yılında Fransa 'nın Beaumont-de-Lomagne kentinde doğmuştur. Babası zengin bir deri tüccarı ve Beaumont-de-Lomagne 'de ikinci konsolostu. Fermat 'ın bir erkek kardeşi ve iki kız kardeşi vardı ve doğmuş olduğu bu kentte büyümüştü. Buna karşın yerel Fransiscan Manastırına gittiğine dair çok az kanıt vardır.
