Stiller wuchs als Sohn der bekannten Komiker Jerry Stiller und Anne Meara in New York City auf. Er hat jüdische Wurzeln, so war sein Großvater William Stiller der Sohn jüdischer Immigranten aus Österreich und seine Großmutter Bella Citrin die Tochter russisch-jüdischer Einwanderer. Außerdem konvertierte seine Mutter Anne Meara vor seiner Geburt zum Judentum. Schon früh war klar, dass er und seine Schwester Amy Stiller in die Fußstapfen der Eltern treten würden. Seine Eltern haben häufig Cameo-Auftritte in seinen Filmen.