書香門第的“書”是指家庭三代熟讀四書五經；“香”表示家族中有祖廟，自有香火；“門”泛指門檻，代表家庭當地有地位；“第”代表第及。因此書香門第一般是指上輩有讀書人的家庭，也可泛指好的家庭背景。這一成語最早是出自清朝文康的《兒女英雄傳》第四十回：“如今眼看書香門第是接下去了；衣飯生涯是靠得住了。”。