鳥谷家の家族構成は、鳥谷敬氏と裕子さん、そして5人のお子さん（3男・2女）を合わせた賑やかな7人家族です。プロ野球界でも指折りの子だくさんパパとして知られています。
子供たちの誕生歴は以下の通りです。
・2006年：長男誕生
・2008年：次男誕生
・2010年：長女誕生
・その後：次女、三男が誕生
現在、上のお子さんたちはすでに高校・大学年代へと成長しています。関西在住時代から教育環境の整った私立校やインターナショナルスクールに通っていると報じられており、文武両道の教育方針がうかがえます。
長男や次男は父の背中を追って野球に打ち込んでおり、鳥谷氏自身もテレビ番組で「子供の少年野球の試合を見に行くと、つい指導者目線になってしまう」といった父親らしい一面をユーモアたっぷりに明かしています。
