グラウンドでは闘志あふれる「強いキャプテン・厳しい指揮官」のイメージが強い阿部監督ですが、プライベートでは家族思いの優しい父親としての一面を持っています。
2006年に元モデルのめぐみ夫人と結婚。夫婦の間には1男2女の3人の子どもが誕生しています。現役時代、過密日程や度重なるプレッシャーに晒される中で、家族との穏やかな団らんが最大の癒やしだったと本人が語る場面もありました。
長男も野球に取り組んでおり、多忙なスケジュールの合間を縫って息子の成長を見守るなど、野球人であると同時にひとりの父親として愛情深く接しています。家庭という強固な支えがあるからこそ、阿部監督は巨人の重圧に耐え、采配を振るい続けることができています。