私生活では長年連れ添った妻の献身的な支えを受け、芸能界屈指の芸能一家としても知られています。長男の蟹江一平さんは俳優・タレントとして活躍し、長女の栗田桃子さんは名門・文学座の中心女優として舞台で確固たるキャリアを築いています。
息子の一平さんは父の逝去後、テレビ番組やインタビューで当時の様子を回顧しています。家庭内での蟹江さんは寡黙で厳しい一面を持ちつつも、子どもたちの挑戦を誰よりも温かく見守る父親でした。病床で急速に体力が奪われていく中でも、家族の前では決して弱音を吐かず、役者としての誇りと尊厳を最期まで保ち続けていたと明かしています。