古賀稔彦氏の家庭は、妻の早苗さん、そして2男1女の3人の子供たちからなる5人家族です。早苗さんは現役時代の過酷な戦いを陰ながら支え続け、稔彦氏が私財を投じて設立した道場「古賀塾」の運営においても、塾長を支える大きな柱として子供たちの成長を見守ってきました。
柔道一家に生まれた3人の子供たちは、幼少期から父が設立した古賀塾の畳の上で育ちました。しかし、家庭内では決して柔道を強制されることはなく、父・稔彦氏は「自分で決めた道を最後までやり抜くこと」の尊さを背中で語り続けたと伝えられています。偉大な父親の背中を追い、自然と同じ柔道の世界へと進んだ3兄妹は、全員が全国レベルの強豪選手へと開花しました。