グラウンドや紙面では妥協を許さない鉄仮面のようなイメージが定着している広岡氏ですが、現場の選手やプライベートを知る関係者の証言からは、全く異なる人間味が浮かび上がってきます。
西武監督時代、広岡氏は若手選手が故障した際には自ら名医を探し出して治療の手配を行い、私生活で悩みを抱える選手がいれば監督室へ呼んで何時間も対話を重ねていました。「グラウンドで厳しいのは、選手自身が長くプロで飯を食えるようにするためだ」という信念は、後に指導者となった教え子たち（森繁和氏、辻発彦氏、伊東勤氏など）によって広く語り継がれています。
また、広岡氏の長寿と健康、そして厳格な節制生活を陰で支え続けたのが妻・静子さんの存在です。西武時代に導入された玄米自然食や野菜中心のメニューは、まず広岡家で妻と共に試行錯誤を重ね、栄養学的な有効性を自らの体で確認した上でチームに導入されたものでした。家庭内では穏やかで良き夫・父親であり、家族の支えがあったからこそ、球界の重圧と孤独な戦いを乗り越えることができたのです。
