横山裕さんの家族構成を語る上で欠かせないのが、複雑な家庭環境と兄弟が歩んできた過酷な生い立ちです。横山さんの家族構成は、母親と2人の弟（異父弟）の4人家族でした。
横山さんが3歳の頃に実の両親が離婚し、その後母親が再婚。その再婚相手との間に生まれたのが6歳年下の次男と8歳年下の三男です。血縁上は「異父弟」にあたりますが、横山さんは一度も彼らを区別することなく、実の弟として深い愛情を注ぎ続けてきました。
しかし、義父との折り合いは決して良好ではなく、幼少期には激しい葛藤を経験しています。中学卒業後に高校へ進学せず建設会社で働き始めたのも、「早く自立して家族を支えたい」という強い覚悟からでした。さらに、横山さんがアイドルとして頭角を現し始めた2010年、最愛の母親が50歳という若さで急逝。当時まだ学生だった弟たちを残され、横山さんは20代にして「父親代わり」として弟たちを育てる決意を固めました。
