義父との関係は極めて深刻なものでした。義父は実子である弟たちを可愛がる一方で、横山に対しては「お前は俺の子じゃない」と言い放ち、棒などで激しい暴力を振るうことも日常茶飯事だったと明かされています。精神的・肉体的な避難場所として、横山は一時的に母方の祖父母の家へ預けられることになりました。
しかし、最愛の祖父が他界し祖母が入院したことで、再び義父のいる自宅へ戻らざるを得なくなります。その後、母親と義父は離婚に至りますが、母子家庭となった一家の家計は火の車でした。団地での生活は困窮を極め、電気や水道が止まることも珍しくない幼少期の貧乏生活を強いられました。
母親の負担を少しでも減らすため、横山は高校への進学を諦め、中学卒業と同時に建設会社（配管工）に就職。朝早くから現場で泥まみれになって汗を流し、初任給をそのまま母親に手渡して家計を支えました。ジャニーズJr.としての活動が始まってからも、現場仕事と芸能活動を両立するハードな下積み時代を過ごしていたのです。
