中学校を卒業した横山は、全日制の高校には進学せず、地元・大阪の建設現場で働き始める。同年代の少年たちが青春を謳歌している頃、彼は作業着に身を包み、早朝から夕方まで重い資材を運び続けた。
ジャニーズ事務所(現STARTO ENTERTAINMENT)に入所した後も、しばらくの間は建設作業員としての仕事を継続していたという事実は有名だ。午前中は工事現場で汗を流し、午後からはオーディションやレッスンに向かう。「いつ仕事がなくなるかわからない」「自分の力で金を稼がなければ生きていけない」という強烈な生存本能が、十代の彼の背中を押し続けていた。