中学校を卒業する際、横山さんは高校への進学を選択しませんでした。その理由は極めて現実的で切実なもの、すなわち「一刻も早く働いて自分でお金を稼ぎ、家族を支えるため」でした。
中学卒業後、横山さんはすぐに地元の建設会社に就職し、建築現場の配管工やとび職として働き始めます。重い資材を運び、泥や油にまみれながら働く過酷な肉体労働の日々でした。その過酷さは、冬場の手荒れで指先が裂け、痛みに耐えながら作業を続けるほどだったと語られています。
当時すでにジャニーズ事務所(現・STARTO ENTERTAINMENT)に入所し、関西ジャニーズJr.としての活動をスタートさせていましたが、芸能界の仕事だけで生活できるはずもありません。「昼間はヘルメットをかぶって工事現場で汗を流し、夜や週末は新幹線に飛び乗って東京の歌番組やコンサートに出演する」という、極めて過酷な二重生活を数年間続けました。現場の同僚から「お前、昨日テレビに出てたな」とからかわれながらも、弱音を吐かずに働き続けた経験が、現在の不屈のメンタルの礎となっています。