横山裕の家族関係を語る上で欠かせないのが、複雑で過酷だった生い立ちです。横山裕が3歳の頃に実の両親が離婚。その後、母親が再婚し、再婚相手である義父との間に2人の弟（次男と三男）が誕生しました。横山裕から見ると、2人の弟は父親が異なる異父弟にあたります。
幼少期、横山裕は義父との折り合いが悪く、義父から激しい折檻や差別的な扱いを受ける日々が続いたと、本人が過去の手記やインタビューで明かしています。一時期は祖父母の家に預けられて育つなど、不安定な少年時代を過ごしました。中学校卒業後は高校へ進学せず、家計を助けるために建設会社で「棒芯（現場の職長）」として過酷な肉体労働に従事していました。
その後、ジャニーズ事務所（現STARTO ENTERTAINMENT）に入所しトップアイドルへの階段を駆け上がっていた2010年5月、母親が50歳の若さで急逝します。当時、母親は再婚相手とも離婚しており、残された弟たちの生活基盤は完全に失われました。当時29歳だった横山裕は、「自分がこの子たちの父親代わりになる」と決意し、弟たちの保護者として人生を背負う覚悟を固めました。
