横山には6歳下の弟（次男・勤さん）と8歳下の弟（三男・充治さん）がいます。前述の通り弟たちとは父親が違う異父兄弟ですが、横山にとって2人はかけがえのない宝物であり、誰よりも大切に慈しんできた存在です。
母親が体調を崩し、やがて他界した後は、横山が事実上の「一家の大黒柱・親代わり」となりました。弟たちには自分のような苦労をさせまいと、次男の専門学校費用や三男の大学進学における学費や下宿代、生活費のすべてを全額支援。さらに、弟が一人暮らしを始める際には車をプレゼントするなど、兄の枠を超えた深い愛情を注ぎ続けました。
弟たちへの献身を象徴するエピソードとして、次男の結婚式でのスピーチがあります。横山は弟の晴れ舞台のために自らサプライズ演出を企画し、トランペットの生演奏をプレゼント。披露宴の挨拶では「オカン、見てるか。勤が結婚したぞ」と涙ながらに天国の母へ語りかけ、会場中を大号泣させました。また、一時期ショックから記憶喪失に陥ってしまった弟を献身的に看病し、記憶を取り戻させたという壮絶な絆のエピソードも語り継がれています。
