昭和の大スターである渡哲也を実兄に持ちながらも、渡瀬恒彦は決して「兄の七光り」に頼ることはありませんでした。兄が名門・日活のアクションスターとして華々しく活躍する一方、弟の渡瀬恒彦は東映に入社し、泥臭いヤクザ映画やアウトロー役で下積みを経ながら自らのポジションを切り拓いていきました。
所属会社が異なっていたこともあり、若い頃はライバル関係として見られることも多かった二人ですが、根底にあったのは深い兄弟の絆でした。NHK大河ドラマ『勝海舟』で渡哲也が病気降板した際、渡瀬恒彦が代役の候補に挙がるなど、常に互いの動向を気遣い合っていました。兄・渡哲也が石原プロモーションの社長として重責を背負い、大病を患った際にも、弟として精神的な支えになり続けました。
晩年、渡瀬恒彦の病状が悪化した際には、渡哲也自身も体調を崩しながら足繁く見舞いに訪れ、弟の手を握り励まし続けたと伝えられています。渡瀬恒彦の逝去時、渡哲也が絞り出すように発表した「幼少期から何事も兄を立ててくれた最愛の弟を亡くしました」という追悼コメントは、多くの人々の涙を誘いました。
