渡瀬恒彦さんを語るうえで欠かせないのが、日活の大スターであり石原プロモーションを率いた実兄・渡哲也さんとの絆です。芸能界広しといえど、兄弟そろって映画・ドラマのトップスターとして君臨し続けた例は極めて稀です。
若い頃は互いに比較されることを避け、あえて距離を置いていた時期もありましたが、根底には深い尊敬と兄弟愛がありました。渡瀬さんが病に倒れた際、渡哲也さんもまた重い呼吸器疾患を抱えて闘病中であり、電話で互いの体調を気遣い合っていたと伝えられています。渡瀬さんの訃報に際し、渡哲也さんは「幼少期から今日に至るまで、何事にも全力で立ち向かう自慢の弟でした」と痛切な追悼コメントを発表しました。
また、私生活では1973年に女優の大原麗子さんと結婚。美男美女カップルとして世間の注目を集めたものの、互いに超多忙を極めたことから1978年に離婚となりました。別離後も互いの役者人生を認め合い、大原さんが2009年に他界した際も、渡瀬さんは静かに哀悼の意を捧げています。その後再婚した一般女性の妻・いづみさんは、渡瀬さんの最期まで献身的に看病を続け、その闘病生活を陰で支え抜きました。
