リングを去った後の渡辺二郎は、タレント活動やスポーツバーの経営などを試みたものの、いずれも長続きしませんでした。現役時代に築いた人脈と知名度に群がってきたのは、華やかなタニマチだけではなく、莫大な資金力を持つアングラマネーの住人たちでした。持ち前の腕っぷしと胆力、そして元世界王者というネームバリューは、裏社会の人間にとって利用価値の高い看板となったのです。
渡辺の最初の重大な逮捕劇は1999年に訪れます。銃器売買をめぐる銃刀法違反（譲渡・所持）の疑いで大阪府警に逮捕され、懲役4年6月の実刑判決を受けて栃木刑務所に服役しました。世界王者が拳銃密売に関与したという事実は、当時の社会とボクシング界に計り知れない衝撃を与えました。
さらに出所後、彼を決定的な破滅へと追い込んだのが2007年の「羽賀研二未公開株詐欺・恐喝未遂事件」です。タレントの羽賀研二が知人男性に未公開株を高値で売りつけ、約4億円を詐取したとされるトラブルにおいて、渡辺二郎は借金返済を免れようとする羽賀側の「用心棒・交渉役」として介入。大阪市内のホテルで被害者に対し、暴力団の影をちらつかせながら「この話をチャラにしなければ命はない」といった趣旨の脅迫を行い、債務を放棄させようとした容疑で逮捕・起訴されました。
裁判は一審の大阪地裁で無罪判決を勝ち取る波乱の展開を見せたものの、二審の大阪高裁で逆転有罪。2011年に最高裁判所が上告を棄却したことで、懲役1年6月の実刑が確定しました。かつて栄光の頂点に立った世界王者が、詐欺師の恐喝に加担して服役するという結末は、渡辺の社会的信用を完全に失墜させました。
