彼のキャリアの頂点であり、同時にその後の運命を大きく狂わせる契機となったのが、世界王座の統一を巡るドラマだった。1982年、渡辺はラファエル・ペドロサを破って世界ボクシング協会（WBA）スーパーフライ級王座を獲得。防衛を重ねて確固たる地位を築いた後、1984年に行われたWBA世界スーパーフライ級タイトルマッチの防衛ロードの先に、ひとつの大きな野望を抱く。世界ボクシング評議会（WBC）の王者であったパヤオ・プーンタラットとの王座統一戦である。
当時、統轄団体の対立により王座統一は極めて困難とされていたが、渡辺は世界ボクシング評議会（WBC）王者であるパヤオ・プーンタラットとの対決を決断。しかし、これを認約しなかった世界ボクシング協会（WBA）からタイトルを剥奪される事態に見舞われる。背水の陣で挑んだパヤオ戦で見事判定勝ちを収め、日本人初となる同一階級での2団体王座奪取という快挙を達成したものの、この一件が組織の論理と個人の野心が衝突した象徴的な出来事として歴史に刻まれた。
