二人の破局には、単なる性格の不一致では片付けられない胸の詰まる背景があった。前妻との間には子供が誕生していたが、その中には未熟児として生まれた双子の娘がいた。しかし、そのうちのひとりは生後わずか数カ月でこの世を去るという過酷な悲劇に見舞われている。
愛児の夭折という耐え難い苦痛は、若い夫婦の心に深い傷を残した。生活再建に向けた多忙さと心のすれ違いが重なり、1990年頃に双方は離婚を選択。子供たちの親権は前妻側が持ち、赤井は妻子と離れて単身新たな人生を歩む決断を下す。離婚後、前妻は一般人として京都で子供たちを女手一つで育て上げ、メディアへの露出を一切避けて静穏な生活を守り抜いた。
長男や長女は芸能界とは距離を置き、一般社会で自立した生活を送っていると伝えられている。父親の知名度に頼ることなく、それぞれの家庭やキャリアを築き上げた子供たちの姿勢には、母親である前妻の気骨ある教育方針が深く息づいている。
