林下武志を語る上で欠かせないのが、世間を驚かせ続けた波乱万丈な結婚歴です。通算で7回以上の結婚・離婚を経験していると本人が明かしており、その人間味あふれる関係性は常に注目の的となってきました。
最初の妻である佳美（よし美）さんとは、結婚と離婚を3回繰り返しました。4男4女の計8人の子供をもうけ、番組初期の激動期を共に支え合ったパートナーです。度重なる別れと復縁を経たものの、大家族の礎を築いた存在として語り継がれています。
そして2011年に再婚し、日本中に大きなインパクトを与えたのが美奈子さんでした。美奈子さんの連れ子5人を迎え入れ、さらに2人の間に五女が誕生したことで、合計14人の超大家族として小豆島で新生活をスタート。しかし、教育方針や価値観の相違から2013年に離婚に至りました。
その後も一般女性との電撃結婚とスピード離婚を経験するなど話題が途切れませんでしたが、現在は特定の配偶者を持たず、独身生活を謳歌しています。「来る者は拒まず、去る者は追わず」という独自の恋愛観を持ちながらも、過去のパートナーたちに対しては今も感謝と敬意を忘れていません。
