旧朝倉家住宅のもうひとつの主役が、南側の斜面に広がる広大な回遊式庭園です。この庭園は、武蔵野台地の端にあたる「国分寺崖線(シントオ坂の斜面)」の高低差をたくみに取り入れて造園されています。
庭園内には石灯籠や巨大な庭石がリズミカルに配され、起伏に富んだ小道を歩きながら視点が変わるごとに異なる風景を楽しめる工夫が凝らされています。春にはツツジやサツキが鮮やかに咲き誇り、初夏には深い青もみじと苔の緑が瑞々しく輝きます。
なかでも多くの観光客を魅了するのが、11月中旬から12月上旬にかけての紅葉シーズンです。主屋の和室から額縁のように切り取られる紅葉のグラデーションは、渋谷区内屈指の絶景として知られています。都心のど真ん中にいながら、まるで京都の名刹を訪れたかのような静寂と風情を味わえます。