館の設計を手掛けたのは、アメリカ人建築家ジェームズ・マクドナルド・ガーディナーである。1986年にはその建築的・文化史的価値が高く評価され、建物全体が京都市指定有形文化財に指定された。東山連峰の緑に包まれた外観は、重厚な石造りと華麗な装飾が見事に融合し、格式高い存在感を放つ。
この建物が誇る最大の特徴は、部屋ごとに異なるヨーロッパの伝統様式を取り入れた類まれな造形美にある。ロココ調の繊細なバロック装飾が施された応接室、ヴィクトリア朝デザインのステンドグラスが光を注ぐサンルーム、ルネサンス様式のエレガントなダイニングルームなど、一歩踏み入れるごとに異なる時代や国へと旅しているかのような錯覚を覚える。まさに明治洋風建築の頂点を示す動く美術館と言えるだろう。