この組織の起源は、1874（明治7）年に設立された「華族会館」にまでさかのぼる。明治維新によって公家や大名が再編された際、彼らの団結と地位維持、そして国家への貢献を目的に結成されたのが始まりだ。
組織の基礎を固め、長年にわたり館長として君臨したのが徳川家達である。徳川宗家16代当主であり貴族院議長も務めた家達は、華族同士の親睦にとどまらず、慈善事業や教育支援、国際親善の場として会の格調を高めた。戦後の華族制度廃止に伴い「霞会館」へと改称された後も、家達が遺した「品格と奉仕」の精神は、いまも会員たちの規範として息づいている。
