霞会館の起源は、明治維新直後の1874年（明治7年）に発足した「華族会館」にまで遡ります。明治政府は旧公家や旧大名、国家に勲功のあった軍人・政治家らを「華族」として位置づけ、特権階級としての身分秩序を整備しました。華族会館はその親睦や品位保持、相互扶助を目的とした機関として創設され、一時期は鹿鳴館の建物を本部として利用していた歴史もあります。
第二次世界大戦の終戦に伴い、1947年（昭和22年）の新憲法公布によって華族制度は完全に廃止されました。法的身分としての特権を失った旧華族たちですが、伝統的な連帯と文化継承を維持するため、会名を「霞会館」へと改称。社団法人として再出発を切りました。「霞会館」という名称は、当時拠点を置いていた霞が関の地名に由来しています。
