三菱財閥4代目の岩崎小彌太氏の邸宅だったが、空襲で建物は焼失し、1919年完成の旧古河庭園を作庭した7代目小川治兵衛氏（1860～1933）による日本庭園だけが残った。戦後、ジャーナリストの松本重治氏が発案し、ジョン・ロックフェラー3世率いるロックフェラー財団の支援と、国内外の支援で1955年竣工。登録有形文化財。鉄筋コンクリート造、地上3階、地下1階、宴会場・宿泊室・レストランなどを備えている会員制の施設。著名人の講演が数多く開催された場所で、ロバート・オッペンハイマー氏まで登壇している。その後、1974年のオイルショックなど解体の危機が2度あったが、2004年に保存要望書が提出され、存続にいたった。
モダニズム建築で昭和を代表する3人の建築家である前川國男氏、坂倉準三氏、吉村順三氏による。前川氏と坂倉氏は渡仏してル・コルビュジエ氏にパリで師事、帰国後に坂倉氏はアントニン・レイモンド氏の事務所に入ると、そこに吉村氏がおられたという関係。設計者の候補として3人の名前があがったが、ひとりに決められない為、費用も時間も短くて済むという点から3人での共同設計とし、1953年設計がスタートし各事務所から若手社員が集まったが、3人が別々に現場にやって来ては異なる指示を出す上、決定には3人の承認が必要だった為、予定よりも設計は長引いたのだそう。


3人の特徴は、水平垂直な力強い構造の前川國男氏、繊細で美しいプロポーションの坂倉準三氏、モダンの空間に和を融合させた住宅建築の吉村順三氏。建物の外観は、装飾を廃して水平と垂直をいかしたシンプルなデザインで坂倉準三氏が設計、木のサッシは前川國男氏が骨太のサッシを指示し、しかし木は吉村順三氏の得意とする分野だったとか。庭園を望むレストランなどの建物は、吉村順三氏が平安時代の寝殿造の様式である「釣殿」を取り入れた。しかし、3名のどなたがどの部分を担当したのか、より詳細を示すものは殆ど残っていないとのこと。

エントランスは、光がたくさん入ってくる所に、柱とシンプルな水平垂直なラインで、1975年（改修時）に、前川國男氏が設計。