家康の命を受けた井伊直政によって建てられた高崎城の城址にある。

1945年11月　音楽で街を復興させようと、高崎市民オーケストラ（現在の群馬交響楽団）が設立されたが、演奏会だけでは安定した収入が得られず、移動音楽教室を始めた。県内の学校や施設を楽器を持って廻り、映画「ここに泉あり」のモデルとなった。映画はヒットし、音楽ホール建設の機運が起こる。人口数十万の地方都市では難しかったが、実業家の井上房一郎氏が市民オーケストラを設立。全国の都道府県にひとつのフィルハーモニーと音楽堂をと願い、チェコ出身のアントニン・レーモンドAntonin Raymond  氏を指名。1919年に、師であるフランク・ロイド・ライト氏と帝国ホテル建設の為に来日したのだが、日本で44年間過ごし、日本に400あまりの建物を残した。霊南坂の自邸（1923）、初期の作品として東京女子大学礼拝堂（1938）、軽井沢の聖パウロ教会（1934）など。
前田國男氏や吉村順三氏など蒼々たるメンバーが一緒に。


レーモンド氏の第1案　円形　
井上氏がクラシック音楽をよりよく聴き、歌舞伎をはじめとする東西の演劇も出来るようにと変更依頼。
レーモンド氏第2案　舞台装置などをしまっておくフライタワーを備えたもの。建設予定地が高崎城址になると、レーモンド氏自身が景観を壊してしまうと却下。
レーモンド氏第3案　扇形として、柱無しで折板構造に。ステージの左右を広げてフライタワーの代わりとした。
1959年6月着工。
コンクリートを型枠に打ち込む作業が大変で、予算を減らす為に12センチの薄さの屋根とした。施工は井上氏の井上興業が行った。総工費は3億3000万円。因みに当時の高崎市の年間予算は8億円だった為、3億3千万のうち3分の1は市民の寄付による。1961年7月完成。
幅58.4ｍ、高さ17.3ｍのガラス面が特徴的。青いスチールサッシに嵌め込まれたガラスが壁一面を覆うカーテンウオールが正面。


外は曲線のないフォルムなのに対し、中は曲線の階段となっており、折半構造の手摺りには、丸いくりぬきがあるが、コンクリートの重量を減らす為。テラゾー（人造大理石）の手摺り。

2階ホワイエ　
ホール側の壁面はフレスコ画「リズム」。下絵をアントニン・レーモンド氏、フレスコ画を石澤久夫氏（地元高崎の画家）が制作。