大会に向けた都市インフラや競技施設の計画は、当時の技術とスケールを結集した壮大なものでした。当初メインスタジアムには明治神宮外苑競技場の大規模改修が予定されていましたが、神域の景観を損ねるという明治神宮側の強い反対に遭い、計画は難航します。
そこで浮上したのが、東京府荏原郡駒沢町（現在の世田谷区駒沢）にあるゴルフ場跡地でした。ここにおよそ10万人を収容可能な超巨大メインスタジアムを建設し、周辺に陸上競技場、水泳場、屋内競技場を集約する「総合運動場構想」が策定されたのです。さらに選手村は現在の世田谷区等々力付近に計画され、選手輸送のために放射道路や高速鉄道網を整備するという、現代の都市計画の先駆けとなる図面が引かれていました。
これらの建設計画は返上によって一度は白紙に戻されたものの、その用地と構想は完全に失われたわけではありませんでした。戦後、この駒沢の広大な敷地は1964年東京オリンピックの第2会場（駒沢オリンピック公園）として見事に再生され、幻の都市計画は四半世紀の時を経て結実することになります。
