太平天国时，随园被废为耕地。日本侵入后，将随园残存建筑改为“神社”，祭祀其“天照大神”。如今，一座可容纳10万观众的露天体育场和一座万人体育馆建于随园故址。此地成了江苏地区的体育活动中心。
还有一说，谓江宁织造府的衙署是大观园的真址。康熙南巡时，几次都把曹寅的织造署作为他的行宫，织造署能作为皇帝行宫，其规模应该相当可观。曹雪芹出生在江宁织造府内．对其规模、格局非常熟悉，把它作为大观园的素材是有可能的。
江宁织造府是在明初陈理的汉五府和永乐皇帝之子朱煦的汉王府的基础上改建而成的。1751年，两江总督尹继善为迎接乾隆皇帝南巡，把江宁织造府改建为乾隆南京行宫。此行宫范围很大，东到逸仙桥，西到碑亭巷，南到利济巷，北到长江路、汉府街。至今，中山东路和太平路相交处一带还称为“大行宫”。从保存至今的南京行宫图上看，宫内有绿静榭、听瀑轩、判春室、钟中亭、塔影楼、彩虹桥、钓鱼台等胜迹。太平天国曾在此建天王府，清军攻入后，将其焚毁。1984年，南京兴建幼儿教育中心楼，在大行宫小学东南角挖地槽时，发现假山石基、蟠龙图案瓦当、色染织料、烧有“怡”字的残瓷碗底等。在修建大行宫小学时，曾在校园西北角的亭子里发现一石碑，上有“红搂一角”四字。可见，“江南织造府”对大观园的构思可能确有影响。
何处大观园？金陵何处大观园？作为《红楼梦》研究中的问题，还会引得不少人搔首踯躅。但有一点是可以肯定的：没有随园、江宁织造府、南京行宫这样一些胜迹佳境的熏陶和启发，雪芹先生不可能具有一支绘出大观园的生花妙笔。
