原为明文霞明孙肇祉别墅。初于虎丘南岸辟地结庐，名海涌山庄。因凿池及泉，池成而塔影见，更名为塔影园。后为居士贞赁居。天启年间归吴江赵氏。清顺治初，遗民顾苓购得改筑，名云阳草堂，中有松风寝、照怀亭、倚竹山房诸胜，四方名士过虎丘者多来游赏。清乾隆年间，蒋重光购得废址建园，俗称蒋园。有宝月廊、香草庐、浮苍阁、随鸥亭诸胜。嘉庆二年（1797年），苏州知府任兆炯改建为白公祠，祀唐苏州刺史白居易。中有思白堂，旁为怀杜阁、仰苏楼，供少陵、东坡木主。又有万丈楼，在怀杜阁之东，供李青莲木主。疏泉叠石，花木郁然，为官府公余宴集并往来嘉客游览之所。道光五年（1825年）吴县知县万台修，增建慕李轩。咸丰十年（1860年）遭兵灾废毁。

光绪二十九年（1903年）年十二月己卯，予故大学士李鸿章苏州专祠，列入祀典。予故盐运使李昭庆、附祀李鸿章苏州专祠。从两江总督魏光焘等请也。园亦划归祠内，名靖园。亭榭山石，荷池旱舫，花木幽雅。游虎丘者，常于此休息。辛亥革命后，李鸿章祠逐渐冷落，曾一度公开收取门票，任人游览，以资贴补。苏州沦陷期间，日军改作草席厂。抗战胜利后，驻守虎丘自卫队，又改作造纸厂。1948年，安徽人士于此办私立淮上中学。解放后，学校易名为虎丘初级中学，后为第二十八中学，现为苏州幼师。