关于顾沅藏书，一部分为祖上传下来，自己又先后历经二十余年的购买和传抄。曾自云：“承先人遗训，束发即有志収罗，见刻本之善者必购得之，无刻本者就藏书家写之?！痹妗恫厥橥肌?，蒋宝宾题记云：“湘翁总角时即喜购书，迄今二十载，得数万卷，宋之旧刻，名人抄录，靡不兼备，目批手校，寝食忘倦。”孙燮撰《艺海楼藏书记》曰：“长洲顾君湘舟敏悟好学，家藏书籍甚富。为园于葑门西双塔寺之侧，中构一楼颜曰艺海。迄今越六十年，身殁言立，购其遗集藏之，所以补四库之未备。至宋元旧刻，人世稀有之本，略购一二，以无力不能遍搜，计得书十万余卷，又碑刻四千余种，书画千余家，并藏楼中?！毖д哐钪亵嗽谄兰酃耸弦蘸Ｂゲ厥槭?，称其“不及四库者600余种，而四库未及者2000余种”。在顾沅的藏书中，地方文献是其藏书的重要组成部分，据《吴县志》所载，有《韩蕲王祠墓志》、《韩蕲王墓碑考释》、《花籍祠堂志》、《玄妙观志》、《沧浪亭志》、《七姬庙志》、《吴中金石志》，《江左金石志》、《吴郡名贤象传赞》以及《吴郡文编》等十多种，这些著作有的已佚失，有的仍有刻本流传，其中篇幅最大的《吴郡文编》，现存苏州市博物馆。

顾沅藏书自咸丰元年（1851）后日见流散，同治间太平军失败退出苏城后，他的遗书大部分为新任江苏巡抚丁日昌借保管为名，巧取豪夺，捆载以去。晚清苏州文人叶昌炽在其《藏书纪事诗》中提到：“湘舟辟疆园在郡城甫桥西街，庚申之劫，其所藏尽为丰顺丁中丞捆载以去?！冻志舱槟俊匪迹嗥浼沂橐??！泵窆逼谒罩莶厥榧彝蹂涝谄洹缎共厥榧褪率分兴担骸拔椅飧η盼鹘直俳肮耸弦蘸Ｂィ蜿倨讣鸺倚熳咏担┯胩骄擞芯?，所藏图书彝器之属，尚翼蔽之而封锁无恙。讵怀璧其罪，太平军失利后，一日，忽有牙将材官之属数十人，汹汹持令箭搜抄，名曰“惩通敌，封逆产”，而所封者，悉系雅物，田园屋宇之属不计焉?！庇纱丝芍耸现厥榇蟛糠直欢∈下白撸淦⒃谕庹撸胁恢布福挥邪谕阉姆治辶?、流离失散的命运。

顾沅藏书印有“彭城仲子审定”、“湘舟过眼”、“古吴武陵叔子湘舟氏珍藏”、“顾沅湘奏氏”、“武陵怀古书屋收藏”、“澧兰又号湘舟”、“臣沅之印”、“秘香阁收藏”等。