廉泉、夜话亭的来历是这样的：南北朝刘宋元嘉年间（424-435年），一夕雷震，泉忽涌出，当地人以太守廉洁于是取名为“廉泉”。

    北宋绍圣年间，苏东坡因反对王安石的变法而被朝廷贬到惠州。路过赣州时，苏东坡拜访了当时著名的隐士阳孝本，两人一见如故，颇为投机，俩人遍访当地名胜，在廉泉水边通宵长谈。苏东坡为此还赋诗：“水性故自清，不清或挠之。君看此廉泉，五色烂摩尼”。后来人们在泉边建了夜话亭，在亭中竖了一块高2米多的石碑，上刻“苏阳二公夜话图”。这块石碑现在为江西省级文物保护单位。

夜话亭，位于江西赣州古城区东南，现厚德路的赣州市第一中学内。旁有一泉，相传南北朝刘宋元嘉年间（424-435年），一夕雷震，泉忽涌出，遂以太守廉取名“廉泉”。宋知军越履祥建廉泉亭。
　　北宋绍圣元年（1094年）苏轼贬官岭南，过虔州（今赣州），慕名造访当地名贤阳孝本，两人相处甚欢，游祥符宫，观廉泉并在此谈心至深夜和作诗。因此后人改廉泉亭为夜话亭。清康熙六十年（1721年）撤亭建坊，额为“章贡第一泉”。乾隆四十三年（1778年）易坊为亭。额为“光风霁月”，并仍悬“章贡第一泉”匾于此。现在的夜话亭为新建，尚存乾隆濂溪书院山长吴湘皋刻的《苏阳二公夜话图》碑。列为省级文物保护单位。