淳熙七年（1180年），四十一岁的辛弃疾再次任知隆兴府兼江西安抚使时，拟在上饶建园林式的庄园，安置家人定居。
淳熙八年（1181年）十一月，由于受弹劾，官职被罢，辛弃疾回到上饶，开始了他中年以后的闲居生活。此后二十年间，他除了有两年一度出任福建提点刑狱和福建安抚使外，大部分时间都在乡闲居。
淳熙十五年（1188年）冬，其友陈亮从故乡浙江永康专程拜访辛弃疾，两人于铅山长歌互答，称第二次鹅湖之会（即辛陈之晤）。
绍熙五年（1194年）夏，辛弃疾又被罢官回上饶，住在瓢泉，动工建新居，经营瓢泉庄园，决意“便此地、结吾庐，待学渊明，更手种、门前五柳”。
庆元二年（1196年）夏，带湖庄园失火，辛弃疾举家移居瓢泉。
庆元四年（1198年），辛弃疾被授予主管冲佑观之职。”