顺境见心智，逆境担责任。“无奈”是一种他无法掌控个人命运的叹息，但也是他坚守自己道德品质的呼唤。这是秦观。越是忍受巨大的精神压力，越是佩服。
绍圣四年(1097年)，秦观被贬衡州(今广西横县)。四年里，他连续四次被降职，差点被当成犯人带到衡州。
雾失塔，月过迷宫。桃源无处可寻。可错过了孤独的大厅关闭在寒冷的春天，詹妮弗的声音夕阳黄昏。
送梅花，穿万素。砌这个讨厌不重复。陈江星绕过陈山，为他流下潇湘。
——《踏足沙星郴州旅舍》
这也是秦观的代表作。王国维在《人间词话》中指出“在词话里呆的时间少了，直到‘冷泉闭关，詹妮弗声音里的夕阳变得凄厉’，才是最辛酸的”。凄厉的叫声说明秦观的精神几乎崩溃了。然而，自古以来，很少有人意识到诗人写这句话时的心情。清初学者王世贞说“陈强有幸绕过陈善，为其舍潇湘”是“千古绝唱”，却没有意识到这两句话背后，秦观的“千古绝唱”。
在衡州，秦观寄居在一个叫朱的家里，终日饮酒作乐。
秦观被贬的最后一站是雷州(今广东湛江)。在那里，他为自己写了悼词。死亡对他来说只是时间问题。
婴儿烦恼迁徙贫穷，汝哀而亡。
官员来记录我，官员来检查我的身体。
藤捆木棺，冢路在陂旁。
老家千里，老婆远。
孤独的灵魂不敢回去，还在这里。
昨天，我名垂青史，我是个金童玉女。
一场奇怪的灾难曾经发生过，但它降临了。
如果你懦弱孤独，什么时候才能回到骨子里？
想修山海，一定要管吗？
一毒接一毒，何仓娜学会了。
60岁的棉若江行色匆匆，鸟兽哀鸣。
空冷雨零，萧瑟阴风吹。
葬礼上，苔藓诞生了，纸币被用来挂空树枝。
没人喝稀的，谁喝黄的配米饭。
没有挽歌，空有挽歌。
——《自制词》
悲痛、恐惧、黑暗，这是一首在死亡前后都令人绝望的挽歌，读来令人难以忍受。现代医学分析，秦观已经是重度抑郁症患者。
然而他的老师苏轼却无法理解秦观的苦闷。
傅园三年(1100年)，宋哲宗去世，政局变化，退位的人陆续被召回。6月，苏轼从海南渡雷州，与秦观相会。秦观把自己自制的悼词拿给苏轼看，苏轼看完哈哈大笑。他认为秦观对老庄的研究是完美的，“生死在一起，我失物，奏此语”，不必当真。他把秦观的痛话当成了游戏话，并没有放在心上。可见人类的喜怒哀乐并不相通，尤其是天性哲学悲观的人，更难看到事物的同一面。
这次重逢，秦观还发了一阕词:
我们就像南方的燕子和北方的天鹅，偶尔相遇，脸上带着悲伤和悲伤。绿庵去朱妍，又见两个失败者。天下之后，你就不用问了，无限的事，都不在话下。