灵素失去皇帝的欢心和京师民众的支持，威势大不如前，他因而产生退意，上表乞归。

今年九月，因为林灵素曾经在京师遭遇洪水后建言宋徽宗迁都南方避祸，并且与朝中蔡京、童贯等重臣有了一些不合，全台上言弹劾他道：“灵素妄议迁都，妖惑圣听，改除释教，毁谤大臣，其罪难恕。”

宋徽宗虽然没有治林灵素的罪，但也不愿意再将他留在身边。十一月，宋徽宗放林灵素归山，在他家乡赐予宫祠，让林灵素回温州居住。宋徽宗曾经迷信的一代仙师林灵素就这般离开了东京汴梁城的**漩涡。

西门庆听了陆小乙之言，心中暗道可惜。那林灵素将西门庆视为前辈高人，对西门庆言听计从，实在有利于西门庆在东京汴梁城中的一些秘密行动。

如今这神棍走了，在京师里是没有办法再利用他了。或许将来在温州那里，神棍林灵素还能发挥一些效用吧！