自从刘安澜去世以后，春梅、安泩还小，刘安江自然成了刘家孩子中的老大，何况自已是为人之夫，为人之父，况且阿爹年岁已高，他深知自己对这个家庭责任重大。他经常督促安泩的学习，经常参与阿爹的经营。
那是1885年的秋天，一天，刘安江找父亲商量：阿爹，早期买下的地盘至今还闲置着，十分可惜，倒不如把它建成一个园林，待您和姆妈老了以后，在里面休闲养生，享受晚年。
刘镛笑道：你的想法很好。阿爹只是个生意人，哪里知道那些园林建筑。要就不搞，要搞就要搞成有特色。搞得不三不四，反遭人笑话。你是个读书人，知道什么叫‘诗情画意’，什么叫‘意境’，阿爹是‘擀面杖吹火—一窍不通’。你多动动脑子。
安江道：阿爹说得也是。我有一个苏州好友，专为他人营造园林，不妨请他来一看，先拿出一个整体规划，大方向确定以后，然后，分期实施。
刘镛道：那也使得。
刘镛又道：哎，这地方也有个问题，当时买下这地时，靠南面交界的地是庄家的，三块银元铺满整块地他家也不卖。故靠南面开正门是开不出的。不知风水上行不行？
安江笑道：那先请风水先生前来看看，再作道理。
刘镛道：那也使得。
......
风水先生拿了罗盘左看看右看看。笑着对刘镛、安江道：此地乃一块风水宝地。北临鹧鸪溪，此园建时，南面围墙、门向北，有风有水，所有财气全收其中。如果，北面是围墙，紧临鹧鸪溪，大门朝南，反而成了‘背水一战’。
刘镛、刘安江听后大喜。
刘安江又特地从苏州请来了营造师。
营造师在现场看了地形，丈量了实际尺寸，提出了自己的想法：
园林以荷花池为中心，依地形设山理水，形成内外两园。
内园是一座园中园，处于外园的东南角，以山为主体。仿唐代诗人杜牧《山行》之意，凿池栽芰，叠石成山。山道弯弯，半山苍松，半山红枫，枫林松径，山路回转，小巧而又曲折，宛然一座大盆景。此园与外园以粉墙相隔，又以漏窗相通，似隔非隔，内外园山色湖光，相映成趣。
外园以荷池为中心，池广约十亩，沿池点缀亭台楼阁，步移景异。每到五月清荷含苞待放，雨中观之，赏心悦目，心旷神怡。
荷池南岸主体建筑“退修小榭”，临池而建，主客面对荷池，赏花观鱼，品茶吟诗，岂不是一种享
…。。