周军正阳浮桥建成，扼住南唐援军的进路。林仁肇亲自率领一千敢死士，用船载着薪柴牧草，乘风放火，欲焚毁浮桥。不料风向转变，不利火攻，周军大将张永德趁机进战，唐军大败。
这时林仁肇单马殿后，并将张永德射来的箭矢全部挡开。后来南唐向后周割地求和，林仁肇被任命为镇海军节度使，不久又改镇武昌。
960年（建隆元年）后周大将赵匡胤建立宋朝，是为宋太祖，并平定淮南节度使李重进的叛乱。此后淮南各州兵力薄弱。
970年（开宝三年）私下向南唐后主进言道：“淮南兵力很弱，宋国又连年用兵，先后平定西蜀、荆湖、岭南，千里奔波，士卒劳累，这正是可乘之机。陛下只要给臣数万兵马，臣就能夺取淮南。陛下可以对外宣称臣起兵反叛，那么臣若成功，淮南归国家所有，臣若兵败，陛下便灭我满门，以此表示陛下并不知情。”后主听后惊道：“你千万不要胡说，这会连累到国家的。”不久，林仁肇便被任命为南都留守、南昌尹。
林仁肇出身行伍，后虽担任将帅，仍能与士卒同甘共苦，因此深得军心。但是皇甫继勋、朱令赟等人与林仁肇关系不和，便在唐后主面前进谗言，称他向宋朝求援，要在江西自立。宋太祖也对林仁肇非常忌惮，便贿赂他的随从，得到他的画像，悬挂在别室中。
972年（开宝五年）郑王李从善到汴京朝贡。宋太祖带李从善观看林仁肇的画像，道：“林仁肇将前来投降，先用这幅画像为信物。”又指着空着的馆宇道：“这是我准备赐给林仁肇的。”李从善命人回报后主。后主不知这是反间计，便暗中命人将林仁肇鸩杀。