吕颐浩先后二次罢相，第一次罢相时“徙家临海”，复职后力倾秦桧“专主和议、植党专权”，使秦桧罢相长达七年；第二次罢相后，取唐杜甫“穷老真无事，江山且定居”之意，选择临海巾子山东麓筑“退老堂”以居。他还曾在“溪径迂回，林峦秀艳”的景福寺消夏时，建石亭于寺旁。后人遂以命名，亭所处之山为“吕亭山”，亭边之村为“吕亭山村”。即今括苍镇上坪村。

　　史载吕颐浩“有胆略，善鞍马弓剑，当国步艰难之际，人倚之为重。”然而任用私人，且“报复恩仇”是其缺点。所创立的月桩钱后来衍生名目众多，被认为“郡县横敛，铢积丝累，江东、西之害尤甚。”