绍圣元年，章惇为相，以翟思、张商英、周秩居言路，论公著更熙、丰法度，削赠谥，毁所赐碑，再贬建武军节度副使、昌化军司户参军。徽宗立，追复太子太保。蔡京擅政，复降左光禄大夫，入党籍，寻复银青光禄大夫。绍兴初，悉还赠谥。子希哲、希纯。

希哲字原明，少从焦千之、孙复、石介、胡瑗学，复从程颢、程颐、张载游，闻见由是益广。以荫入官，父友王安石劝其勿事科举，以侥幸利禄，遂绝意进取。安石为政，将置其子雱于讲官，以希哲有贤名，欲先用之。希哲辞曰：“辱公相知久，万一从仕，将不免异同，则畴昔相与之意尽矣。”安石乃止。

公著作相，二弟已官省寺，希哲独滞管库，久乃判登闻鼓院，力辞。公著叹曰：“当世善士，吾收拾略尽，尔独以吾故置不试，命也夫！”希哲母贤明有法度，闻公著言，笑曰：“是亦未知其子矣。”

终公著丧，始为兵部员外郎。范祖禹，其妹婿也，言于哲宗曰：“希哲经术操行，宜备劝讲，其父常称为不欺暗室。臣以妇兄之故，不敢称荐，今方将引去，窃谓无嫌。”诏以为崇政殿说书。其劝导人主以修身为本，修身以正心诚意为主。其言曰：“心正意诚，则身修而天下化。若身不能修，虽左右之人且不能谕，况天下乎？”

擢右司谏，辞，未听，私语祖禹曰：“若不得请，当以杨畏、来之邵为首。”既而不拜。会绍圣党论起，御史刘拯论其进不由科第，以秘阁校理知怀州。中书舍人林希又言：“吕大防由公著援引，故进希哲以酬私恩。凡大防辈欺君卖国，皆公著为之倡；而公著之恶，则希哲导成之，岂宜污华职。”于是但守本秩，俄分司南京，居和州。

徽宗初，召为秘书少监，或以为太峻，改光禄少卿。希哲力请外，以直秘阁知曹州。旋遭崇宁党祸，夺职知相州，徙邢州。罢为宫祠。羁寓淮、泗间，十余年卒。

希哲乐易简俭，有至行，晚年名益重，远近皆师尊之。子好问，有传。

希纯字子进，登第，为太常博士。元祐祀明堂，将用皇祐故事，并飨天地百神，皆以祖宗配。希纯言：“皇祐之礼，事不经见，嘉祐既已厘正。至元丰中，但以英宗配上帝，悉罢从祀群神，得严父之义，请循其式。”从之。

历宗正、太常、秘书丞。哲宗议纳后，希纯请考三代昏礼，参祖宗之制，博访令族，参求德配。凡世俗所谓勘婚之书，浅陋不经，且一切屏绝，以防附会。迁著作郎，以父讳不拜。擢起居舍人，权太常少卿。

宣仁太后崩，希纯虑奸人乘间进说摇主听，