1977年出任中国历史博物馆党史研究室主任。[5]1978年春，他撰写的《科学和迷信》一文批判了对毛泽东的迷信[6]。该文经改写后发表于《中国青年》杂志，并获得了胡耀邦的赏识。时任中共中央宣传部部长的胡耀邦因此将其调入中宣部工作，担任理论局副局长。1979年，他受三联书店董秀玉之邀为《读书》杂志创刊号撰写了首篇文章《读书无禁区》，轰动一时[3]。
1979年1月26日李洪林在理论务虚会上作题为《领袖和人民》的发言，提出“不是人民应该忠于领袖，而是领袖应该忠于人民”，辽宁省委第一书记任仲夷主张为张志新平反遇到很大阻力，主张平反的人以李洪林的发言为依据说：“张志新的言论比李洪林的差多了，如果张志新有罪，李洪林就更加有罪，如果李洪林的发言是正确的，张志新就应该平反”，最终使张志新沉冤得雪，随后《领袖和人民》于1980年9月在《人民日报》刊出，被评为该报1980年一等优秀作品。当时许多因为所谓“恶毒攻击罪”而被判重刑入狱的，看到文章后给李洪林写信，要求帮助伸冤。黑龙江一个人一九五九年因为给彭德怀鸣不平而被判重刑，家中只有老母一人，因思念他而病倒，他害怕今生再也见不到母亲了，请李洪林搭救。李洪林一边看信，一边掉眼泪，立刻写了一封信给黑龙江省委。一两个月后，奇迹出现了！这个人出狱回家，和老母团聚了。同类的信件越来越多。李洪林把信集中起来，给邓小平写了一封信反映的问题，然后把申诉信一起送去。邓小平批示：“请胡耀邦同志处理。”胡耀邦批示公安部普查平反。几个月后，全国有200多桩这类冤案都平反了。不久，李洪林调到中宣部理论局工作。有一次，胡耀邦到中宣部来，见到李洪林，当面对他说：“你做了一件大好事。救人一命，胜造七级浮屠。你救了好几百人啊！”[7][8][9]