《水浒传》第五十九回《公孙胜芒砀山降魔，晁天王曾头市中箭》中，晁盖在攻打曾头市的战斗中，不幸中了一支刻有史文恭名字的毒箭，身负重伤，被救回梁山后，留下遗言便一命呜呼。晁盖刚死去不久，尸骨未寒，梁山代理大寨主宋江便做出一个重大更名决策，将聚义厅改为忠义堂，公孙胜便知梁山从此再无兄弟，萌生退意，第一个离开。
聚义厅，全称是“聚义分赃厅”，在梁山第一任大寨主王伦时期便存在了。聚义分赃厅，顾名思义就是梁山好汉们开会、商量事情、分配抢来财物的地方，它的作用相当于朝廷的金銮宝殿。晁盖继任梁山大寨主后，宗旨和王伦时期大同小异，只是晁盖比王伦更加包容，敞开大门，广纳天下英雄好汉。此后，梁山进入高速壮大发展时期，宋江、鲁智深、武松等重量级的大人物都是晁盖时期加盟梁山的。
然而，宋江加盟的后果是晁盖始料不及的。宋江仗义疏财，扶危济困，只要你有需求，宋江必定会尽最大可能帮助，人称“及时雨”。他便是靠着平日里做好人好事积攒的好名声笼络了许多江湖好汉，这些人上了梁山后，只认宋江这个金字招牌，对大寨主晁盖视而不见。宋江又先后亲自带领梁山好汉三打祝家庄、攻打高唐州、大破连环马、攻打青州、大闹华州，都取得了胜利，他的威望超过了大寨主晁盖。当时江湖绿林好汉只知梁山呼保义宋江，却不知晁盖晁天王。
晁盖宽宏大量，刚开始并没有故意针对宋江，然而后来他发现宋江和他并不是一个道上的人。晁盖当了梁山大寨主后，梁山的发展道路是给走投无路的江湖朋友们一个安身立命之所，意气相投的朋友聚在一起，大口喝酒，大口吃肉，享受生活，好不快活。然而宋江却是招安派，他口口声声是为了给梁山众兄弟寻一条出路，接受朝廷招安，建功立业，封妻荫子，衣锦还乡，为子孙后代谋福利。
如果皇帝英明，大臣贤明，那么梁山好汉接受朝廷招安，为国效力不失为一条很好的出路，但是当时宋徽宗时期，高俅、蔡京、童贯、杨戬四大奸臣当道，官场腐败，老百姓民不聊生，这个朝廷已经不值得辅佐了。因此晁盖不能苟同宋江的招安路线。晁盖和宋江两人因为路线不同，渐渐有了矛盾，并且愈演愈烈，不可调和。此时，吴用背弃晁盖，改投宋江，晁盖不得不进行反击，他于是亲自带领大军攻打曾头市，计划重新夺回对梁山的控制权。然而晁盖却不幸被毒箭射中，不久死去。梁山彻底落在了宋江手中。
晁盖刚死，尸骨未寒，梁山临时大寨主宋江便彻底推翻前任大寨主晁盖的路线，将聚义厅改为忠义堂，重新安排众位好汉的职务，他的用意很明显，今后梁山只能听从他的命令，跟着他走，凡是不和他一条心的好汉，都靠边站。换句话说，自从宋江将聚义厅改为忠义堂后，梁山便再无兄弟，有的只是功名利禄，梁山上大部分好汉都被宋江描述的美好未来给蒙蔽了双眼，跟着宋江走上了一条不归路，跟随宋江接受朝廷招安，沦为朝廷平定田虎、王庆、方腊三大寇的炮灰。梁山好汉在征讨方腊之战中损失惨重，七成好汉战死，或者病逝。
其实，从宋江将聚义厅改为忠义堂开始，公孙胜便看穿了宋江的真面目，也预感到梁山走上了一条不归路，因此萌生退意，只是由于他之前已经离开过一次梁山，不好意思再次离开，因此暂时没有离开。
在平定田虎和王庆后，梁山大军回到京城，公孙胜便向宋江辞行，准备回去侍奉师傅罗真人和老母亲。宋江出言挽留，但是公孙胜去意已决，于是说道：“若是小道半途撇了仁兄，便是寡情薄意。今来仁兄功成名遂，只得曲允。”公孙胜的意思很明确，他如果在宋江刚刚更改聚义厅名字时离开，显得他不够朋友，现在宋江功成名就，他离开便没什么心理负担了，自认为对得起宋江了。公孙胜成为梁山108好汉之中第一个离开宋江的人。