１９２６年起，任中共两广区委委员、区委监察委员会书记。１９２７年党的八七会议后，任中共广东省委常委兼省革命军事委员会主任、中共中央南方局委员。同年１２月参与领导广州起义，负责总指挥部参谋团的工作，并在一线指挥战斗，曾率领敢死队攻下了当时敌人重要据点广州市公安局。广州起义成立了广州苏维埃政府，张太雷任政府代主席，杨殷任政府肃反人民委员。张太雷牺牲后，杨殷被任命为广州苏维埃政府代主席。起义失败后，他积极组织退却，做了大量的善后工作。

１９２８年７月，杨殷在中共六大上当选为中共中央政治局候补委员、候补常委，任中共中央军事部部长。会后，他从苏联回国到上海。同年１１月起任中央政治局委员、常委。１９２９年１月起任中共中央军事部部长、中共中央军委委员、中共中央军委主任兼中共江苏省委军事部长。在上海工作期间，他与周恩来、蔡和森、苏兆征、李立三等领导人一起，经常研究部署各地的武装斗争和红军的领导工作。他曾亲自到山东、安徽、江苏等地，指导武装斗争，建立和发展革命武装，严惩出卖革命的叛徒和内奸，回击国民党特务的暗杀和破坏。