1922年4月，直奉之间爆发第一次战争。结果奉军大败，遗退关外。张作霖将奉军改称为镇威军，自任东三省保安总司令。杨宇霆任东三省保安总司令部总参议，兼任训练总监，开始掌握东三省军事大权。当时，奉系军阀中分为新旧两派。旧派是和张作霖一起拉杆子的旧部，代表人物是张景惠、张作相等。新派则是新式军校毕业的人才，代表人物是杨宇霆、郭松龄、张学良等。新派在第一次直奉战争之后势力大张，旧派势力渐消。但新派内部也充满矛盾，其中主要是“士官派”和“陆大派”之间的斗争。“士官派”系指以日本陆军士官学校毕业生为主的将领，如杨宇霆、姜登选、韩麟春等，以杨宇霆为首脑；“陆大派”系指出身于北京陆军大学及保定军校的将领，以郭松龄、张学良为首领。

1923年，杨宇霆首任东三省兵工厂总办，并晋升陆军中将。他经常深入工人之中，与工人同食，每天菜钱不过二元。

1924年9月，江浙战争爆发。张作霖自任总司令，以杨宇霆为总参谋长，乘机率十七万大兵入关，以洗前耻，第二次直奉战争正式爆发。不久，直系将领冯玉祥秘密回师，发动北京政变。直系阵脚大乱，军心涣散，因此惨败。张作霖入关，与冯玉祥等推举段祺瑞为临时执政。这次战役奉军的胜利，主要得力于新派的力量，所以杨宇霆也声势赫赫。1925年8月，杨宇霆被任命为江苏督军，与李景林督直、张宗昌督鲁、姜登选督皖，形成一字长蛇阵式，奉系势力大张。上海“五卅惨案”发生后，奉军以维持秩序为借口，驻军上海，淞沪也被纳入奉系势力范围。浙江督军孙传芳不能容忍这种局面，于1925年双十节假借检阅军队之名，调集大军，向江苏出动。杨宇霆到任不及一个月，一切部署均未就绪，知道难以抵抗，为保全实力，他下令奉军撤退。10月16日，孙传芳占领上海，通电讨奉，长江流域各省纷纷响应。杨宇霆18日弃职离开南京，姜登选也弃职离开蚌埠，奉军缩短防线，集中到徐州，与张宗昌取得联络。11月7日，杨宇霆因料敌不明，又放弃徐州。至此，奉系仅保有直隶和山东两省。杨宇霆丧师失地，狼狈北归，但仍被张作霖任为奉军总参谋长。

郭松龄在第二次直奉战争中功劳最大，但没有得到赏赐。他曾经请求1925年11月，冯玉祥利用奉军内部的矛盾，与郭松龄密订“郭冯密约”联合倒奉。11月22日，郭松龄召开军事会议，历数杨宇霆的罪证，发出“养电”，要求张作霖即日下野，并指名要求清除杨宇霆等人。杨宇霆遂辞职去大连。不久又复职，帮助张作霖筹划军务。

杨宇霆极力为张作霖出谋献策，奔走于大连、奉天之间，与日本关东军司令部商讨对策。12月，郭军失败，郭松龄夫妇被俘于辽中县老大房村。张作霖在杨宇霆的急谏下，将郭松龄夫妇就地枪决。

奉军因苏皖遗败和郭松龄倒戈反奉，声威大落。为使奉系军阀东山再起，杨宇霆代表张作霖分别与直系军阀和晋军进行斡旋，达成联合协议，接着奉军再度大举入关，赶走国民军，控制了北京政权。1927年张作霖在北京就任中华民国陆、海军大元帅，杨宇霆成为北京政权军政外交的决策者。

1928年春，国民革命军北伐奉军。6月4日，张作霖由北京归奉途中，被日本关东军炸死于皇姑屯。此后，东北统治集团中，杨宇霆的地位仅次于张学良。他既为第四方面军军团长，又是奉军的总参议，掌握着军政实权。7月3日，张学良就任东北保安总司令，整顿军事，撤销原有的军团，实行“群旅制”。杨宇霆不再掌握军权，只任兵工厂督办和东北政务委员会委员。

杨宇霆与张学良的政见分歧，突出表现在“东北易帜”上。1928年12月29日，张学良宣布“东北易帜”，实行南北统一，杨宇霆对此坚决反对。1929年1月10日，张学良以研究成立东北铁路督办公署的名义，邀请杨宇霆和常荫槐到帅府，将其2人枪毙。

杨宇霆死后，张学良命令予以厚葬，并赠送一副挽联，如：讵同西蜀偏安，总为幼常挥痛泪，凄绝东山零雨，终怜管叔误流言。

1916年4月，张作霖赶走段芝贵出任奉天督军兼省长，延请各方面人士，调杨宇霆任督军公署参谋长。张作霖“初谋巩定奉局，继则笼吉、黑二省于掌握”，先后平息了五十三旅旅长汤玉麟的叛乱，瓦解了奉天军务帮办冯德麟的势力，逼迫吉林督军孟恩远下台，驱逐黑龙江师长许兰洲等，攫取了东三省的霸权。这一切，都是“杨宇霆参预帷幄，而底于成功”的。

杨宇霆在协助张作霖统一东北的同时，利用与北京政府陆军次长徐树铮日本士官同学的关系，代表张作霖参加1917年4月和12月两次督军团会议，借支持“府院之争”段祺瑞一方，图谋向关内发展奉军势力。是年冬，段祺瑞以对西南主战政策失败而辞去国务总理一职，其心腹徐树铮向杨宇霆提出，以陆军部在日本订购的军火作为交换条件，请奉军入关，逼迫代总统冯国璋下台，并恢复段的总理职务。在杨宇霆居间联系下，奉皖双方达成协议。1918年2月，杨宇霆携带徐树铮送给的空白领取军械证件，率奉军五十三旅张景惠部开到秦皇岛，劫走了冯国璋本打算用来武装直系的价值四千万元的军火，这就是近代史上有名的“秦皇岛劫械案”。张作霖利用这批军火武装了五个混成旅，迅速壮大了奉军。3月12日，张作霖组织援湘军，自任总司令，以徐树铮为副司令，杨宇霆为参谋长，进驻军粮城，直接威胁冯国璋。23日，段祺瑞复任国务总理。从此，杨宇霆之名“崛起于东北，而渐震乎中原”。

1922年4月，杨宇霆被张作霖任命为镇威军总参谋长，参加了第一次直奉战争。奉军战败后，在杨宇霆的建议下，张作霖决心整军经武，以备再战。杨宇霆将奉天军械厂扩建为东三省兵工厂，并自兼兵工厂督办，大力改善奉军的后勤供应。同时，成立“陆军整理处”，充实东三省讲武堂，培训中下级军官，编练新军。经过一年整训后，奉军共编成二十七个步兵旅，五个骑兵旅，约有三十五万余人，实力大有提高。期间，杨宇霆先后将留日军官姜登选、韩麟春、于珍等人援引过来，逐渐形成日本士官派；而郭松龄凭借与张学良的关系，以北京陆军大学和保定军校的毕业生为主体，形成陆大派。由于杨宇霆“嫉视”郭松龄的崛起，支持郭的张学良也“事事受杨阻碍”①，两派的矛盾自此开始。

1924年9月，江浙战争爆发，张作霖即以粤、浙、奉三角同盟为由，组织镇威军，以杨宇霆为总参谋长，率十七万大兵入关，向直系宣战。第二次直奉战争历时约有两月，奉张大获全胜，入关与冯玉祥推段祺瑞为临时执政，杨宇霆的声名也煊赫一时。1925年8月，段祺瑞执政府任命杨宇霆为江苏军务督办、姜登选为安徽军务督办，奉张势力达于苏、皖两省。杨宇霆到南京任职后，以胜利者自居，对直系将领、军务帮办陈调元多有歧视。陈遂与浙江督办孙传芳秘通款曲，共同反奉。10月初，孙传芳举兵进攻松江、上海，陈调元在南京策应，杨宇霆被迫离苏北上。

本来，奉军取得第二次直奉战争的胜利，以郭松龄的战功最大，张作霖原打算派郭松龄督皖，但因杨宇霆的反对而改派姜登选，郭松龄对杨颇为不满。此次杨宇霆督苏不到两月，便丧师失地、铩羽而归，而张作霖仍任他为奉军总参议，更引起了郭松龄等一些奉军将领的愤懑。11月22日，郭松龄在直隶滦州倒戈反奉，要求张作霖即日下野，严惩杨宇霆。杨宇霆先避居大连，后又求助日本关东军禁止郭松龄军队“越过南满铁路线”，为张作霖争得了缓兵的机会。12月24日，郭松龄兵溃被俘，乃致书张学良，词颇哀侧，杨宇霆担心张学良对郭宽释，“纵虎贻患”，便将信焚烧，并急谏张作霖，将郭松龄夫妇就地处死。可见，郭松龄之死，是与杨宇霆密切相关的。

张学良主政东北后，不仅外部局势错综复杂，内部斗争也相当激烈。以杨宇霆为首的士官派势力对张学良的地位构成了极大的威胁。

杨宇霆富有领袖欲，并非不觊觎总司令的位子。但他一直处于参谋地位，很少有机会直接指挥军队，只在韩麟春病重时代任三、四方面军军团长数月，尚无根基；加上张作霖去世时，杨宇霆气焰过盛，东北元老对他多无好感因此难以如愿。

张作霖死后，杨宇霆更加目中无人，对张学良俨然以监护人自居。张学良被推荐为东三省保安总司令，张作相、万福麟为副司令，杨宇霆对此大为不满。张学良任命他为东三省保安委员会委员，他推辞不就，仍想以奉军总参议和兵工厂总办的身份，掌握实权，明说引退，暗中操纵，人称“太上总司令”。张学良虽然年轻，但在军中锻炼多年，勇敢刚毅。他不满旧官僚的作风，大胆地起用新人，整顿军政。杨宇霆却看不起他，对张学良总以父执自居，表面上称张学良为“少帅”或汉卿，背地里却不止一次地叫他“小六子”（张学良乳名），对张学良指手画脚，很不尊重。

黑龙江省省长常荫槐是杨宇霆的心腹。他身兼省长、东北交通委员会委员长、中东铁路督办三要职，是东北的实力派人物之一。张作霖死后，常荫槐常赴沈阳与杨宇霆会晤，并在黑龙江省擅自成立山林警备队。杨宇霆热心帮助，并运送军械给他。当时东北军正在缩编，杨、常的行为无异于经营独立王国。因此，杨、常的结合成为张学良的心腹之患。

杨宇霆与张学良的政见分歧突出表现在“东北易帜”上。杨宇霆反对张学良与蒋介石的南京政府合作，而主张联合西南桂系李宗仁、白崇禧，抵抗蒋介石，保持东北“独立自主”的政治局面。1928年8月25日和10月7日，杨宇霆两次背着张学良与白崇禧会见。白崇禧劝杨宇霆推翻张学良取而代之，并愿意提供帮助。蒋介石获悉此事后，立即密告张学良，叫他“先下手为强”。杨宇霆虽没有谋害张学良之心，但坚持反蒋不变。12月29日，东北正式“易帜”，南京国民政府任命张学良为东北边防司令长官，杨宇霆为国民政府和东北政务委员会委员。张学良宣誓就职时，杨宇霆当场表示不接受其委任，乃拂袖而去。与此同时，日本竭力挑拨离间张学良与杨宇霆的关系，大川周明送给张学良一本《日本外史》，并用红笔将丰臣秀赖被权臣德川家康推翻的一段史实勾画出来，暗示杨即德川家康，张为丰臣秀赖。关东军还设法将一些杨宇霆与日本人密谋联系、要篡夺张氏政权的假情报传到张学良手中，希望张、杨互相争权、火并，日本好从中渔利。

1929年1月7日，杨宇霆为其父祝寿，杨公馆门前车水马龙，盛况为沈阳向所未有。张学良偕夫人于凤至亲往道贺，杨宇霆竟以普通礼节相待，与一般宾客无异。席间，杨的一举一动俨然以东北领袖自居，而来自全国各地的贺客也对杨恭维备至。张学良目睹这些情景，更感到杨宇霆是他施政的最大障碍，遂决心除掉杨宇霆。

1月10日，杨宇霆、常荫槐一起来见张学良，以管理中东铁路为名，要求成立东北铁路督办公署，以常荫槐为督办。张学良表示，目前东北刚刚安定，涉及外交的事情应慎重考虑，须从长计议。杨、常则要求立即决定，并拿出已拟好的文件要张学良签字。张学良认为杨、常欺人太甚，忍无可忍，便推托吃过晚饭后再说。

张学良立即用电话召来辽宁警务处长高纪毅，布置处决杨宇霆和常荫槐。晚七时，杨、常如约而至，在老虎厅被就地处决。

杨宇霆对家乡的建设比较关心。1925年他和城乡士绅、商号共同捐献大洋40万元，在法库城内西街路北建立一所平治学校。与平治学校同时开工的还有一座电灯厂，该厂1927年完工后，不仅为县城照明带来方便，而且对粮谷加工、手工业生产、文化教育的发展也起到了推动作用。他还在家乡蛇山沟村，为村民办了一所业余学堂，受到村民的称赞。

杨宇霆公馆是杨宇霆的官邸和寓所，约建于1920年。位于沈阳市大东区小河沿路青云寺里18号，现为沈阳市地税局大东分局所在地，2003年被列为省级文物保护单位。