1928年1月6日，南京国民政府以杨森包庇北洋军阀吴佩孚为由，免去其第二十军军长职务，川军二十一军军长刘湘认为除杨的时机到来，决定发动“四部”（赖心辉、郭汝栋、吴行光、范绍增）倒杨。结果倒杨失败，杨森在万县自行宣布恢复二十军军长职务。10月，蒋介石只得宣布“杨森免予查办”令。12月，川军八部（杨森、刘存厚、赖心辉、郭汝栋、李家钰、罗泽洲、黄隐、陈书农）又结成联盟，成立盟军，讨伐“二刘”（刘湘、刘文辉），杨任同盟军主席兼前敌总司令。由于他们各怀鬼胎，结果被刘湘击溃，杨森尽失川东20余县防地，败退渠县，不得已借罗泽洲部属熊玉璋的防地，寄人篱下，勉强度日。
1931年1月，由于驻防广安的四川陆军第十一师副师长陈光藻等发动兵变，把师长罗泽洲扣留于南充“靖江楼”，随即全师改组。数日后，罗泽洲逃到渠县请杨森救助。杨迅即率部于农历腊月二十九日向广安急行军，当天下午打回广安，把十一师部队撵走，于是杨森率二十军进驻广安，罗泽洲率残部去武胜。这样，广安、岳池、渠县、营山、蓬安及南充部分地区成为杨森的“戍区”。二十军司令部驻县城考棚（今广安区政府），挂“川陕边防国民革命军二十军司令部”，手枪大队驻县城桐林寺、圣龙宫、万寿宫，宪兵大队驻厚街三元宫（今区水务局）；二十军第一混成旅驻岳池县、第三混成旅驻渠县、第四混成旅驻营山县、第五混成旅驻代市镇、第六混成旅驻蓬安县。
1935年春，蒋介石派“参谋团”和“别动队”入川，杨首先请命，愿意交出川北防区，服从调遣。蒋下令将原二十军的6个旅改编为3个步兵师，仍以杨为军长。4月，杨率部离县，沿川黔边境堵截西进北上的中央红军，移防到泸州。
杨森驻防广安县4年，“改良县政”，将广安县政府改为广安县政委员会，大力提倡地方建设，发展经济，但他苛政扰民，迫害中共党员，贪吏横行，群众深受其害。
收买涵虚园，建公馆。涵虚园地处今区委院内，系明代户部尚书王德完故居，子孙世守其业，已历十三代。杨森强买后，取名“涵虚山庄”，全面改修装饰，有卧室十余间，安排一室一妾，另有丫环宿舍、警卫连楼、大型客厅等。园内建有篮球场和网球场，供妻妾子女练球。
扩建花园，修建北园、南园和“市民会堂”。将王德完的世业王家花园强行购买，建成近300亩的傍山花园，建有篮球场和网球场。在花园内建设300多平方米的楼房，创办“无息借贷局”，解决贫民燃眉之急，兴办“平民夜校”，开设少年班和成年班。北门口的北园是在原“园”的基础上整修而成，翻修篮球场和网球场。在南郊，将唐代修建的“兴国寺”和“飞来古佛”庙扩建为“南园”，园内花木繁茂，环境优美。在北门口右侧建有钢筋水泥结构的“广厦”，内设贵宾住宿部、沐浴室、图书室、弈棋室、餐厅，专做招待高级贵宾之用，1932年夏落成。在北门口左边高坡上，建有一座“市民会堂”，有可容纳百余人的会议室及会客厅等，杨森每次召集市民代表训话，都在此会堂。
倡导教育，兴办学校。杨森将城北较场坝的金家花园，创办“二十军军事干部学校”校舍，有大小房间108间，厅堂之大可容100人。利用火神庙部分房屋创办“警官学校”，招收初中毕业或肄业学生，县警察局长为校长，培训警官40名，可任巡官或派出所所长。在岳池县设立“精练司令部”，将各县区乡镇民团集中训练，派员赴蓉、渝、泸、万、汉等地，高薪招聘体育人才，组成足、篮、排球队，到外地比赛。在广安县城北街借用教堂和较大民房，创办“体育专科学校”，招收一批有体育专长的青少年，作为各球队的后备人员。1932年4月20日至5月1日，在广安新建的公共体育场举行川北运动大会，同时在南园兴国寺举办劝业会（赛宝会）和婴儿健康比赛。1933年4月20—29日举行第二届川北运动会，观众上万人。在广安男女中学校增办高中，另在代市镇创办第一初级中学，全县共建有3所中学。
整修县城街道。以大型厚石板覆盖北仓路臭水沟，整修全城街道，全城街道翻修路面，所购水泥不足，则以三合土代替，一律粉刷及油漆门面，务求美观整齐。
修筑公路。修筑广安至代市、广安至罗渡、龙台至花桥等公路，修建城区南郊从新南门至平桥公路；北郊在广渠公路离城两公里处，开辟一条至5公里外的王家花园的滨江公路。
建设龙台模范村。1931年，杨森指示军部秘书刘子渝等，将杨的老家龙台乡建成广安的模范村，共拨银元1万元，建有龙台图书馆、龙台讲演厅、龙台街中石桥、龙台染织厂、龙台中学、龙台惠育女子小学、龙台公园、龙台体育场等。同时在恒升场镇兴建体育场、建立恒升书报社、扩宽街道。
建设罗渡镇。由于罗渡是广安到重庆的交通要道，1931年下半年开始对罗渡进行两年的建设，兴建公共体育场、罗渡花园（今罗渡中学）、街道、码头等。
兴建奶牛场。杨森十分讲求营养，他派谭万烈到上海，通过外商购荷兰种奶牛2头和荷兰种牯牛1头，在南园西山上建立起奶（种）牛场，每日所挤牛奶供其全家享用。并号召饲有母黄牛的农户到种牛场配种，以改良本地黄牛。
剪长衫，剪辫子。杨森反对穿长衫长袍和大姑娘留长辫，布告周知，勒令市民遵守。如有不听告诫，在街上穿长衫和蓄辫子的男女，警察立即强行剪掉，决不宽容。
创办《广安日报》。1932年夏创办《广安日报》，何若虚（中共地下党员）为社长，他曾介绍二十军内的范子奇入党，范子奇叛变后，何若虚不知去向，《广安日报》也停办。
预征田赋，苛捐杂税。杨森到广安后，仍按原来每季度征一次，但提高税率，将每斗粮2．6元提高到7．8元，驻县四年共征12年田赋。同时还巧立名目，强征各种苛捐杂税，包括“剿赤费”、禁烟税、盐税、屠宰税、牌照税、营业税、保甲捐、联防捐、娱乐捐、筵席捐、迷信捐、“花捐”（向妓院征收）等等。
欺压百姓，迫害共产党员。杨借征粮征税之机，欺压百姓，中饱私囊，横行霸道，仗势作恶，其部下作威作福，贪污成风。驻县期间，杨令其部属在广安城北百花山杀害共产党员金化新、刘汉民、段前迪、王润生、吴俊如和进步人士何鸿鸣、秦建秋等人，在城南杀害游击队员李星北、全树清、陈博斋等9人，在岳池城南较场坝杀害共产党员、川北赤卫军领导人廖玉璧等。
杨森驻防广安期间，特地吩咐音乐教师，根据他自己要求撰写家庭歌，谱成庄重、中速的五线谱，用钢琴伴奏演唱。歌词如下：
唯我杨氏族，文治道关西，武功称无敌，发皇光大，在吾辈齐努力！
重教育，薄享受，取缔浪费；不吸烟，不饮酒，不嫖不赌，是我家规。
学贵专精，学贵专精，体育音乐皆不可废。
忠于国，孝于家，有一于此方无愧。
好子孙，好子孙，发奋发奋光门楣；好子孙，好子孙，努力努力扬国威！
