无情地踢出了蒙元官场。
守丧期满后，他试图谋求复职，屡次请托却如石沉大海。
官场的大门，似乎已对他彻底关闭。心灰意冷之下，杨维桢转而投身文教，借诗酒寄托情怀。
他在杭州发起“西湖竹枝词”运动，化俗为雅，使竹枝词风靡全城；在昆山顾瑛的“玉山草堂”受欢迎的清谈客与诗文评裁；
在嘉兴“聚桂文会”、在松江“应奎文会”上，他执掌评鉴，一言可定诗文优劣，渐成江东文坛公认的盟主。
在此期间，其人《丽则遗音》、《西湖竹枝词》等着作刊印，更是让他一手开创的“铁雅诗派”声名鹊起，坐稳了元末诗坛的头把交椅。
然而，文坛的风光，终究难以填补仕途的失意。
杨维桢那颗“学成文武艺，货与帝王家”的士子之心，从未真正冷却。
至正三年（公元1343年），元廷诏丞相脱脱主持修辽、金、宋三史，直到次年书成，竟然还未定下辽、金、宋三国谁是正统。
杨维桢敏锐地抓住机会，写下煌煌巨论《三史正统辨》。总纂官欧阳玄读后击节赞叹，称“百年后，公论定于此矣”，有意举荐他入史馆。
可早已腐朽透顶的蒙元官场，又如何容得下杨维桢这等锋芒毕露、不谙官场“规则”的异类？举荐之事，因阻力太大，终成泡影。
直到至正十年，杨维桢终于得到同榜进士康若泰的举荐，才得以复出，出任杭州税课提举司副提举。
兜兜转转二十三年，官阶竟然回到了当初进士及第后出任天台县尹的起点——从六品。这在蒙元官场，堪称绝无仅有的异数。
税课提举一职，负责管理市肆、征收商税，需应对上司的指标、商贾的抵制，收入还多靠税收提成，可谓处在矛盾的旋涡中心，动辄得咎。
杨维桢深感此职如陷“墨海”与“火狱”，身心俱疲。
但经历了两次丢官去职的打击，且已经步入晚年（公元1296年出生），他的心态多了几分无奈的沉稳，虽然在此任上味同嚼蜡，却仍咬牙坚持，不愿再轻易失去这来之不易的官职。
因其“不睦同僚”“忤逆上官”的“恶名”在外，杭州官场对其多是敬而远之。
红旗营南下，城破在即，庆童等人纷纷派遣心腹以“搬兵督战”为名出逃，杨维桢却没有门路可走，也不愿再次仓皇丢弃官身，只能心怀忐忑地留在城中，听天由命。
因其文名甚着，石山对杨维桢也早有耳闻。入城后，便将其列入首批重点甄别名单，命人详细调查其过往及在税课提举司任上的作为，得知杨维桢并无贪渎恶行，
破城次日，杨维桢被带至石山行辕书房。
此处已非昔日蒙元大员们醉生梦死之所，案牍整齐，地图高悬，透着一种简朴而高效的氛围。石山屏退左右，亲自为杨维桢斟上一杯清茶，态度谦和却又不失主导。
“铁崖公。”
石山打听过杨维桢的性格，开门见山地道：
“公历任地方，无论是天台惩奸，还是钱清减税，皆以民生为念，数遭贪官污吏排挤而不改初心，品德高洁，山素来敬佩。
如今蒙元失道，天下鼎沸，石某奋起于草莽，志在驱虏复汉，解民于倒悬。正值用人之际，铁崖公一身才学抱负，岂忍空老林泉？可愿助我辈一臂之力，共奠新基，早定这纷乱之世？”
杨维桢为人宽厚耿直，不喜虚与委蛇，石山这种开门见山的方式，反而让他觉得有些对胃口。关于红旗营的种种传闻，他听过不少，毁誉参半。
此刻见这位名震东南的“逆贼”头领如此年轻，目光却深邃沉稳，言语间既肯定了自己过往的坚持，又点明了当前大义，诚意满满。
若是早十年，仕途无望而雄心未泯之时，面对如此直白的招揽，杨维桢说不定真会心动。
但如今，他已年近六旬，饱经时间沧桑和官场昏暗，雄心渐去，而那份士大夫的“气节”观念，以及对于“贰臣”之名的顾虑，却沉沉地压在他的心头。
杨维桢沉默片刻，终究还是缓缓摇头，语气带着几分疏离与固执：
“杨某老矣，年近花甲，奔波半生，却落得一事无成，实已无心仕途。倒是阁下，弱冠之年便能搅动天下风云，成就如此局面，确非常人。
可惜不知天高地厚，闯下这泼天大祸，恐非万民之福。还望阁下早日回头，或可还天下一个太平。”
这话已是相当不客气，近乎指责。侍立一旁的亲卫脸色微变，石山却哈哈一笑，不以为忤：
“哈哈哈！都道铁崖公性情狷直，有古君子之风，今日得见，果然名不虚传。”
石山心知如杨维桢这等饱读诗书、观念已然定型的老派文人，绝不是一次谈话就能轻易说服。他们对新政权的认同需要时间，也需要事实来证明。
石山不急于一时，更不会强逼对方投效。
“人各有志，石某不便强求。”
石山的语气颇为平和，接着道：
“城中秩序已大致安定，铁崖公可自行回府，家中一切安好