杨阜字义山，天水冀人也。以州从事为牧韦端使诣许，拜安定长史。阜还，关右诸将问袁、曹胜败孰在，阜曰：“袁公宽而不断，好谋而少决；不断则无威，少决则失后事，今虽强，终不能成大业。曹公有雄才远略，决机无疑，法一而兵精，能用度外之人，所任各尽其力，必能济大事者也。”长史非其好，遂去官。而端徵为太仆，其子康代为刺史，辟阜为别驾。察孝廉，辟丞相府，州表留参军事。
马超之战败渭南也，走保诸戎。太祖追至安定，而苏伯反河间，将引军东还。阜时奉使，言於太祖曰：“超有信、布之勇，甚得羌、胡心，西州畏之。若大军还，不严为之备，陇上诸郡非国家之有也。”太祖善之，而军还仓卒，为备不周。超率诸戎渠帅以击陇上郡县，陇上郡县皆应之，惟冀城奉州郡以固守。超尽兼陇右之众，而张鲁又遣大将杨昂以助之，凡万馀人，攻城。阜率国士大夫及宗族子弟胜兵者千馀人，使从弟岳於城上作偃月营，与超接战，自正月至八月拒守而救兵不至。州遣别驾阎温循水潜出求救，为超所杀，於是刺史、太守失色，始有降超之计。阜流涕谏曰：“阜等率父兄子弟以义相励，有死无二；田单之守，不固於此也。弃垂成之功，陷不义之名，阜以死守之。”遂号哭。刺史、太守卒遣人请和，开城门迎超。超入，拘岳於冀，使杨昂杀刺史、太守。
阜内有报超之志，而未得其便。顷之，阜以丧妻求葬假。阜外兄姜叙屯历城。阜少长叙家，见叙母及叙，说前在冀中时事，歔欷悲甚。叙曰：“何为乃尔？”阜曰：“守城不能完，君亡不能死，亦何面目以视息於天下！马超背父叛君，虐杀州将，岂独阜之忧责，一州士大夫皆蒙其耻。君拥兵专制而无讨贼心，此赵盾所以书弑君也。超强而无义，多衅易图耳。”叙母慨然，敕叙从阜计。计定，外与乡人姜隐、赵昂、尹奉、姚琼、孔信、武都人李俊、王灵结谋，定讨超约，使从弟谟至冀语岳，并结安定梁宽、南安赵衢、庞恭等。约誓既明，十七年九月，与叙起兵於卤城。超闻阜等兵起，自将出。而衢、宽等解岳，闭冀城门，讨超妻子。超袭历城，得叙母。叙母骂之曰：“汝背父之逆子，杀君之桀贼，天地岂久容汝，而不早死，敢以面目视人乎！”超怒，杀之。阜与超战，身被五创，宗族昆弟死者七人。超遂南奔张鲁。
陇右平定，太祖封讨超之功，侯者十一人，赐阜爵关内侯。阜让曰：“阜君存无扞难之功，君亡无死节之效，於义当绌，於法当诛；超又不死，无宜苟荷爵禄。”太祖报曰：“君与群贤共建大功，西土之人以为美谈。子贡辞赏，仲尼谓之止善。君其剖心以顺国命。姜叙之母，劝叙早发，明智乃尔，虽杨敞之妻盖不过此。贤哉，贤哉！良史记录，必不坠於地矣。”
太祖征汉中，以阜为益州刺史。还，拜金城太守，未发，转武都太守。郡滨蜀汉，阜请依龚遂故事，安之而已。会刘备遣张飞、马超等从沮道趣下辩，而氏雷定等七部万馀落反应之。太祖遣都护曹洪御超等，超等退还。洪置酒大会，令女倡著罗縠之衣，蹋鼓，一坐皆笑。阜厉声责洪曰：“男女之别，国之大节，何有於广坐之中裸女人形体！虽桀、纣之乱，不甚於此。”遂奋衣辞出。洪立罢女乐，请阜还坐，肃然惮焉。
及刘备取汉中以逼下辩，太祖以武都孤远，欲移之，恐吏民恋土。阜威信素著，前后徙民、氏，使居京兆、扶风、天水界者万馀户，徙郡小槐里，百姓襁负而随之。为政举大纲而已，下不忍欺也。文帝问侍中刘晔等：“武都太守何如人也？”皆称阜有公辅之节。未及用，会帝崩。在郡十馀年，徵拜城门校尉。
阜常见明帝著绣帽，被缥绫半褎，阜问帝曰：“此於礼何法服也？”帝默然不答，自是不法服不以见阜。
迁将作大匠。时初治宫室，发美女以充后庭，数出入弋猎。秋，大雨震电，多杀鸟雀。阜上疏曰：“臣闻明主在上，群下尽辞。尧、舜圣德，求非索谏；大禹勤功，务卑宫室；成汤遭旱，归咎责己；周文刑於寡妻，以御家邦；汉文躬行节俭，身衣弋绨：此皆能昭令问，贻厥孙谋者也。伏惟陛下奉武皇帝开拓之大业，守文皇帝克终之元绪，诚宜思齐往古圣贤之善治，总观季世放荡之恶政。所谓善治者，务俭约、重民力也；所谓恶政者，从心恣欲，触情而发也。惟陛下稽古世代之初所以明赫，及季世所以衰弱至于泯灭，近览汉末之变，足以动心诫惧矣。曩使桓、灵不废高祖之法，文、景之恭俭，太祖虽有神武，於何所施其能邪？而陛下何由处斯尊哉？今吴、蜀未定，军旅在外，愿陛下动则三思，虑而后行，重慎出入，以往鉴来，言之若轻，成败甚重。顷者天雨，又多卒暴，雷电非常，至杀鸟雀。天地神明，以王者为子也，政有不当，则见灾谴。克己内讼，圣人所记。惟陛下虑患无形之外，慎萌纤微之初，法汉孝文出惠帝美人，令得自嫁；顷所调送小女，远闻不令，宜为后图。诸所缮治，务从约节。书曰：‘九族既睦，协和万国。’事思厥宜，以从中道，精心计谋，省息费用。吴、蜀以定，尔乃上安下乐，九亲熙熙。如此以往，祖考心欢，尧舜其犹病诸。今宜开大信於天下，以安众庶，以示远人。”时雍丘王植怨於不齿，藩国至亲，法禁峻密，故阜又陈九族之义焉。诏报曰：“间得密表，先陈往古明王圣主，以讽闇政，切至之辞，款诚笃实。退思补过，将顺匡救，备至悉矣。览思苦言，吾甚嘉之。”
后迁少府。是时大司马曹真伐蜀，遇雨不进。阜上疏曰：“昔文王有赤乌之符，而犹日昃不暇食；武王白鱼入舟，君臣变色。而动得吉瑞，犹尚忧惧，况有灾异而不战竦者哉？今吴、蜀未平，而天屡降变，陛下宜深有以专精应答，侧席而坐，思示远以德，绥迩以俭。间者诸军始进，便有天雨之患，稽阂山险，以积日矣。转运之劳，担负之苦，所费以多，若有不继，必违本图。传曰：‘见可而进，知难而退，军之善政也。’徒使六军困於山谷之间，进无所略，退又不得，非主兵之道也。武王还师，殷卒以亡，知天期也。今年凶民饥，宜发明诏损膳减服，技巧珍玩之物，皆可罢之。昔邵信臣为少府於无事之世，而奏罢浮食；今者军用不足，益宜节度。”帝即召诸军还。
后诏大议政治之不便於民者，阜议以为：“致治在於任贤，兴国在於务农。若舍贤而任所私，此忘治之甚者也。广开宫馆，高为台榭，以妨民务，此害农之甚者也。百工不敦其器，而竞作奇巧，以合上欲，此伤本之甚者也。孔子曰：‘苛政甚於猛虎。’今守功文俗之吏，为政不通治体，苟好烦苛，此乱民之甚者也。当今之急，宜去四甚，并诏公卿郡国，举贤良方正敦朴之士而选用之，此亦求贤之一端也。”
阜又上疏欲省宫人诸不见幸者，乃召御府吏问后宫人数。吏守旧令，对曰：“禁密，不得宣露。”阜怒，杖吏一百，数之曰：“国家不与九卿为密，反与小吏为密乎？”帝闻而愈敬惮阜。
帝爱女淑，未期而夭，帝痛之甚，追封平原公主，立庙洛阳，葬於南陵。将自临送，阜上疏曰：“文皇帝、武宣皇后崩，陛下皆不送葬，所以重社稷、备不虞也。何至孩抱之赤子而可送葬也哉？”帝不从。
帝既新作许宫，又营洛阳宫殿观阁。阜上疏曰：“尧尚茅茨而万国安其居，禹卑宫室而天下乐其业；及至殷、周，或堂崇三尺，度以九筵耳。古之圣帝明王，未有极宫室之高丽以彫弊百姓之财力者也。桀作璇室、象廊，纣为倾宫、鹿台，以丧其社稷，楚灵以筑章华而身受其祸；秦始皇作阿房而殃及其子，天下叛之，二世而灭。夫不度万民之力，以从耳目之欲，未有不亡者也。陛下当以尧、舜、禹、汤、文、武为法则，夏桀、殷纣、楚灵、秦皇为深诫。高高在上，实监后德。慎守天位，以承祖考，巍巍大业，犹恐失之。不夙夜敬止，允恭恤民，而乃自暇自逸，惟宫台是侈是饰，必有颠覆危亡之祸。易曰：‘丰其屋，蔀其家，闚其户，阒其无人。’王者以天下为家，言丰屋之祸，至於家无人也。方今二虏合从，谋危宗庙，十万之军，东西奔赴，边境无一日之娱；农夫废业，民有饥色。陛下不以是为忧，而营作宫室，无有已时。使国亡而臣可以独存，臣又不言也；君作元首，臣为股肱，存亡一体，得失同之。孝经曰：‘天子有争臣七人，虽无道不失其天下。’臣虽驽怯，敢忘争臣之义？言不切至，不足以感寤陛下。陛下不察臣言，恐皇祖烈考之祚，将坠于地。使臣身死有补万一，则死之日，犹生之年也。谨叩棺沐浴，伏俟重诛。”奏御，天子感其忠言，手笔诏答。每朝廷会议，阜常侃然以天下为己任。数谏争，不听，乃屡乞逊位，未许。会卒，家无馀财。孙豹嗣。