羊祜，字叔子，泰山南城人也。世吏二千石，至祜九世，并以清德闻。祖续，仕汉南阳太守。父衟，上党太守。祜，蔡邕外孙，景献皇后同产弟。祜年十二丧父，孝思过礼，事叔父耽甚谨。尝游汶水之滨，遇父老谓之曰：“孺子有好相，年未六十，必建大功于天下。”既而去，莫知所在。及长，博学能属文，身长七尺三寸，美须眉，善谈论。郡将夏侯威异之，以兄霸之子妻之。举上计吏，州四辟从事、秀才，五府交命，皆不就。太原郭奕见之曰：“此今日之颜子也。”与王沈俱被曹爽辟。沈劝就征，祜曰：“委质事人，复何容易。”及爽败，沈以故吏免，因谓祜曰：“常识卿前语。”祜曰：“此非始虑所及。”其先识不伐如此。
夏侯霸之降蜀也，姻亲多告绝，祜独安其室，恩礼有加焉。寻遭母忧，长兄发又卒，毁慕寝顿十余年，以道素自居，恂恂若儒者。
文帝为大将军，辟祜，未就，公车征拜中书侍郎，俄迁给事中、黄门郎。时高贵乡公好属文，在位者多献诗赋，汝南和逌以忤意见斥，祜在其间，不得而亲疏，有识尚焉。陈留王立，赐爵关中侯，邑百户。以少帝不愿为侍臣，求出补吏，徙秘书监。及五等建，封钜平子，邑六百户。钟会有宠而忌，祜亦惮之。及会诛，拜相国从事中郎，与荀勖共掌机密。迁中领军，悉统宿卫，入直殿中，执兵之耍，事兼内外。
武帝受禅，以佐命之勋，进号中军将军，加散骑常侍，改封郡公，邑三千户。固让封不受，乃进本爵为侯，置郎中令，备九官之职，加夫人印绶。泰始初，诏曰：“夫总齐机衡，允厘六职，朝政之本也。祜执德清劭，忠亮纯茂，经纬文武，謇謇正直，虽处腹心之任，而不总枢机之重，非垂拱无为委任责成之意也。其以祜为尚书右仆射、卫将军，给本营兵。”时王佑、贾充、裴秀皆前朝名望，祜每让，不处其右。
帝将有灭吴之志，以祜为都督荆州诸军事、假节，散骑常侍、卫将军如故。祜率营兵出镇南夏，开设庠序，绥怀远近，甚得江汉之心。与吴人开布大信，降者欲去皆听之。时长吏丧官，后人恶之，多毁坏旧府，祜以死生有命，非由居室，书下征镇，普加禁断。吴石城守去襄阳七百余里，每为边害，祜患之，竟以诡计令吴罢守。于是戍逻减半，分以垦田八百余顷，大获其利。祜之始至也，军无百日之粮，及至季年，有十年之积。诏罢江北都督，置南中郎将，以所统诸军在汉东江夏者皆以益祜。在军常轻裘缓带，身不被甲，铃閤之下，侍卫者不过十数人，而颇以畋渔废政。尝欲夜出，军司徐胤执棨当营门曰：“将军都督万里，安可轻脱！将军之安危，亦国家之安危也。胤今日若死，此门乃开耳。”祜改容谢之，此后稀出矣。
后加车骑将军，开府如三司之仪。祜上表固让曰：“臣伏闻恩诏，拔臣使同台司。臣自出身以来，适十数年，受任外内，每极显重之任。常以智力不可顿进，恩宠不可久谬，夙夜战悚，以荣为忧。臣闻古人之言，德未为人所服而受高爵，则使才臣不进；功未为人所归而荷厚禄，则使劳臣不劝。今臣身托外戚，事连运会，诫在过宠，不患见遗。而猥降发中之诏，加非次之荣。臣有何功可以堪之，何心可以安之。身辱高位，倾覆寻至，愿守先人弊庐，岂可得哉！违命诚忤天威，曲从即复若此。盖闻古人申于见知，大臣之节，不可则止。臣虽小人，敢缘所蒙，念存斯义。今天下自服化以来，方渐八年，虽侧席求贤，不遗幽贱，然臣不尔推有德，达有功，使圣听知胜臣者多，未达者不少。假令有遗德于版筑之下，有隐才于屠钓之间，而朝议用臣不以为非，臣处之不以为愧，所失岂不大哉！臣忝窃虽久，未若今日兼文武之极宠，等宰辅之高位也。且臣虽所见者狭，据今光禄大夫李憙执节高亮，在公正色；光禄大夫鲁芝洁身寡欲，和而不同；光禄大夫李胤清亮简素，立身在朝，皆服事华发，以礼终始。虽历位外内之宠，不异寒贱之家，而犹未蒙此选，臣更越之，何以塞天下之望，少益日月！是以誓心守节，无苟进之志。今道路行通，方隅多事，乞留前恩，使臣得速还屯。不尔留连，必于外虞有阙。匹夫之志，有不可夺。”不听。
及还镇，吴西陵督步阐举城来降。吴将陆抗攻之甚急，诏祜迎阐。祜率兵五万出江陵，遣荆州刺史杨肇攻抗，不克，阐竟为抗所擒。有司奏：“祜所统八万余人，贼众不过三万。祜顿兵江陵，使贼备得设。乃遣杨肇偏军入险，兵少粮悬，军人挫衄。背违诏命，无大臣节。可免官，以侯就第。”竟坐贬为平南将军，而免杨肇为庶人。
祜以孟献营武牢而郑人惧，晏弱城东阳而莱子服，乃进据险耍，开建五城，收膏腴之地，夺吴人之资，石城以西，尽为晋有。自是前后降者不绝，乃增修德信，以怀柔初附，慨然有吞并之心。每与吴人交兵，克日方战，不为掩袭之计。将帅有欲进谲诈之策者，辄饮以醇酒，使不得言。人有略吴二儿为俘者，祜遣送还其家。后吴将夏详、邵顗等来降，二儿之父亦率其属与俱。吴将陈尚、潘景来寇，祜追斩之，美其死节而厚加殡敛。景、尚子弟迎丧，祜以礼遣还。吴将邓香掠夏口，祜募生缚香，既至，宥之。香感其恩甚，率部曲而降。祜出军行吴境，刈谷为粮，皆计所侵，送绢偿之。每会众江沔游猎，常止晋地。若禽兽先为吴人所伤而为晋兵所得者，皆封还之。于是吴人翕然悦服，称为羊公，不之名也。
祜与陆抗相对，使命交通，抗称祜之德量，虽乐毅、诸葛孔明不能过也。抗尝病，祜馈之药，抗服之无疑心。人多谏抗，抗曰：“羊祜岂鸩人者！”时谈以为华元、子反复见于今日。抗每告其戍曰：“彼专为德，我专为暴，是不战而自服也。各保分界而已，无求细利。”孙皓闻二境交和，以诘抗。抗曰：“一邑一乡，不可以无信义，况大国乎！臣不如此，正是彰其德，于祜无伤也。”
祜贞悫无私，疾恶邪佞，旬勖、冯紞之徒甚忌之。从甥王衍尝诣祜陈事，辞甚俊辨，祜不然之，衍拂衣而起。祜顾谓宾客曰：“王夷甫方以盛名处大位，然败俗伤化，必此人也。”步阐之役，祜以军法将斩王戎，故戎、衍并憾之，每言论多毁祜。时人为之语曰：“二王当国，羊公无德。”
咸宁初，除征南大将军、开府仪同三司，得专辟召。初，祐以伐吴必藉上流之势。又时吴有童谣曰：“阿童复阿童，衔刀浮渡江。不畏岸上兽，但畏水中龙。”祜闻之曰：“此必水军有功，但当思应其名者耳。”会益州刺史王浚征为大司农，祜知其可任，浚又小字阿童，因表留浚监益州诸军事，加龙骧将军，密令修舟楫，为顺流之计。
祜缮甲训卒，广为戎备。至是上疏曰：“先帝顺天应时，西平巴蜀，南和吴会，海内得以休息，兆庶有乐安之心。而吴复背信，使边事更兴。夫期运虽天所授，而功业必由人而成，不一大举扫灭，则众役无时得安。亦所以隆先帝之勋，成无为之化也。故尧有丹水之伐，舜有三苗之征，咸以宁静宇宙，戢兵和众者也。蜀平之时，天下皆谓吴当并亡，自此来十三年，是谓一周，平定之期复在今日矣。议者常言吴楚有道后服，无礼先强，此乃谓侯之时耳。当今一统，不得与古同谕。夫适道之论，皆未应权，是故谋之虽多，而决之欲独。凡以险阻得存者，谓所敌者同，力足自固。苟其轻重不齐，强弱异势，则智士不能谋，而险阻不可保也。蜀之为国，非不险也，高山寻云霓，深谷肆无景，束马悬车，然后得济，皆言一夫荷戟，千人莫当。及进兵之日，曾无藩篱之限，斩将搴旗，伏尸数万，乘胜席卷，径至成都，汉中诸城，皆鸟栖而不敢出。非皆无战心，诚力不足相抗。至刘禅降服，诸营堡者索然俱散。今江淮之难，不过剑阁；山川之险，不过岷汉；孙皓之暴，侈于刘禅；吴人之困，甚于巴蜀。而大晋兵众，多于前世；资储器械，盛于往时；今不于此平吴，而更阻兵相守，征夫苦役，日寻干戈，经历盛衰，不可长久，宜当时定，以一四海。今若引梁益之兵水陆俱下，荆楚之众进临江陵，平南、豫州，直指夏口，徐、扬、青、兖并向秣陵，鼓旆以疑之，多方以误之，以一隅之吴，当天下之众，势分形散，所备皆急，巴汉奇兵出其空虚，一处倾坏，则上下震荡。吴缘江为国，无有内外，东西数千里，以藩篱自持，所敌者大，无有宁息。孙皓孙恣情任意，与下多忌，名臣重将不复自信，是以孙秀之徒皆畏逼而至。将疑于朝，士困于野，无有保世之计，一定之心。平常之日，犹怀去就，兵临之际，必有应者，终不能齐力致死，已可知也。其俗急速，不能持久，弓弩戟盾不如中国，唯有水战是其所便。一入其境，则长江非复所固，还保城池，则去长入短。而官军悬进，人有致节之志，吴人战于其内，有凭城之心。如此，军不逾时，克可必矣。”帝深纳之。
会秦凉屡败，祜复表曰：“吴平则胡自定，但当速济大功耳。”而议者多不同，祜叹曰：“天下不如意，恒十居七八，故有当断不断。天与不取，岂非更事者恨于后时哉！”
其后，诏以泰山之南武阳、牟、南城、梁父、平阳五县为南城郡，封祜为南城侯，置相，与郡公同。祜让曰：“昔张良请受留万户，汉祖不夺其志。臣受钜平于先帝，敢辱重爵，以速官谤！”固执不拜，帝许之。祜每被登进，常守冲退，至心素著，故特见申于分列之外。是以名德远播，朝野具瞻，搢绅佥议，当居台辅。帝方有兼并之志，仗祜以东南之任，故寝之。祜历职二朝，任典枢要，政事损益，皆谘访焉，势利之求，无所关与。其嘉谋谠议，皆焚其草，故世莫闻。凡所进达，人皆不知所由。或谓祜慎密太过者，祜曰：“是何言欤！夫入则造膝，出则诡辞，君臣不密之诫，吾惟惧其不及。不能举贤取异，岂得不愧知人之难哉！且拜爵公朝，谢恩私门，吾所不取。”
祜女夫尝劝祜“有所营置，令有归戴者，可不美乎？”祜默然不应，退告诸子曰：“此可谓知其一不知其二。人臣树私则背公，是大惑也。汝宜识吾此意。”尝与从弟琇书曰：“既定边事，当角巾东路，归故里，为容棺之墟。以白士而居重位，何能不以盛满受责乎！疏广是吾师也。”
祜乐山水，每风景，必造岘山，置酒言咏，终日不倦。尝慨然叹息，顾谓从事中郎邹湛等曰：“自有宇宙，便有此山。由来贤达胜士，登此远望，如我与卿者多矣！皆湮灭无闻，使人悲伤。如百岁后有知，魂魄犹应登此也。”湛曰：“公德冠四海，道嗣前哲，令闻令望，必与此山俱传。至若湛辈，乃当如公言耳。”
祜当讨吴贼功，将进爵土，乞以赐舅子蔡袭。诏封袭关内侯，邑三百户。
会吴人寇弋阳、江夏，略户口，诏遣侍臣移书诘祐不追讨之意，并欲移州复旧之宜。祜曰：“江夏去襄阳八百里，比知贼问，贼去亦已经日矣。步军方往，安能救之哉！劳师以免责，恐非事宜也。昔魏武帝置都督，类皆与州相近，以兵势好合恶离。疆埸之间，一彼一此，慎守而已，古之善教也。若辄徙州，贼出无常，亦未知州之所宜据也。”使者不能诘。
祜寝疾，求入朝。既至洛阳，会景献宫车在殡，哀恸至笃。中诏申谕，扶疾引见，命乘辇入殿，无下拜，甚见优礼。及侍坐，面陈伐吴之计。帝以其病，不宜常入，遣中书令张华问其筹策。祜曰：“今主上有禅代之美，而功德未著。吴人虐政已甚，可不战而克。混一六合，以兴文教，则主齐尧舜，臣同稷契，为百代之盛轨。如舍之，若孙皓不幸而没，吴人更立令主，虽百万之众，长江未可而越也，将为后患乎！”华深赞成其计。祜谓华曰：“成吾志者，子也。”帝欲使祜卧护诸将，祜曰：“取吴不必须臣自行，但既平之后，当劳圣虑耳。功名之际，臣所不敢居。若事了，当有所付授，愿审择其人。”
疾渐笃，乃举杜预自代。寻卒，时年五十八。帝素服哭之，甚哀。是日大寒，帝涕泪沾须鬓，皆为冰焉。南州人征市日闻祜丧，莫不号恸，罢市，巷哭者声相接。吴守边将士亦为之泣。其仁千所感如此。赐以东园秘器，朝服一袭，钱三十万，布百匹。诏曰：“征南大将军南城侯祜，蹈德冲素，思心清远。始在内职，值登大命，乃心笃诚，左右王事，入综机密，出统方岳。当终显烈，永辅朕躬，而奄忽殂陨，悼之伤怀。其追赠侍中、太傅，持节如故。”
祜立身清俭，被服率素，禄俸所资，皆以赡给九族，赏赐军士，家无余财。遗令不得以南城侯印入柩。从弟琇等述祜素志，求葬于先人墓次。帝不许，赐去城十里外近陵葬地一顷，谥曰成。祜丧既引，帝于大司马门南临送。祜甥齐王攸表祜妻不以侯敛之意，帝乃诏曰：“祜固让历年，志不可夺。身没让存，遗操益厉，此夷叔所以称贤，季子所以全节也。今听复本封，以彰高美。”
初，文帝崩，祜谓傅玄曰：“三年之丧，虽贵遂服，自天子达；而汉文除之，毁礼伤义，常以叹息。今主上天纵至孝，有曾闵之性，虽夺其服，实行丧礼。丧礼实行，除服何为邪！若因此革汉魏之薄，而兴先王之法，以敦风俗，垂美百代，不亦善乎！”玄曰：“汉文以末世浅薄，不能行国君之丧，故因而除之。除之数百年，一旦复古，难行也。”祜曰：“不能使天下如礼，且使主上遂服，不犹善乎！”玄曰：“主上不除而天下除，此为但有有父子，无复君臣，三纲之道亏矣。”祜乃止。
祜所著文章及为《老子传》并行于世。襄阳百姓于岘山祜平生游憩之所建碑立庙，岁时飨祭焉。望其碑者莫不流涕，杜预因名为堕泪碑。荆州人为祜讳名，屋室皆以门为称，改户曹为辞曹焉。
祜开府累年，谦让不辟士，始有所命，会卒，不得除署。故参佐刘侩、赵寅、刘弥、孙勃等笺诣预曰：“昔以谬选，忝备官属，各得与前征南大将军祜参同庶事。祜执德冲虚，操尚清远，德高而体卑，位优而行恭。前膺显命，来抚南夏，既有三司之仪，复加大将军之号。虽居其位，不行其制。至今海内渴伫，群俊望风。涉其门者，贪夫反廉，懦夫立志，虽夷惠之操，无以尚也。自镇此境，政化被乎江汉，潜谋远计，辟国开疆，诸所规摹，皆有轨量。志存公家，以死勤事，始辟四掾，未至而陨。夫举贤报国，台辅之远任也；搜扬侧陋，亦台辅之宿心也；中道而废，亦台辅之私恨也。履谦积稔，晚节不遂，此远近所以为之感痛者也。昔召伯所憩，爱流甘棠；宣子所游，封殖其树。夫思其人，尚及其树，况生存所辟之士，便当随例放弃者乎！乞蒙列上，得依已至掾属。”预表曰：“祜虽开府而不备僚属，引谦之至，宜见显明。及扶疾辟士，未到而没，家无胤嗣，官无命士，此方之望，隐忧载怀。夫笃终追远，人德归厚，汉祖不惜四千户之封，以慰赵子弟心。请议之。”诏不许。
祜卒二岁而吴平，群臣上寿，帝执爵流涕曰：“此羊太傅之功也。”因以克定之功，策告祜庙，仍依萧何故事，封其夫人。策曰：“皇帝使谒者杜宏告故侍中、太傅钜平成侯祜：昔吴为不恭，负险称号，郊境不辟，多历年所。祜受任南夏，思静其难，外扬王化，内经庙略，著德推诚，江汉归心，举有成资，谋有全策。昊天不吊，所志不卒，朕用悼恨于厥心。乃班命群帅，致天之讨，兵不逾时，一征而灭，畴昔之规，若合符契。夫赏不失劳，国有彝典，宜增启土宇，以崇前命，而重违公高让之素。今封夫人夏侯氏万岁乡君，食邑五千户，又赐帛万匹，谷万斛。”
祜年五岁，时令乳母取所弄金环。乳母曰：“汝先无此物。”祜即诣邻人李氏东垣桑树中探得之。主人惊曰：“此吾亡儿所失物也，云何持去！”乳母具言之，李氏悲惋。时人异之，谓李氏子则祜之前身也。又有善相墓者，言祜祖墓所有帝王气，若凿之则无后，祜遂凿之。相者见曰“犹出折臂三公”，而祜竟堕马折臂，位至公而无子。
帝以祜兄子暨为嗣，暨以父没不得为人后。帝又令暨弟伊为祜后，又不奉诏。帝怒，并收免之。太康二年，以伊弟篇为钜平侯，奉祜嗣。篇历官清慎，有私牛于官舍产犊，及迁而留之，位至散骑常侍，早卒。
孝武太元中，封祜兄玄孙之子法兴为钜平侯，邑五千户。以桓玄党诛，国除。尚书祠部郎荀伯子上表讼之曰：“臣闻咎繇亡嗣，臧文以为深叹；伯氏夺邑，管仲所以称仁。功高可百世不泯，滥赏无得崇朝。故太傅、钜平侯羊祜明德通贤，国之宗主，勋参佐命，功成平吴，而后嗣阙然，烝尝莫寄。汉以萧何元功，故绝世辄继，愚谓钜平封宜同酂国。故太尉广陵公准党翼贼伦，祸加淮南，因逆为利，窃飨大邦。值西朝政刑失裁，中兴因而不夺。今王道维新，岂可不大判臧否，谓广陵国宜在削除。故太保卫瓘本爵菑阳县公，既被横害，乃进茅土，始赠兰陵，又转江夏。中朝名臣，多非理终，瓘功德无殊，而独受偏赏，谓宜罢其郡封，复邑菑阳，则与夺有伦，善恶分矣。”竟寝不报。
祜前母，孔融女，生兄发，官至都督淮北护军。初，发与祜同母兄承俱得病，祜母度不能两存，乃专心养发，故得济，而承竟死。
发长子伦，高阳相。伦弟暨，阳平太守。暨弟伊，初为车骑贾充掾，后历平南将军、都督江北诸军事，镇宛，为张昌所杀，追赠镇南将军。祜伯父秘，官至京兆太守。子祉，魏郡太守。秘孙亮，字长玄，有才能，多计数。与之交者，必伪尽款诚，人皆谓得其心，而殊非其实也。初为太傅杨骏参军，时京兆多盗窃。骏欲更重其法，盗百钱加大辟，请官属会议，亮曰：“昔楚江乙母失布，以为盗由令尹。公若无欲，盗宜自止，何重法为？”骏惭而止。累转大鸿胪。时惠帝在长安，亮与关东连谋，内不自安，奔于并州，为刘元海所害。亮弟陶，为徐州刺史。