段祺瑞出身于一个军人家庭，其祖父段佩与刘铭传、张树声、周盛波、周盛传等人既是同乡，又同隶属于李鸿章的淮军体系之下，早年因镇压捻军有功而官居淮军统领。段祺瑞于1865年出生于安徽六安县太平集北的段家老宅，其父亲段从文倒是人如其名，一直耕读在家。段祺瑞五岁的时候，父亲段从文在合肥买下百亩良田，随后举家搬迁，因此段祺瑞又被人称为“段合肥”。
段祺瑞小时候主要受到祖父的影响，他在七岁的时候便被祖父段佩接到自己在宿迁的兵营，由此耳濡目染了军旅生活。尽管祖父给段祺瑞请了塾师带他念书，但年少时的段祺瑞却最喜欢舞刀弄棍，看书也只爱看排兵布阵、奇门遁甲之类的兵书(难怪袁世凯赏识他，原来两个人都有如此经历)。在那段日子里，作为小少爷的段祺瑞过得还是很惬意的。
但是，段祺瑞的好日子在14岁的时候戛然而止，因为他的祖父段佩在宿迁驻地突然亡故。失去了庇护的小段在军营中无以托身，只得将祖父的灵柩扶送回合肥老家安葬。不久，小段又只身一人步行2000多里，在风尘仆仆数十天后，终于赶到山东威海投奔了堂叔段从德，并在他的手下做了一名小兵。这一年，段祺瑞才16岁。
不幸接踵而至。就在段祺瑞来到威海的第二年，其父段从文在赶到威海看望儿子后，在回家途中被盗贼所害 (离家不过30里地)，盘缠掳掠一空，年仅39岁。噩耗传到威海后，段祺瑞请假奔丧而未获得批准。八个月后，段祺瑞的母亲因为哀痛过度，也不幸亡故。一年之内，父母双亡，段祺瑞这次才被批准回家奔丧。
回到家中后，看着自己年幼的弟弟妹妹(大妹启英12岁，二弟启辅10岁，小弟启勋9岁)，18岁的段祺瑞心情十分沉重。作为家中的长子，段祺瑞在父母双亡的情况下，必须承担起照顾弟弟妹妹生活的重担。
家庭的变故和养家糊口的重担，使得段祺瑞心事重重，愁眉不展。作为普通一兵，段祺瑞是看不到生活的希望的。时来运转的是，李鸿章在1885年创立了天津武备学堂并拟从淮军中招收学员，刚满20岁的段祺瑞听说这一消息后喜出望外，他决心要抓住这改变命运的绝好机会，于是立刻报名应征并在考试中名列前茅，最终被选入炮兵科学习。
两年后，段祺瑞以“最优等”的成绩从学堂毕业，随后又被选派到德国去学习军事。据说，在初选名单里本来是没有段祺瑞的，但李鸿章看到选派人员中安徽籍的只有两个人，心中十分不悦，于是把山东籍的划掉一个，而改选了一个自己的小老乡，这个小老乡就是段祺瑞。说起来，李鸿章被人称为“李合肥”，段祺瑞后来也被称为“段合肥”，这两人还真有点缘分呢。
到德国后，段祺瑞等人进入柏林军事学校学习。在校期间，段祺瑞还闹起了剪辫风波，因为德国人看到中国人留着长辫子，觉得十分可笑，暗地里骂他们是“中国猪”，段祺瑞气愤难平，于是拿起剪刀要剪掉脑后的辫子。这时，督学荫昌正好进来，他看见段祺瑞要剪辫子，慌忙加以制止，这才避免了一场麻烦。
在其他人已经学成回国后，李鸿章再次指派段祺瑞前往克虏伯兵工厂实习，以熟悉并学习世界最先进火炮的制造和使用技术。直到1890年底，25岁的段祺瑞才返回国内，在进入北洋军械局不久，又调入威海随营学堂充当教习。可惜的是，当时的清军对这些军校毕业生不甚重视，他们中的大多数人都是被委以教习之类的闲职，而没能进入军营中做带兵官。当时的军界风气，那些行伍出身的旧派军官大都看不起军校毕业生，他们认为这些娃娃兵没有实际作战经验，不能委以重任，即便段祺瑞这样留洋回来的优秀军官，也屡屡遭到这些旧军官的排挤。
直到袁世凯的“小站练兵”后，那些军校毕业生才开始得到重用。当时袁世凯请当时任天津武备学堂总办的荫昌推荐人才，荫昌很自然的便想到了段祺瑞，并将他推荐到袁世凯的门下。袁世凯的新建陆军是一支拥有步兵、骑兵、炮兵、工程兵等多兵种的新式部队，其中炮兵就有近2000人，段祺瑞随后被委任为炮队统带，并得到袁世凯的极大重视。当时段祺瑞带的这支炮队有速射炮、重炮等60门，战马近500匹，这也是中国近代历史上第一支正规化的炮兵部队，段祺瑞也可以说的中国第一任炮兵司令。
随着袁世凯的不断升迁，段祺瑞也跟着沾光，陆续做到了北洋六镇的统制之职。在清朝覆灭后，段祺瑞做过几任陆军总长，后来因为反对袁世凯称帝而隐居西山。袁世凯死前，命人将段祺瑞找来并将国事托付给他，段祺瑞也由此做上了民国的内阁总理，成为当时最重要的政治人物。
段祺瑞的为人一向古板严肃，不苟言笑，给人的印象是不太好打交道。他平时的生活也是很有规律，一年三百六十五天基本没有什么变化。一般情况下，他都是在家吃早饭，随后上书房看公事；看完公事后去衙门，中午再回来吃饭。
吃过中饭后，老段一般会在内客厅睡个中觉，然后有客的时候会客，无客的时候就与棋手们下下围棋，或者找一些诗人搞搞诗会，当时王揖唐、梁鸿志等人便是段府的常客。晚饭之后，老段照例要打一会牌(麻将)。
段祺瑞非常喜欢下围棋，当时他还特意养了一批棋手，后来加入日本籍的国手吴清源，他小的时候便经常陪老段下棋，每月发给工资。据说，那些棋手和段祺瑞下棋时都十分识相，既不能赢段祺瑞，因为老段自尊心很强，输了他会很不高兴；但也不能多输，因为多输的话，会让段祺瑞看不起。
据称，有一次段祺瑞和儿子段宏业下棋。棋到终盘，段祺瑞大负，气得他跳起脚来，把棋盘掀翻，并怒斥段宏业道：“你这小子，一无所能，就知道玩这个，你以后有什么出息？”段宏业被斥后，只得诺诺而退(想必儿子输给了他，段祺瑞又会笑骂：“你这小子，连个棋都下不好，你以后还能干什么？”)。段宏业是到段祺瑞的大儿子，平时最喜欢吃喝玩乐，素无大志，他在外面一向是花天酒地，唯独见了老段就像是老鼠见了猫，大气也不敢出一声，这不，赢了棋还被老段斥责一顿，他屁也不敢放一个。
唯独有个小棋手却不畏惧段祺瑞，这就是后来成为著名棋手的吴清源。吴清源做段府的棋手时年纪还小，也最受段祺瑞的喜爱。他在和老段下棋的时候到是毫不客气，俩人经常能下个旗鼓相当，但随着吴清源水平的不断提高，段祺瑞和他对弈往往输多赢少，后来也就不再和他下了。吴清源后来入了日本籍，成为日本围棋界的一流高手。
段祺瑞脾气大，治家严，手下的人都战战兢兢，不敢犯错，特别是不敢向来宾索取门包。按前清的规矩，一般大官的门房都有一个陋规，那就是收取门包，否则就进不了门。段祺瑞大概吃过这个“门包”的亏，因而最恨别人收门包，他要是听说谁收门包，还真能把人拉出去枪毙。按中国人的习惯，过年过节的，终究要礼尚往来，而地方上的官员来京办事，也一般会给重要的京官送点礼，这个规矩，唯独到了老段这里行不通。每逢有人将礼物送到段公馆，门房都是将之放在内客厅门口的条案上，等段祺瑞亲自过目后定夺。段祺瑞每次路过时，总是仔细地看了又看，最后挑一两件最不值钱的留下，其余的全部让人送回。
有一次，江苏督军齐燮元给段祺瑞送了一个精美绝伦的围屏，围屏上镶有各种宝石，五颜六色，非常漂亮。段家的人喜欢得不得了，晚上还偷偷起来观看。但第二天早上，段祺瑞便令人送回。张作霖有一次给段祺瑞送了一些东北的特产，如江鱼、黄羊等，在其副官的一再恳求下，段祺瑞才收下两条江鱼，这已经是非常大的面子了。唯独有一次冯玉祥给他送了一个大南瓜，老段倒是很中意，没有送回。
另外，段祺瑞还不准家里人说私情。譬如有个老妈子托段祺瑞的一位姨太太替他的一个亲戚找个小差使，这刚一张口，段祺瑞的鼻子就气歪了。他大骂道：“好啊，你们想卖官还怎么着？你拿了人家多少钱！快说！”因此，在段祺瑞的面前，谁也不敢乱托人的。
段祺瑞不但对自己严苛，对别人也是非常严格。他手下有个姓苏的军需官，他买了个小丫头，而他的老婆经常虐待这个小女孩，三天两头把人家打得鬼哭狼嚎。不知怎么的，这事传到了段祺瑞的耳中，他得知后勃然大怒，立即派人将苏军需和小丫头带来，自己则怒气冲冲在大客厅等着问话。
当时的场面可谓是杀气腾腾，如同旧时衙门上堂一样。等苏军需到后，段祺瑞拍着桌子大骂，并令手下用军棍重责40大棍。这下把苏军需吓得浑身发抖，连连求饶。段祺瑞骂了半天后，气才消了下去，随后便吩咐手下将小丫头送到后院，让自己的家眷收养下来。
不过，段祺瑞只是表面上看起来严肃，其实内心也是真性情。段祺瑞少年的时候随祖父在宿迁军营，在当地私塾读书时认识了几个同年好友，后来段祺瑞做上了总理，发达了，其中的一个叫申孟达的好友便试着来北京找他。刚开始的时候，申孟达害怕段祺瑞已经认不得他了，于是先写了封信让人送到段府，不曾想段祺瑞在接信后便立即派人送上银元200元，三天后，段祺瑞亲自来接，一下子就开来了十几辆小汽车，并让人好生招待。
当年跟随段祺瑞祖父段佩的几个老人，后来也被段祺瑞接到府上。其中有一个叫刑宝斋的，他每次提到段祺瑞的时候，常说段祺瑞小时候一天到晚鼻涕邋遢，刑宝斋看不上他，那时骂他：“你这叫什么少爷啊，一点都不爱干净！”
刑宝斋常跟公馆里的人说这事，有的人听烦了，便反诘道：“你不是看不上他吗？可人家如今干出了一番惊天动地的大事业，你现在还在给他买笤帚！”刑宝斋被堵得没话说，只好结结巴巴地说：“我哪知道他有这一天啊，我要知道，当初也对他好点啊！”
《一士类稿》中有个这样的记载，说段祺瑞刚做上边防督办的时候，一日雪后，他偶至街头散步，忽然问随行的小僮：“边防处距此远不远？”小僮说不远，于是段祺瑞便让他带他去看一下。到了边防处，卫兵见一个衣冠朴旧的老头昂然入内，便厉声呵止。小僮赶上前斥道：“这是段督办，你怎敢如此无礼！”卫兵听后十分惊愕，慌忙请罪并报告处中重要职员，恭迎段祺瑞入内视察。众人平时都见不到段祺瑞，今天看到他突然莅临，以为有什么大事要宣布，于是一个个都肃侍静候训示。段祺瑞微笑道：“今日下雪，我乘兴闲游至此，你们不必管我了，各自回去办公吧。”说完，段祺瑞便让众人散去，自己则到督办室小坐了一会，随后仍旧缓步而归。
作为民国年间的大人物，段祺瑞一生不蓄私财，不徇私情，不拥兵自重，这在军阀中，无论如何也算是至为可贵了。
