山穷水尽之时，幸得晋朝幽州刺史段匹襌派人来邀。穷极无路，刘琨只得前往蓟城，依附段匹襌。
段匹襌一直很敬崇刘琨，两人相见，相约共扶晋室，尽忠朝廷，并结为兄弟。同时，两人又一起上表远在建康的司马睿，拥戴他为皇帝。
段匹襌，东部鲜卑人，“种类劲健，世为大人”，其父务勿尘就是王浚嫁女与之的那位鲜卑首领。务勿尘被晋朝封为大单于时，段匹襌也受封为左贤王，率众帮助晋朝征讨匈奴刘氏。务勿尘病死后，段匹襌的哥哥疾陆眷在叔父涉复辰拥立下承袭大单于封号。
刘曜攻打洛阳时，王浚派疾陆眷等人与晋军一起攻打襄国的石勒。段匹襌的堂弟段末杯追击石勒被俘，石勒不仅没杀他，反而送还于疾陆眷。为此，东部鲜卑与羯胡结盟，双方不再战斗，晋将也不能阻止。
段匹襌一直不赞成兄长与石勒休战的作法，并尊刘琨为大都督，遣兵准备攻击石勒。大惧之下，石勒派人厚赂段匹襌堂弟段末杯。段末杯既想报石勒先前不杀之恩，又想乘段匹襌在外征战侵夺他的地盘，便向疾陆眷和涉复辰二人进言，认为他们以单于兄长和叔父之尊，不应该听从段匹襌。他又讲，即使讨伐石勒，一旦有所成功，大功也归于段匹襌一人，对疾陆眷单于没有什么好处。此计果然奏效，东部鲜卑主力引军而还。
段匹襌孤掌难鸣，只得回军。不久，疾陆眷单于病死。段匹襌闻讯，率军赶回为哥哥奔丧，段末杯声言他是要回来篡位，半路设伏追击，段匹襌败走。
段末杯趁机杀掉堂叔涉复辰及其子弟二百多人，自立为单于。
因此，刘琨依附段匹襌之时，这位鲜卑人自己也处于多难之秋。惺惺相惜，两人关系开始处得很不错。
当初，段匹襌在奔兄丧时，刘琨的儿子刘群也和他一起。段末杯大败段匹襌，段匹襌逃走，刘群被俘。段末杯抓住刘群后，“厚礼之”，答应推戴刘琨为幽州刺史，结盟共击段匹襌。刘群年轻无识，写信给父亲刘琨，并派密使送信。半路，段末杯派来为刘群送信的人被段匹襌手下抓获，搜出密信。
对此，刘琨一无所知。忽然受到段匹襌“邀请”，刘琨便欣然前往。两人坐定，段匹襌拿出刘群的密信，对刘琨说：“我也没有怀疑您参与此事，特意把真情告知您。”
刘琨览信过后，神情凝重。良久，他推心置腹地说：“我与您结盟，志在恢复晋室，以雪国家沦亡之耻。即使我儿子的书信送至我处，也不会因一子之故辜负您！”段匹襌不断点头。他一直钦敬刘琨的操节，知道其所言发自内心，便想听任刘琨还其所属部伍。
其间，段匹襌的弟弟段叔军把兄长唤至厅外，劝道：
“我们本来就是胡夷外族，过去能让晋人畏服，正是我们人多势重的原因。如今，我们家族内部骨肉相残，正是晋人良图之期。如果有人奉戴刘琨从中起事，恐怕我们家族会尽被屠灭！”
段匹襌闻言，深觉有理，于是他下令把刘琨软禁起来。
消息传出，刘琨长子刘遵害怕也被囚杀，与刘琨僚属一起闭门自守。由于兵少，段匹襌兵将很快攻下营垒，执捕众人。
“（刘）琨既忠于晋室，素有重望，被拘经日，远近愤叹。”连被段匹襌任命的代郡太守和刘琨任命的雁门太守也都一起密谋计议，准备联召军兵，袭击段匹襌，救出刘琨。不久，两个太守谋泄被杀。段匹襌虽杀掉数人，自己也内心惶恐。
刘琨自被拘禁，“自知必死，神色怡如也。为五言诗赠其别驾卢谌”。此诗，即是文章开篇那首《重赠卢谌》。
东晋朝廷方面，权臣王敦派人密告段匹襌，让他杀掉刘琨。段匹襌外迫于王敦，又内惧属下造反，就声称皇上诏旨，下令诛杀刘琨。
刘琨听说王敦来使，就已预料到自己的命运，他对儿子刘遵说：“处仲（王敦字处仲）使来而不告我，是杀我也。死生有命，但恨仇耻不雪，无以下见二亲耳。”大英雄言及此，泪下如雨。
段匹襌遣兵士闯入，缢杀刘琨，时年四十八。同时遇害的，还有刘琨的子侄四人。由于当时晋廷还要依仗段匹襌抵拒石勒，没有立即为刘琨正名举哀。
两年多后，晋廷才下令赠刘琨为侍中、太尉，谥曰愍。南宋大诗人陆游与民族英雄文天祥都有佳诗赞美刘琨：
买醉村场半夜归，西山落月照柴扉。
刘琨死后无奇士，独听荒鸡泪满衣。
《夜归偶怀》陆游寥阳殿上步黄金，一落颠崖地狱深。
苏武窖中偏喜卧，刘琨囚里不妨吟。
生前已见夜叉面，死去只因菩萨心。
万里风沙知己尽，谁人会得广陵音。
《己卯十月一日有感而赋》文天祥段匹襌杀掉刘琨后，其属下汉人、胡人多奔散。杀刘琨是段匹襌一生最大的败笔，但这个鲜卑人一直忠于晋室。不久之后，他与晋臣邵续合力，进攻段末杯。石虎乘段氏兄弟互攻之际，乘间掩袭，最终把段匹襌包围于蓟城。
段匹襌本想突围逃生，单骑归朝，被人劝阻。最后，眼见救援无望，段匹襌身穿晋朝朝服，手持晋节，率从人出见围攻他的石虎，正色凛然道：“我受国恩，志在灭汝。不幸族内自乱，以至于此。既不能死，也不会奉汝为主。”石虎与段氏鲜卑一族从前常打交道，二人还曾结拜为兄弟。石虎虽残暴成性，但对段匹襌仍十分尊敬，“起而拜之”。
段匹襌被执送襄国后，被石勒软禁，常常也被石勒“请出”参加赵国的“朝会”。段匹襌总是一身晋朝朝服，手持晋节，从不向石勒下拜。以石勒、石虎之暴，竟也一时不敢对段匹襌下手，可见这位鲜卑大人的威武和人格魅力绝非常人可比。
石勒忍耐了一年多，见始终无法降服这位辽西鲜卑，又怕其族人趁机拥之东山再起，便加以谋乱罪名，派人杀掉了段匹襌。
《晋书》对段匹襌的评价非常中肯：
段匹襌本自遐方，而系心朝廷，始则尽忠国难，终乃抗节虏廷，自苏子卿以来，一人而已。越石（刘琨）之见诛段氏，实以威名；匹襌之取戮世龙（石勒），亦由众望。福祸之应，何其速哉！《诗》云：“无言不酬，无德不报。”此之谓也。