قد ذكرنا ما كان من أبي سلمة في أمر أبي العباس السفاح ومن كان معه من بني هاشم عند قدومهم الكوفة ، بحيث صار عندهم متهما ، وتغير السفاح عليه وهو بعسكره بحمام أعين ، ثم تحول عنه إلى المدينة الهاشمية ، فنزل قصر الإمارة بها وهو متنكر لأبي سلمة ، وكتب إلى أبي مسلم يعلمه رأيه فيه وما كان هم به من الغش ، وكتب إليه أبو مسلم : إن كان أمير المؤمنين اطلع على ذلك منه فليقتله .
فقال داود بن علي للسفاح : لا تفعل يا أمير المؤمنين فيحتج بها أبو مسلم عليك ، وأهل خراسان الذين معك أصحابه ، وحاله فيهم حاله ، ولكن اكتب إلى أبي مسلم فليبعث إليه من يقتله .
فكتب إليه ، فبعث أبو مسلم مرار بن أنس الضبي لقتله ، فقدم على السفاح فأعلمه بسبب قدومه ، فأمر السفاح مناديا فنادى : إن أمير المؤمنين قد رضي عن أبي سلمة ودعاه فكساه ، ثم دخل عليه بعد ذلك ليلة فلم يزل عنده حتى ذهب عامة الليل ، ثم انصرف إلى منزله وحده ، فعرض له مرار بن أنس ، ومن معه من أعوانه فقتلوه ، وقالوا : قتله الخوارج .
ثم أخرج من الغد ، فصلى عليه يحيى بن محمد بن علي ، ودفن بالمدينة الهاشمية عند الكوفة ، فقال سليمان بن المهاجر البجلي :
إن الوزير وزير آل محمد أودى فمن يشناك صار وزيرا
وكان يقال لأبي سلمة : وزير آل محمد ، ولأبي مسلم : أمير آل محمد .فلما قتل أبو سلمة وجه السفاح أخاه أبا جعفر إلى أبي مسلم ، فلما قدم على أبي مسلم سايره عبيد الله بن الحسن الأعرج ، وسليمان بن كثير ، فقال سليمان بن كثير لعبيد الله : يا هذا ، إنا كنا نرجو أن يتم أمركم ، فإذا شئتم فادعونا إلى ما تريدون .
فظن عبيد الله أنه دسيس من أبي مسلم ، فأتى أبا مسلم فأخبره وخاف أن يعلمه أن يقتله ، فأحضر أبو مسلم سليمان بن كثير ، وقال له : أتحفظ قول الإمام لي من اتهمته فاقتله ؟ قال : نعم . قال : فإني قد اتهمتك . قال : أنشدك الله ! قال : لا تناشدني ، فأنت منطو على غش الإمام ، وأمر بضرب عنقه .
ورجع أبو جعفر إلى السفاح فقال : لست خليفة ، ولا أمرك بشيء إن تركت أبا مسلم ولم تقتله . قال . وكيف ؟ قال : والله ما يصنع إلا ما أراد . قال أبو العباس : فاكتمها .
وقد قيل : إن أبا جعفر إنما سار إلى أبي مسلم قبل أن يقتل أبو سلمة .
وكان سبب ذلك أن السفاح لما ظهر تذاكروا ما صنع أبو سلمة ، فقال بعض من هناك : لعل ما صنع كان من رأي أبي مسلم . فقال السفاح : لئن كان هذا عن رأيه إنا لنعرفن بلاء إلا أن يدفعه الله عنا . وأرسل أخاه أبا جعفر إلى أبي مسلم ليعلم رأيه . فسار إليه وأعلمه ما كان من أبي سلمة ، فأرسل مرار بن أنس فقتله .