لما توفي و حمل إلى البقيع أنشد أبو هريرة العجلي :
أقول و قد راحوا به يحملونه على كاهل من حامليه و عاتقأ تدرون ما ذا تحملون إلى الثرى! ثبيرا ثوى من رأس علياء شاهقغداة حثا الحاثون فوق ضريحه ترابا و أولى كان فوق المفارق
و روى الكليني و غيره بالإسناد عن أبي أيوب الجوزي قال بعث إلي أبو جعفر المنصور في جوف الليل فدخلت عليه و هو جالس على كرسي و بين يديه شمعة و في يده كتاب فلما سلمت رمى الكتاب إلي و هو يبكي و قال هذا كتاب محمد بن سليمان »والي المدينة« يخبرنا أن جعفر بن محمد قد مات فإنا لله و إنا إليه راجعون ثلاثا و أين مثل جعفر ثم قال لي اكتب فكتبت صدر الكتاب ثم قال اكتب إن كان أوصى الى رجل بعينه فقدمه و اضرب عنقه فرجع الجواب إليه أنه أوصى إلى خمسة أحدهم أبو جعفر المنصور و محمد بن سليمان و عبد الله و موسى ابني جعفر و حميدة فقال المنصور ليس إلي قتل هؤلاء سبيل.
و روى ابن شهرآشوب في المناقب عن داود بن كثير الرقي قال أتى أعرابي إلى أبي حمزة الثمالي فسأله خبرا فقال توفي جعفر الصادق فشهق شهقة و أغمي عليه فلما أفاق قال هل أوصى إلى أحد قال نعم أوصى إلى ابنه عبد الله و موسى و أبي جعفر المنصور فضحك ابو حمزة و قال الحمد لله الذي هدانا إلى الهدى و بين لنا عن الكبير و دلنا على الصغير و أخفى عن أمر عظيم فسئل عن قوله فقال بين عيوب الكبير و دل على الصغير لإضافته إياه و كتب الأمر بالوصية للمنصور لأنه لو سأل المنصور عن الوصي لقيل أنت»اه« و ذلك أن عبد الله و إن كان أكبر ولد الصادق عليهالسلام إلا أنه كان به عيب فكان أفطح الرجل و الإمام لا يكون ناقصا و مع ذلك كان جاهلا بأحكام الشريعة.قوله: لإضافته إياه يعني إضافته إلى الأوصياء و جعله من جملتهم فعلم أنه هو الوصي الحقيقي لكمال فضله.
و في مروج الذهب للمسعودي : لعشر سنين خلت من خلافة المنصور توفي أبو عبد الله جعفر بن محمد بن علي بن الحسين بن علي بن أبي طالب سنة 148 و دفن بالبقيع مع أبيه و جده و له «65 سنة« و قيل إنه سم.
و على قبورهم في هذا الموضع من البقيع رخامة مكتوب عليها: )بسم الله الرحمن الرحيم الحمد لله مبيد الأمم و محيي الرمم هذا قبر فاطمة بنت رسول الله صلى الله عليه وآله سيدة نساء العالمين و قبر الحسن بن علي بن أبي طالب و علي بن الحسين بن علي بن أبي طالب و محمد بن علي و جعفر بن محمد عليهم السلام و في تذكرة الخواص حكاية الكتابة على الرخامة عن الواقدي