بقى (ع) عند المامون معززاً مكرماً ، وذلك تظاهراً من المأمون . وكانات زوجته ام الفضل لا توافقه في الأخلاق والأفعال ، لآنه يكرم كثيراً زوجته ألجليلة أم الإمام العاشر ، وكانت تشكيه لأبيها المامون وهولا يصغي لها لما صدر منه نحو ابيه الرضا(ع) ولم يتعرض لأذيته ولا لأحد من أهل البيت ، علماً بأن ذلك ليس في صلاح دنياه ولا أخراه . وقد علمه الإمام (ع) الحرز المعروف بحرز الجواد (ع) للحفظ من الشرور والبلايا والمكاره والآفات والعاهات وهو من أوثق الأحراز .
ثم خرج (ع) من معاشرة المامون فخرج للحج ، ومعه أم الفضل ، ورجع من مكة بوطن جده (ص) ، فلم يزل بها حتى هلك المأمون ، وبويع لأخيه المعتصم وكان مضى على خلافته (ع) بعد أبيه (ع) ست عشر سنة .
وكان المعتصم أكثر بني العباس تعصباً ةكرهاً لأبناء علي ، وكان يبهره ويحيره ما يسمع من معجزات وكرامات وعلوم الإمام (ع) وفي الوقت نفسه يملأ قلبه خوفاً منه وحسداً ويزيده عداوه . واخيراً قرر أن يستدعيه من المدينة المنورة ليبقيه بجانبه وتحت نظره في بغداد .
فلما بلغت دعوته الإمام ، تهيأ للمسير مع زوجته ام الفضل ، وأوصى لولده الإمام الهادي (ع) وجعله خليفة من بعده ونص عليه بالإمامة بمحضر أكابر شيعته ، ودفع إليه مواريث الإمامة وهو (ع) بعد صغير السن وانصرف (ع) ودخل بغداد في الثامن والعشرين من شهر محرم من سنة عشرين ومأتين للهجرة الشريفه ، وفي بغداد حيث محاججاته وإكبار العلماء والناس له (ع) واياته التي تظهر تزيد المعتصم خشية منه ويتظاهر بتقدير واحترام الإمام (ع) ولذا كان ينتظر فرصة ، ليُضعف فيها الإمام (ع) ويكسفه .
وكان بنو العباس يخافون من الإمام (ع) وينقمون عليه من علمه وحب الناس له ، فكانوا دائمي السعاية والدس له والأفتراء عند المنصور ، ولعل أبرز هؤلاء الأخصام والأعداء جعفر بن المامون ، أخا ام الفضل زوجة الإمام (ع) .