بدأ الظواهري في إعادة تشكيل الجهاد الإسلامي المصري (EIJ) جنبا إلى جنب مع المسلحين المنفيين الآخرين. كانت للجماعة "علاقات فضفاضة للغاية مع زعيمهم المسجون الاسمي عبود الزمر". في عام 1991 ، انفصلت EIJ عن الزمر ، واستولى الظواهري على "مقاليد السلطة" ليصبح زعيم EIJ.