الظواهری شروع به بازسازی جهاد اسلامی مصر (EIJ) به همراه دیگر شبهنظامیان تبعیدی کرد. این گروه «ارتباطات بسیار سستی با رهبر اسمی زندانی خود، عبود الزمر داشت.» در سال ۱۹۹۱، جهاد اسلامی مصر از الزمر جدا شد و الظواهری «زمام قدرت» را به دست گرفت تا رهبر جهاد اسلامی مصر شود.
