از درون دالان پنج اتاق، در وسط حیاط دوم، به دروازۀ یادبود سنگی می‌رسیم که با چهار ستون نگهداری می‌شود. در بالای دروازۀ اصلی به زبان چینی نوشته شده است: «بارگاه بهشت». در اطراف دروازه نرده‌های سنگی تراش‌خورده وجود دارند با دو مسیر که در کنار آن‌ها قرار گرفته‌اند. این مجموعۀ سنگی در دورۀ سلسلۀ مینگ ساخته شده است. در پشت این مجموعه دو سنگ یادبود بنا شده‌اند که روی آن‌ها با طرح اژدها تزئین شده است. روی هر دوی آن‌ها دربارۀ تعمیرات مسجد در سلسله‌های مختلف به ترتیب زمانی نوشته‌هایی حک شده است.
دالان سلطنتی در حیاط سوم قدیمی‌ترین ساختمان مسجد است. یک قطعه سنگ به نام «سنگ یادبود ماه» در آن قرار گرفته است که روی آن به زبان عربی توسط یک امام معروف در مورد چگونگی محاسبۀ تقویم اسلامی نوشته شده است.
در مرکز حیاط سوم  «برج درون‌گرایی» به عنوان مناره عمل می‌کند که بلندترین ساختمان مسجد است و برای فراخواندن مردم به انجام مناسک مذهبی استفاده می‌شود. این مناره ۲ طبقه با سقف هشت‌وجهی‌اش استوار و بلند در مرکز حیاط ایستاده است. در قسمت شمالی مناره تالار کنفرانس واقع شده است که در آن کپی دست‌نوشته‌هایی از قرآن و نقشۀ مکه در زمان سلسلۀ مینگ کینگ نگهداری می‌شود.
در حیاط پایانی چیزی که در ابتدا دیده می‌شود «عمارت کلاه‌فرنگی خدای واحد» است که بنای ویژه‌ای است با ترکیبی از گذرگاه طاق‌دار و عمارت کلاه‌فرنگی چینی. عمارت کلاه‌فرنگی به عنوان قسمت اصلی بنا به شکل شش‌ضلعی ساخته شده است.در کل معماری بنا به‌صورت یک ققنوس است که بال‌هایش را باز کرده و آمادۀ پرواز است. به همین دلیل به «عمارت ققنوس» معروف شده است