Usia masjid ini diperkirakan lebih dari seribu tahun. Masjid ini dibangun pada pemerintahan Kaisar Tonghe dari Dinasti Liao pada tahun 996 Masehi oleh dua orang berkebangsaan Arab.
Dari sejarah berdirinya, masjid ini sudah melintasi enam zaman, dari Dinasti Liao, Dinasti Song, Dinasti Yuan, Dinasti Ming, Dinasti Qing hingga era China Modern saat ini.
Karena tertua dan terbesar di Beijinng, maka tak heran bila masjid Niujie ini menjadi pusat komunitas muslim di sana.
Terlepas dari itu, amal jariyah yang diterima oleh dua orang berkebangsaan Arab yang membangunnya akan selalu mengalir terus menerus.
