Ketika Nabi Muhammad SAW dalam perjalanan dari Desa Quba menuju Madinah dalam perjalanan hijrahnya ke sana, datanglah waktu untuk shalat Jumat.
Waktu shalat Jumat itu tiba ketika Rasulullah berada di lokasi rumah bani Salim bin 'Auf.
Maka Nabi kemudian menunaikan shalat Jumat di dasar lembah yaitu lembah Ranuna.
Lalu didirikanlah sebuah masjid tempat Nabi menunaikan shalat Jumat untuk pertama kalinya itu.
Tempat itu kemudian diberi nama Masjid Al-Jum'ah.
Masjid itu semula dibangun dengan batu, kemudian direnovasi oleh Sultan Ba Yazin al-Utsmani pada abad ke 9 Hijriyah.
