Masjid tersebut mula-mula dikenal dengan nama Masjid Bani Salamah karena masjid ini dibangun di atas tanah bekas rumah Bani Salamah. Letaknya di tepi jalan menuju kampus Universitas Madinah di dekat Istana Raja ke jurusan Wadi Aqiq. Pada permulaan Islam, orang melakukan salat dengan menghadap kiblat ke arah Baitul Maqdis di Yerusalem, Palestina. Pada tahun kedua Hijriyah, Senin bulan Rajab waktu Żuhur, turunlah wahyu QS. al-Baqarah : 144, yang memerintahkan Nabi SAW untuk menjadikan Ka’bah di Masjidil Haram Makkah sebagai kiblat.

 

قَدْ نَرَىٰ تَقَلُّبَ وَجْهِكَ فِى ٱلسَّمَآءِ ۖ فَلَنُوَلِّيَنَّكَ قِبْلَةً تَرْضَىٰهَا ۚ فَوَلِّ وَجْهَكَ شَطْرَ ٱلْمَسْجِدِ ٱلْحَرَامِ ۚ وَحَيْثُ مَا كُنتُمْ فَوَلُّوا۟ وُجُوهَكُمْ شَطْرَهُۥ ۗ وَإِنَّ ٱلَّذِينَ أُوتُوا۟ ٱلْكِتَٰبَ لَيَعْلَمُونَ أَنَّهُ ٱلْحَقُّ مِن رَّبِّهِمْ ۗ وَمَا ٱللَّهُ بِغَٰفِلٍ عَمَّا يَعْمَلُونَ

 

Artinya:
Sungguh Kami (sering) melihat mukamu menengadah ke langit, maka sungguh Kami akan memalingkan kamu ke kiblat yang kamu sukai. Palingkanlah mukamu ke arah Masjidil Haram. Dan dimana saja kamu berada, palingkanlah mukamu ke arahnya. Dan sesungguhnya orang-orang (Yahudi dan Nasrani) yang diberi Al Kitab (Taurat dan Injil) memang mengetahui, bahwa berpaling ke Masjidil Haram itu adalah benar dari Tuhannya; dan Allah sekali-kali tidak lengah dari apa yang mereka kerjakan. (al-Baqarah : 144)

 

Pada waktu Asar, para sahabat yang salat berjamaah di Masjid Qiblatain masih menghadap Baitul Maqdis. Namun, di tengah salat berjamaah tersebut, datang seorang sahabat yang masbuk (terlambat) dan berteriak bahwa Rasulullah SAW dan para sahabatnya di Masjid Nabawi telah beralih kiblat ke Masjidil Haram. Maka, serentaklah imam dan makmumnya mengubah arah kiblat dari Baitul Maqdiss ke Masjidil Haram. Karena peristiwa tersebut, akhirnya masjid ini diberi nama Masjid Qiblatain yang berarti masjid berkiblat dua.