Sebelum beliau tiba di Madinah, berita tentang keberangkatannya bersama Abu Bakar, telah tersiar lebih dulu hingga ke Madinah. Setiap pagi penduduk Madinah itu banyak yang keluar dari rumah mengarahkan pandangan matanya masing-masing ke arah jauh manantikan kedatangan manusia besar dengan perasaan rindu. Mereka berbondong-bondong pergi ke pinggir kota hendak menjemput beliau, tetapi bila pada hari itu beliau belum juga tampak dan terik matahari terasa membakar, mereka pulang kembali ke rumahnya masing-masing saling sambil berjanji akan menjemput lagi pada keesokan harinya. Semuanya dicekam perasaan tak sabar dan resah bercampur harapan.
Sebagaimana yang biasa mereka lakukan beberapa hari belakangan semenjak mendengar keberangkatan Rasulullah, dari Mekkah, banyak kaum Anshar yang berkerumunan dan berdiri berjejer-jejer di pinggiran kota menunggu-nunggu kedatangan beliau dan banyak pula yang ingin melihat beliau. Pada tengah hari di saat udara sedang panas menyengat, dan ketika mereka hampir putus asa menantikan kedatangan beliau dan banyak pula yang mulai hendak pulang ke rumah masing-masing, seorang yahudi yang sedang naik ke atap rumahnya untuk suatu keperluan tiba-tiba melihat bayangan Rasulullah, bersama sahabatnya Abu Bakar bergerak di tengah alunan fatamorgana. Makin lama makin dekat menuju ke arah kota Madinah, yang akan menjadi tanah air Islam. Ia berteriak dengan suara yang amat keras,
”Hai bani Qailah….itulah dia sahabat kalian telah tiba…..itulah datuk kalian yang kalian tunggu-tunggu kedatangannya!” Mendengar teriakan itu kaum Anshar dengan membawa senjatanya masing-masing menjemput kedatangan Rasulullah. Kedatangan beliau disambut dengan suara takbir yang mengumandang di seluruh kota Madinah benar-benar dalam suasana suka cita lagi gembira.
Al-Barra (salah satu sahabat Anshar) menceritakan, ”Orang pertama dari para sahabat Rasulullah yang datang ke Madinah ialah Mush’ab bin Umair dan Ibnu Ummi Maktum. Dua orang itulah yang pertama kali mengajarkan al-Qur’an kepada kami. Kemudian menyusul Ammar bin Yasir, Sa’ad bin Abi Waqqas dan Umar bin Khathab bersama kabilah yang terdiri dari dua puluh orang. Setelah mereka barulah Rasulullah menyusul. Saya belum pernah melihat banyak orang bergembira seperti pada saat mereka menyambut kedatangan Rasulullah, sehingga kaum wanita, anak-anak, dan para hamba sahaya perempuan bersorak-sorak meneriakan, ’Itulah dia Rasulullah telah datang’.”