Masjid Jamilhuda dibina di atas tanah wakaf pada tahun 1885 oleh orang Pakistan dan orang Minang secara gotong royong. Masjid ini merupakan masjid yang tertua di Ampang. Masjid Jamilhuda dibina dengan menggunakan sebatang tiang besar di tengah-tengah masjid yang diperbuat daripada pokok Merbau. Keluasan Masjid Jamilhuda dianggarkan lebih kurang 60x80 meter persegi. Masjid Jamilhuda terdiri daripada dinding batu di bahagian bawahnya dan dinding kayu di bahagian atasnya serta dianggarkan dapat memuatkan lebih daripada 400 orang Jemaah.

Bagi jemaah yang ingin mengambil air sembahyang, sebuah kolah telah dibina pada tahun 1900an. Masjid Jamilhuda telah diubahsuai pada tahun 1955 dan peruntukan yang digunakan pada masa itu adalah lebih kurang RM8000. Masjid Jamilhuda yang ada sekarang merupakan masjid yang telah dibina semula pada tahun 1983 dan dirasmikan pada 10hb Januari 1984.