Arsitektur masjid ini menunjukkan adanya perpaduan gaya arsitektur Melayu dan Cina, dengan atap berbentuk limas, seluruh bagian bangunan terbuat dari kayu tanpa menggunakan besi dan paku melainkan hanya pasak kayu. Masjid dengan bahan konstruksi utama kayu ini terdiri dari bangunan induk yang ukuran aslinya 30meter X 40meter, mihrab 7meter X 5meter, menara, dengan tinggi bangunan 24meter, serta dilengkapi dengan 2 mimbar, 2 bak untuk mengabil wudhu. Atapnya berupa limas tiga tingkat yang meruncing ke atas dengan tiang dan konstruksi kayu yang masih asli terlihat sangat indah. Demikian pula dindingnya yang miring, penuh dengan ornamen atau ukiran yang mirip dengan ukiran yang terdapat di dalam sebuah masjid di Pahang, Malaysia. Engku Mudo Sangkal juga menukilkan ukiran di depan mimbar dan pada dua tonggak panjang dalam masjid masing-masing basmallah dan dua kalimah syahadat.
Di dalam salah satu bak air itu
terdapat sebuah batu alam yang besar dan bentuknya seperti kepala kerbau
tanpa tanduk dan telinga. Konon batu itu bisa berpindah posisi dengan sendirinya sehingga batu berbentuk kepala kerbau ini begitu disakralkan.
Banyak yang mengunjungi mesjid ini hanya untuk mandi dengan air yang ada batu kepala kerbau bahkan mereka bernazar untuk meminta suatu keinginan dan kesembuhan penyakit, mereka mencuci muka atau tangan dengan air dari bak yang berisi kepala kerbau dan dipercaya dapat memberi berkah.
Menurut pengakuan masyarakat sekitar yang tidak ingin namanya diketahui, bahwa dulunya ia pernah
mendapati batu itu berada di dalam sumur masjid sedalam 8 meter. Tapi
beberapa hari kemudian pindah lagi ke atas. Kalau dipindahkan orang, itu
tak mungkin karena beratnya puluhan kilo.
Salah seorang pengurus mesjid juga mengisahkan pada zaman penjajahan, Belanda beberapa kali mencoba membakar masjid tersebut. Namun upaya itu tak pernah berhasil. Mesjid Jami' juga memiliki "keistimewaan", Mesjid Jami' selalu selamat dari bencana banjir. Pada saat banjir tiba, hampir semua tempat dan rumah terendam air, namun air di sekeliling masjid seperti mencekung ke bawah dan tak pernah masuk ke dalam masjid.