Yayasan Al Hasyimiah Tebing Tinggi pada tanggal 22 Februari 1994 melalui pendirinya H.Hasyim,NT (alm) bersama dengan istri Hj.Zaleha Rangkuti (almh) memandang perlu untuk membangun dan mendirikan Pondok Pesantren kala itu dengan harapan membangun anak bangsa berakhlak, berbudi pekerti yang baik disamping memiliki ilmu agama yang baik pula. Oleh sebab itu gagasan ini menjadi niat yang kuat untuk mendirikan Pesantren Modern Al Hasyimiyah yang menjadi satu-satunya pesantren yang berdiri di Kota Tebing Tinggi kala itu.
Awal beroperasinya tahun 1995 Pondok Pesantren Modern Al-Hasyimiyah hanya memilki ±67 orang santri dengan pengasuh lebih kurang 9 orang berasal dari Pondok Pesantren Gontor Ponorogo. Dengan berpegang pada SKB 3 Menteri , pesantren berjalan sebagaimana harapan yang hingga kini sudah bekembang dengan lebih baik.
Bahwa Yayasan Al-Hasyimiah Tebing Tinggi medirikan pesantren dengan mengacu kepada fungsi dan tugasnya sebagai pendiri dan penggerak dalam mencapai tujuannya, antara lain :
1. Fungsi Keagamaan, dalam menjalankan fungsinya yayasan merasa perlu bahwa pendidikan itu amat sangat penting bagi terwujudnya Tujuan Pendidikan Nasional yang menjadikan anak beriman, berilmu pengetahuan, dan berkarakter, yang memegang teguh keimanan dan ketaqwaan kepada Tuhan Yang Maha Esa, Allah SWT.
2. Fungsi Sosial, disamping mewujudkan manusia yang berilmu pengetahuan, beriman dan bertaqwa kepada Allah SWT, yayasan juga peduli terhadap perkembangan di lingkungan kawasan Pondok Pesantren khususnya dan lingkungan Kota Tebing Tinggi pada umumnya. Keikutsertaan dalam kegiatan membantu dan memajukan dunia pendidikan dan keterampilan serta skill yang dapat membanggakan setelah anak tersebut keluar dari pesantren.
