A jánoshidai prépostság alapítását a rendi hagyomány 1186-ra teszi, bár alapító levele nem maradt fenn. III. Béla, illetve III. Orbán pápa uralkodása idején jöttek a szerzetesek a Zagyva mellé, hogy a környékén pogányságban élő besenyőket megtérítsék. A templomot először a 1235-ös premontrei monostorjegyzék említi.
A templom a török hódoltság idején erősen megrongálódott, de később helyreállították. 1757-ben Matuska Kristóf tornyot és új szentélyt építtetett, és ekkor készült el a templom jelenlegi főkapuja is.
A jánoshidai Keresztelő Szent János születése templom az Alföld egyik legjelentősebb, Árpád-kori, román stílusjegyeket viselő műemléke.
