La primitiva església era romànica. Pel conjunt de l’obra i pels detalls, sembla que es va construir a la segona meitat del segle XI. Se’n conserven elements molt significatius, com les portes dovellades que la comunicaven amb la rectoria. La ferramenta, especialment el forrellat, pot datar-se entre els segles XII i XIII. Consta que l’any 1048 ja existien les esglésies de Sant Martí d’Ollers i de Santa Maria d’Espasens. Aquella va ser reformada; l’actual construcció correspon al segle XVIII. De fet a la llinda de la porta d’entrada, s’hi pot llegir la següent inscripció: “ST. MARTI PREGAU PER NOSALTRES. PER PATRO TENIM A VOS. ESPERAM VOSTRES FAVORS. FOU POSADA LO DIE 20 DE AGOST DE 1754”. A sobre hi, ha una majòlica que representa Sant Martí partint la capa a un pobre, amb la inscripció: `REPRODUCCIO DEL PLAFO DE SANT MARTI D’OLLERS FETA PER Mª TERESA REBULL DE CAL PARENT. 1991 “. Fins a l’any 1991, l’estat de l’església i del cementiri contigu era d’un abandonament total i deporable. Els fidels, secundant la invitació del seu rector, van emprendre la tasca de restauració fins a deixar-ho en l’estat actual. La inscripció en una rajola col·locada al costat de la porta de l’església en dóna fe: “En recordança dels restauradors de l’església i plaça d’Ollers: Mn. Josep M. Barcons i Vila i feligresos que hi contribuïren. 11.XI.1991”.
Al costat dret de la porta hi ha una gran pedra que serveix de banc. Duu la inscripció: “SANT SEBASTIA ME FECIT 1762”. Abans era la llinda de la porta d’entrada al cementiri. Va ser col·locada aquí l’any 1991 amb motiu de l’última restauració.