岛神社的社殿曾经在1207年(承元元年)与1223年(贞应2年)时发生大火,并且在火灾之后进行修复。可能是因为屡次火灾的缘故,导致社殿建筑的规模经过数次改变,例如在一幅弘安时代(1278年~1288年)所绘制的图中,就可以看出社殿的配置与今日的情况不同。而今日严岛神社的配置,是在1325年(正中2年)一场台风后的修缮中大致底定,之后就不再有大幅度的更动。