义务教育发端于德国。在16世纪宗教改革运动中，德国新教领袖马丁?路德为了争取人们信仰新教，提倡广设学校，并主张教育机关应该由公费设立，政府有强迫人民送子弟入学的义务。西方一些教育史家曾称路德为“国民教育之父”。其实路德提倡并开办初等学校，并不具有普及教育的思想。1619年德意志魏玛邦公布学校法令，规定牧师和学校教师,应将6～12岁男女儿童的名单造册报送学校；上述年龄的儿童必须到学校读书；不愿送儿童入学的父母，“应以俗界政权之手强迫其履行这一不能改变的义务”，并给父母以惩罚。一般认为，此为义务教育的开端。
　　新教为了使人们免受传教士的迷惑与愚弄而自行阅读圣经，于是使得为劳动人民设立的初等小学得以兴起。随后旧教为了对抗宗教改革以及保存自己过去的统治地位，采取几种方式进行活动，其中之一便是兴办普通学校，与新教争取教育权。他们为了使青少年服从天主教和罗马教皇，不惜采取一些新的措施，如修缮校舍、改善教学设备、注重体育以及免收学费等，在当时产生了很大的影响。
　　各教派为争取教育权而进行的斗争在17、18世纪仍然持续着。当时教育事业为宗教教会所垄断，不同的教派向教徒及其子弟传授不同的教派思想，这对形成统一的民族国家非常不利，所以，自1763年至1819年，德国先后三订法令推行义务教育，它也因此成为推行义务教育最早的国家。
　　义务教育的大规模实施是19世纪50年代以后的事情。大工业革命的成功，使资本主义经济获得极为迅速的发展，大机器生产代替了工厂手工业，科学技术在生产上得到空前广泛的应用。生产的迅猛发展,不仅要求大大增加劳动者的数量,而且要提高劳动者的质量，从事机器生产的工人必须具备一定的文化科学知识，掌握一定的生产技能，因而提高劳动者的素质、普及初等教育就成为急迫的问题。这样，到了19世纪后半期，一些比较先进的资本主义国家，如美国最早的州在1852年，英国在1880年，法国在1882年，先后通过了义务教育法令。到20世纪20年代，各资本主义国家都已基本普及了初等义务教育。
　　义务教育的上述发展变化，可以相对区分为三个阶段，第一阶段是16世纪，义务教育因宗教的原因而出现；第二阶段是17世纪至19世纪50年代，义务教育顺着宗教、政治上的原因而初具雏形；第三阶段是19世纪50年代至20世纪20年代，义务教育因经济上的原因而大大发展。
　　进入20世纪80年代以后，各国义务教育的年限进一步延长，全世界义务教育的平均水准为8.63年,其中七大工业国家中,德国为12年，英国为11年，美、法、加拿大均为10年，日本9年，意大利为8年。