许氏幼年境遇很苦，生数年死了父亲，不到十岁，宋室灭亡，家庭亦遭兵乱，随着破毁了。侨寓他乡，无力买书，乃借别人的书，分部昼夜勤读，虽病也不废。但初无师傅，有疑无从就正。后来知道乡先生金仁山深明道学之要，遂拜金氏为老师，委身而学。后来所学益博，品节之高与老师相等，而收获更大。三十岁以后，即开门授徒，设讲坛于八华山中，四方学子，闻风接踵而来，远自幽、冀、齐、鲁，近则荆、扬、吴、越，前后著录不下千余人。综计讲学时期三十余年，而以一身系社会的重望者垂四十年，史称“其晚节独以身任正学之重，远近学者以其身之安否为斯道之隆替”（见本传）。由此看来，许氏的思想与人格可以为当时民间的重心——其讲学方面，亦可谓元代有数的教育大家。
黄氏编《宋元学案》，将北山四先生并为一案。北山四先生即是以师弟相传的金华四先生——由何基传授于王柏，再传于金履祥，三传于许谦，每传一代而学术更昌明一代。何基为黄勉斋的弟子，黄氏又亲受业于朱子，金氏可谓朱子的四传弟子，许氏可谓五传弟子了。元代教育诸家虽多宗程、朱，若论其嫡派，须推仁山与白云二先生，白云先生即许氏的别号。