1840年鸦片战争爆发以后，一批有识之士发出了“兴学图强”的呼声，国内相继创办了一批外语学校和军事学校，肇始于1862年的“京师同文馆”便是个中翘楚。1901年7月，两江总督刘坤一、湖广总督张之洞向清廷上奏《江楚会奏变法三折》，旨在强调“欲挽回时局应当以兴学育才为基”。
两江辖区自古文脉绵长，尊师重教蔚然成风。20世纪伊始，这里中小学校鳞次栉比，但师资严重匮乏。刘坤一据此认为，应从创建师范学堂入手。1902年，刘坤一等人开始筹办“三江师范学堂”。
学校取名“三江师范学堂”，究其原因，有两个版本：其一，张乃燕在《国立中央大学沿革史》中提到：“盖取《尚书》扬州三江之意”。学校地处江宁（今南京），此地属于“九州”中的“扬州”。古语的“扬州”是指长江三角洲地区，如长江下游的江苏、浙江、上海等地，这一带主要由长江、黄河、淮河冲积而成，据此说法，“三江”是指长江、黄河、淮河。另一种观点认为，三江师范学堂主要招收安徽、江苏、江西的学生，安徽在历史上曾和江苏同属江南省，所以“三江”指的是江南、江苏、江西。
1903年6月19日开始，学堂的中日教员在一起切磋教学技艺。1904年11月第一届学生入学。按照惯例，公立学校的成立时间一般从被政府批准之日算起，三江师范学堂于1902年被批准创办，故以当年为建校时间。学堂开办初期借江宁府署办学，并在江宁省城北极阁前（今四牌楼校区）开工建设校舍，1904年竣工。南京素有“六朝古都”“十朝古都”之称，四牌楼校区是当年的皇宫内苑所在，缦立于校区西北一隅的六朝古松历经一千六百年风霜，是学校历史的见证，也是海内外校友吟古颂今之佳地。
公元258年，东吴景帝在此诏立五经博士，此乃四牌楼办学之肇始。东晋在此设立太学，盛极一时。南朝在此设立儒学、玄学、文学、史学四所学馆，被誉为我国分科大学之始。
1381年，明太祖在此诏立国子学，翌年正式定名为“国子监”，鼎盛时期，有弟子9000余人，校舍1200余间，还接纳了来自日本、朝鲜半岛等地的留学生，堪称当时世界上规模最大的高等学府。明朝迁都北京后，“国子监”于1441年被改名为“南京国子监”。1650年，“南京国子监”又被更名为“江宁府学”。明清时期，今天的四牌楼校区还是文昌书院旧址，为读书讲学胜地。
1902年5月，刘坤一邀请一众江苏学者、名流商议办学。同年10月，刘坤一因病逝世。此后，张之洞代理两江总督，他就学堂创办事宜向光绪皇帝呈上《创办三江师范学堂奏折》，主要涉及办学意义、办学章程、学生定额、师资来源、办学经费、学制等问题。在代理两江总督的百余天里，张之洞为办学之事殚精竭虑。他派缪荃孙等人赴日本学习师范教育的办学经验，奏请设立两江学务处以加快办学进展，还延请湖北师范学堂堂长胡钧参与三江师范的筹建工作。
1906年5月，“三江师范学堂”更名为“两江优级师范学堂”，李瑞清出任学堂监督。
三江、两江前后办学八年，共计招收学生1601名，是当时中国最优秀的师范学堂之一，也是当时长江以南最好的高等学府。三江、两江时期培养了一大批的杰出毕业生，其中胡小石、吕凤子、陈中凡等日后成长为一代宗师。（唐瑭整理）本文参考朱斐老师主编的《东南大学史》（第一卷）以及《毓秀东南》（东南大学校史简读本）
