中国近代洋务派领袖盛宣怀，办企业、铁路、航运、银行、煤矿和通讯等等，是个了不起的实业家。他在创办企业的过程中，深感到人才的匮乏，他说：“东西列强所以有今日者，皆贤豪辈出之效，中国欲图自疆必储才，则筹设学堂为急务。”清代光绪二十二年（1896年）盛宣怀奏请朝廷创立南洋公学，翌年获准后，盛宣怀即着手创建国人自办的高等学府。
徐家汇是蒲汇塘、肇家浜和法华泾三水汇合处，清代中叶时这里人烟稀少。上海开埠后，在徐光启墓东侧建造天主教堂，租界当局越界筑路，这里逐渐盖起民房，开设店肆，成为小集镇。盛宣怀选择这里购地80000平方米建造学校（今华山路1954号），学校名称因前一年他已在天津创办“北洋公学”（清代以长江为界，江北称北洋，江南称南洋），于是定名为“南洋公学”。
学校的校门建在李漎泾西边（今华山路），是一座仿中国传统建筑的殿堂，双开间大红门扉上饰有兽头大铜环，门外南侧一对石师蹲伏守护。由河浜（现已填没）上架设的中国式平板桥，通过校门进入校园中央通道。学校早期设三院，外院即附属小学，中院属中学性质，上院属大学性质，三院均为四年，三级衔接，逐年递升。上院建于1898年，平面为“山”字形，中央矗立四方形钟楼一座，英国式三层砖木结构楼房，屋面盖中国式瓦盖。中院和上院同时建造，平面为“凹”形，外墙用青红砖镶砌，门窗均用弧拱，亦为英国式三层砖木结构楼房。图书馆建于1919年，平面为“山”字形，沿南北大道建造。进门处有大平台，平台顶上是二楼的阳台，围以水泥花式栏杆。外墙用青红砖镶砌，窗樘采用弧拱券，立面装饰线条繁复。学校还有文治堂、体育馆、宏闳堂、执信书斋、哲生馆等建筑，均是中西结合的建筑风格。
学校开学初期，盛宣怀亲任督办，聘何嗣焜为校长，还请美国人福开森为学监。盛宣怀还以轮船招商局、电报局督办兼大股东的身份每年拨银十万两作为学校的常年经费。后来，由于随招商和电报两局隶属关系变动，学校数次易名，历称上海商务学堂、邮传部上海高等实业学堂、南洋大学、交通部上海工业专门学校。1921年与唐山工专、北京邮电学校、铁路管理学校合并后足见交通大学，分设上海、北京、唐山交通大学三校。1942年因战争，上海交通大学迁往陪都重庆，1945年抗战结束后迁回原址。
解放前夕，交大学生在中国共产党的领导下，与国民党进行争民主、争自由的斗争，陈虞卿、穆汉祥、史宵雯等优秀学生为中国人民的解放事业献出了年轻的生命，穆、史两烈士的墓安落在校园广场南侧。1952年全国高校院系调整后，交大是多学科的工科大学。1959年部分系科迁往内地西安，成立西安交通大学。上海交通大学经过发展，已成为理、工、文、管理相结合的全国重点高等学校。现在上院建筑已毁，在原址上建造了新上院。中院几经维修，外墙装饰被简化了。 从南洋公学至今日的交通大学，一个世纪以来，师生们本着“求实学、务实业、苦干实干”的精神，积极传播科学文化知识，培养了一大批杰出人才，早期的学生中有蔡锷、邵力子、黄炎培等，当代著名的科学家王安、钱学森等，前国家主席江泽民都是交大历届的毕业生。
