1946年8月底，中国人民解放军三五九旅返回陕甘宁解放区，经过南下北返，中原突围的连续 作战，消耗很大，兵力严重不足。王震同志请求党中央从三五九旅派一批干部去物产富饶、人烟稠密的山东老解放区组建一个旅。党中央很快批准。1946年冬，张仲瀚、曾涤、贺盛桂、熊晃等带八路军一二〇师三五九旅和晋绥军区的321名骨干，一路风尘，来到山东振华、商河、匡吾、临邑等县组建新军。

1947年2月25日，新军举行建军典礼，部队番号渤海军区教导旅。同年11月部队归入西北野战军建制，改称”中国人民解放军西北野战军第二纵队独立第六旅“。

1949年2月，中央军委将独立第六旅统编为中国人民解放军第一野战军二军步兵第六师。1949年9月，大军陈兵嘉峪关，促使新疆和平起义。10月10日，步兵第 六师由甘肃张掖出发，进抵酒泉、玉门、敦煌一线集结待命。不久王震命令师长张仲瀚迅速组成一支先遣队，于11月4日抵达新疆南北疆分界处的天山咽喉焉耆、 库尔勒地区进行踏勘布点，受到各族人民的热烈欢迎。

1953年2月，步兵第六师集体就地转业，执行农垦任务。同年6月5日，新疆军区转发中央军委命令，步兵第六师改称中国人民解放军新疆军区农业建设第二师，所辖十六团、十七团、十八团依次更名为农业建设第四团、第五团、第六团。师部驻焉耆。

1954年10月，新疆军区生产建设兵团成立后，第二师归属兵团建制，成为少数几个比兵团成立还早的师。

1960年9月农二师师部移驻库尔勒市。

1975年3月，兵团建制撤销，5月农二师并入巴州，组建农垦局，归巴州领导。

1981年 12 月，中央恢复兵团体制。

1982年4月1日，农垦局撤销，恢复了农二师的番号。

2012年12月24日，兵团隆重举行各农业师更名揭牌仪式，庆祝中央机构编制委员会办公室正式批准将13个农业师的名称由”新疆生产建设兵团农业建设第×师“更名为”新疆生产建设兵团第×师“。”新疆生产建设兵团农业建设第二师“（农二师）正式更名为”新疆生产建设兵团第二师“（第二师）。12月29日，新疆维吾尔自治区铁门关市正式挂牌成立，与新疆兵团第二师实行”师市合一“管理模式。