抗日战争时期，中国共产党领导的在安徽省中部和东部地区开展游击战争、开辟敌后抗日根据地的新四军主力部队之一。

建立

1938年春，根据国共两党关于编组新四军的协议，原活动在鄂豫皖边的中国工农红军第28军和鄂豫边红军游击队，改编为新四军第4支队。高敬亭任司令员，林维先任参谋长，萧望东任政治部主任（后戴季英）。下辖第7、第8、第9团和手枪团。全支队共3100余人。

发展

1938年3月，第4支队各部在皖西霍山县流波会合。4月，展开于皖中舒城、桐城市、庐江县、无为市地区，开展抗日斗争。5月12日，取得在巢县（今巢湖）东南蒋家河口伏击日军的胜利。接着，连续取得大小关、范家岗、棋盘岭等战斗的胜利。10月，进行庐江、无为战斗，打开了庐无地区的抗战局面。

1939年5月，新四军江北指挥部成立，第4支队归其指挥。6月，高敬亭被错杀，第4支队随即进行整编，江北指挥部副指挥徐海东兼任支队司令员（后张云逸兼），戴季英任政治委员（后郑位三），下辖第7、第9、第14团，后开创了以定远东南藕塘为中心的津浦路（津浦铁路）西抗日根据地。同时，以第8团为基础，组建新四军第五支队。12月，第4支队挫败了日伪军2000余人对周家岗、古河等地的“扫荡”。

1940年1月，第4支队归中共中央中原局领导。3月，第4支队与第5支队协同作战，在新四军苏皖支队和新四军挺进纵队的支援下反击中国国民党顽军的进攻，取得定远战斗的胜利，旋又取得来安半塔保卫战的胜利。8月，第4支队一部协同第5支队开辟了淮安、宝应新区，打通了与南下的八路军第五纵队的联系。

1941年1月“皖南事变”后，第4支队改编为新四军第二师第4旅，第5支队改编为该师第5旅。

1945年10月，由新四军第2师第4、第5旅和新四军第四师第9旅，在山东县组成新四军第2纵队，罗炳辉任司令员兼政治委员，韦国清任副司令员，赵启民任副政治委员，詹化雨任参谋长、王集成任政治部主任。辖第4、第5、第9旅，共2.4万余人。纵队成立后，归津浦前线指挥部领导，开赴津浦前线作战，参加界河、临城、枣庄市等战斗，歼敌2万余人。1946年1月，改称为山东野战军第2纵队。6月，该纵队第5旅调归淮南军区建制。

1945年11月，以新四军第4师第11、第12旅为基础，在淮北组成华中野战军第九纵队，张震任司令员兼政治委员，饶子健任副司令员，姚运良任参谋长，王学武任政治部主任，辖6个团，共1万余人。纵队成立后，参加津浦路（津浦铁路）和陇海路（陇海铁路）东段破击作战，攻克赵墩、碾庄、八义集等车站，彻底破坏了大许家到白塔埠的铁路，给拒绝投降的日伪军以严重打击，从而使我山东、华中地区两大解放区连成一片。

1946年7月，在朝阳集战役中，第2纵队主攻，第9纵队阻援，全歼国民党军第92旅。8月，第2、第9纵队参加泗县战役，给国民党国民革命军第七军第172师以重创；10月至11月，参加淮阴、涟水保卫战；12月参加宿北战役，协同兄弟部队全歼国民党军第69师；1947年1月参加鲁南战役，在苏北方向完成阻击国民党军第7军及第11、第74、第28师北进的任务。

1947年2月，第2、第9纵队在山东省郯城合编为华东野战军第2纵队，韦国清任司令员兼政治委员，张震任副司令员，康志强任副政治委员，詹化雨任参谋长，邓逸凡任政治部主任。第2纵队第4旅编为第4师，朱绍清任师长，高志荣任师政治委员；第9纵队除一部改编为淮北支队外，其余编为第5师，姚运良任师长，秦贤安任师政治委员。第2纵队第9旅编为第6师，滕海清任师长兼师政治委员。全军共2.9万余人。合编后举行白塔埠战役，歼国民党军中国人民解放军第四十二集团军两个师5000人。2月中旬，在临沂附近阻援，保障莱芜战役顺利进行。4月，参加泰蒙战役，担任阻援。5月，参加孟良崮战役，在沂水县西南阻击敌第7军及第83师西援。7月参加南麻战役、临朐战役，担任攻坚，歼国民党军第9、第11、第25、第64师和第8军各一部，共1.6万余人。8月后，转战胶东地区，在三合山战役、高密攻坚、莱阳战役等战役战斗中取得重大胜利。

1948年2月，第2纵队奉命南下华中地区，与第11、第12纵队组成苏北兵团，开辟威胁敌京沪心脏地区之苏北战场。3月，滕海清接任2纵司令员，同月，攻克益林，全歼国民党军第113旅。6月，策应豫东战役，对陇海路东段新安镇、连云港市发起攻击，解放新安镇、海州、沭阳县、灌云县等地，对改变苏北战局起了重要作用。9月，参加济南战役，担任打援任务。11月，参加淮海战役，在围歼黄百韬兵团、固镇阻击战和总攻杜聿明集团的作战中，共歼灭国民党军3.6万余人。

1949年2月，根据中央军委关于统一全军编制及部队番号的命令，第2纵队在徐州市以北韩庄，改称中国人民解放军第21军，属第三野战军第7兵团建制。滕海清任军长，康志强任政治委员，高志荣任副军长，吴咏湘任参谋长，邓逸凡任政治部主任。原第4师改称第61师，胡炜任师长，王静敏任师政治委员；第5师改称第62师，周纯麟任师长，周世忠任师政治委员；第6师改称第63师，吴华夺任师长，谢锡玉任师政治委员。全军共3.6万余人。

4月，该军参加渡江战役，在枞阳县以东渡江，占领贵池区、青阳县等地。5月，解放杭州市，尔后进军温州市、宁波市、奉化区、象山县等地。8月，赴临海剿匪。其间，第63师奉命入闽作战，9月归建。10月，发起温州湾战役，攻占洞头区、鹿栖、大嵛山等岛屿。11月，攻击六横、桃花等岛屿。1950年3月至5月，参加舟山战役，尔后担负浙东地区、浙南和闽北地区的海防任务。

1953年3月，第21军参加中国人民志愿军入朝作战，参加金城战役等作战，在战斗中，涌现出王云阁、马天明、曹光景、葛英东等许多战斗英雄和英雄集体。朝鲜停战后，参加支援朝鲜人民的重建家园。1958年8月回国。

该部队还参加了金门炮战和边境自卫还击作战，涌现出“钢铁战士”胡德安等英模人物。

第21军起初隶属中国人民解放军北京军区，驻大同市。“文革”开始后，第21军于1967年调入关中，改属中国人民解放军兰州军区。

1985年改编为中国人民解放军中国人民解放军第二十一集团军。

另有部分部队转入第二炮兵战斗序列，目前为更名后的中国人民解放军火箭军某导弹旅。