抗日戰爭時期，新四軍在中國共產黨領導下，在華中敵后先后建立了蘇中、淮南、蘇北、淮北、鄂豫、蘇南、皖江和浙東等抗日民主根據地。鄂豫邊區遠離軍部、華中局；蘇南、浙東隔著一條大河，而蘇中、蘇北、淮南、淮北和皖江卻基本連成一片，是華中抗日根據地的基本地區。其中淮南根據地地處中心位置，是聯系蘇中、蘇北、淮北、皖江各根據地的樞紐。1939年冬至1940年冬是中共中原局及新四軍江北指揮部所在地，1943年1月至1945年8月，是華中局和新四軍軍部駐地。它位于長江以北、淮河以南、運河以西、淮南鐵路（始于田家庵，終至裕溪口）以東，包括整個皖東及江蘇與皖東相鄰的幾個縣，面積約3萬平方公里，人口約330萬。津浦鐵路南端縱貫其間，將其分為路東、路西兩部分。

淮南抗日根據地的位置十分重要。1937年12月，新四軍剛剛成立，毛主席就指示：“高敬亭部可沿皖山山脈進到蚌埠、徐州、合肥三點之間作戰”。1938年2月，堅持在鄂豫皖大別山區三年游擊戰爭的中國工農紅軍第二十八軍和河南省桐柏山紅軍游擊隊改編為新四軍第四支隊。根據中共中央指示，4月，第四支隊司令員高敬亭率部東進舒城、廬江、桐城、無為地區抗戰。1939年5月，新四軍江北指揮部成立，張云逸為指揮。6月，第四支隊組編為第四、第五兩個支隊，徐海東兼任第四支隊司令員，羅炳輝任第五支隊司令員。在中共蘇皖省委的配合下，第四、第五支隊挺進到津浦鐵路兩側地區開展抗日斗爭。11月，中共中央代表、中原局書記劉少奇(化名胡服)來到皖東，領導淮南軍民于1940年創建了以定遠縣藕塘為中心的津浦路西根據地和以來安縣半塔集為中心的津浦路東根據地。

路東地區是淮南根據地的主要部分，包括安徽省的來安、天長、嘉山、盱眙（現屬江蘇）等縣的絕大部分地區和江蘇省六合、儀征縣的大部分以及高郵、寶應、江都、江浦縣的各一部分，日本投降前夕，該區已發展到南京城郊。路西地區處于津浦、淮南兩條鐵路之間，包括定遠、鳳陽、滁縣的大部分和嘉山東、全椒、壽縣、合肥、和縣、含山、懷遠、巢縣各一部分，今天的淮南市區是淮南根據地的邊緣。

路東和路西各有特點，路東地區社會秩序比較穩定，環境比較安全。而路西地區卻是戰爭頻繁，斗爭尖銳，環境很不安全。造成這種情況的因素很多，主要就是國民黨頑固派的軍事進攻。路東地區自1940年春半塔反頑自衛戰勝利及平定路東惡霸地主暴亂后，特別是同年開辟淮（陰）、寶（應）地區，將韓德勤部趕過運河以東后，就不再受到頑軍的直接進攻，情況一直比較穩定。又因為是丘陵山地，部隊活動空間較大，便于粉碎日偽軍的“掃蕩”。而路西抗日軍民，雖然始終把對日偽軍的作戰放在斗爭的首位，但國民黨桂系頑軍對我軍的進攻，分散了我軍對日作戰的力量，而且成了對我軍進攻最兇惡，對抗日根據地威脅最大的反動勢力，斗爭環境異常艱苦。說淮南根據地是比較鞏固的根據地，主要指路東而言。路東的安全，因為有路西的屏障；路西能堅持，也是路東的支援。兩個地區互相依賴，互相配合，互相支持，成為一個不可分割的敵后鞏固的根據地。

1941年1月“皖南事變”發生后，新四軍江北指揮部所屬第四、第五支隊和江北游擊縱隊整編為新四軍第二師，師長張云逸、副師長羅炳輝、政委鄭位三，下轄第四、第五、第六旅，全師計15000人。另有獨立旅和津浦路西聯防司令部所轄地方武裝8000余人。1941年5月，華中局決定將皖東津浦路東和路西兩個省委改為路東、路西兩個區黨委，由以鄭位三為書記的皖東黨政軍委員會統一領導。淮南抗日根據地進入新的發展時期。

1942年，淮南根據地軍民堅持對敵斗爭，實行精兵簡政，積極開展了大生產運動和整風運動。整風運動極大推動了淮南根據地的各項工作，經濟工作尤為顯著。二師在1943年開展了反貪污浪費斗爭，增加收入2000萬元。在大生產運動中，分區以上機關和直屬部隊以及地方武裝部門自給蔬菜6個月，地方黨政機關自給蔬菜8個月。無論機關、部隊、學校每人種菜2斤，自給草鞋2雙，吸煙的自種煙葉。這樣，大大地充實了財政，改善了部隊生活，減輕了人民負擔。各級都加強了對財經工作的統一領導和檢查、監督工作，整頓和健全了供給機構和財經制度，制定了獎勵生產的辦法，對克服經濟困難，保證軍需起了很大作用。

1943年2月，淮南根據地實行黨、政、軍一元化領導，統一成立了淮南區黨委、淮南行署和淮南軍區(二師兼)。淮南根據地軍民主動對日出擊，奪回部分失地，成為擴大解放區的先鋒。1944年和1945年上半年，淮南軍民向津浦、淮南鐵路兩側地區的日、偽進行全面戰略進攻。抗戰勝利后，新四軍第二師主力奉命北上山東。

淮南抗日根據地在極其艱苦的環境中能夠堅持鞏固，是我黨堅強領導的結果。在八年抗戰中，根據地堅持了黨的領導，堅持了黨領導下的抗日民族統一戰線，堅持了加強武裝建設、政權建設，堅持了群眾路線，在人民的支持下，走過了艱苦的歷程，經受住了嚴峻的考驗，為全國抗日斗爭的勝利作出了應有的貢獻，其歷史地位不可忽視。