吴迪在早期是一名 军人。他于1930年参加红军，并担任红十五军军直警卫排警卫员。1932年，他加入了中国共产党，并在后续的几年里逐步晋升为红四方面军三十军八十八师二六二团的连指导员、营指导员和团政治部主任。1935年，吴迪参加了红军长征，并在1937年至1939年间在延安抗日军政大学学习。抗日战争时期，他历任八路军第四纵队挺进军作战科长、侦察科长和第三十四大队政委等职，期间曾率领侦察科消灭日军据点，筹措粮款和药品，因此被根据地军民誉为“无敌英雄”。