Родился 12 июля 1925 года в п. Купавна Богородицкого уезда Московской губернии.
Когда началась Великая Отечественная война Евгению Рыбакову было всего 16 лет. В 1941 году он устроился на Купавинскую тонкосуконную фабрику, учился на поммастера прядильного цеха и работал за станком. Через 3-4 месяца его вернули в школу.