В годы Великой Отечественной войны в должности начальника Генерального штаба (1942—1945) принимал деятельное участие в разработке и осуществлении практически всех крупных операций на советско-германском фронте.
С 20 февраля по 26 апреля 1945 года командовал 3-м Белорусским фронтом РККА ВС СССР, руководил штурмом города и крепости Кёнигсберг (6—9 апреля 1945 года).
Во второй половине 1945 года являлся главнокомандующим советскими войсками на Дальнем Востоке в войне с Японией. Один из крупнейших полководцев Второй мировой войны. Известен также тем, что является единственным военачальником Великой Отечественной войны, формально не потерпевшим ни одного поражения.