О жизни Ивана Угрюмова известно немного. Родился он, возможно, в 60-х годах XVII века, и это предположение основывается на том, что в 1702 году он уже был мастером, а в те времена мастерами становились лишь после 30 лет.

Первое упоминание об Иване Матвеевиче Угрюмове было обнаружено в списке Лейб - гвардии бомбардирской роты Преображенского полка за 1702 год, где он числился мастеровым. По современным меркам Угрюмов был военным инженером, который должен был руководить возведениями фортификационных сооружений (форты и крепости), устройством военных лагерей и подобными работами, но бомбардирской ротой командовал капитан Петр Алексеевич (Петр I), и данная рота везде сопровождала царя. Кроме участия в боевых действиях, где она проявляла чудеса героизма, рота участвовала в обустройстве быта Петра I в боевых походах. Так, Ивану Матвееву в 1703 году было поручено обустройство Летнего сада в Петербурге.

Мастеровому Угрюмову Петром I была поручена переделка усадьбы шведского помещика Эриха фон Коноу в царскую резиденцию, и в 1703 году под его руководством деревянную усадьбу перенесли из центра сада на место впадения Безымянного Ерика (сейчас Фонтанка) в Неву - туда, где сейчас находится Летний дворец Петра I.

В 1704 году для посадки различных растений Ивану Матвеевичу из Москвы посылают садовников, которыми он руководит и украшает сад по планам царя. В следующем году под его руководством был выкопан гаванец перед южным фасадом еще деревянного Летнего дворца, также была построена фонтанная чаша первого фонтана, который находился на первой площадке от Невы, но первые струи воды забили в фонтане только в 1706 году. Весной этого же года задание царя было выполнено.

Место смерти Ивана Матвеева - Шлиссельбург, скончался летом 1707 года. Как выглядел первый строитель Летнего сада - неизвестно. Не сохранилось ни описаний, ни портретов. Можно лишь предположить, что он носил мундир бомбардира Преображенского полка. Возраст на момент работ в Летнем саду - 35-45 лет.