Карл Росси родился в Неаполе 18 декабря 1775 года. Его матерью была выдающаяся балерина Гертруда Росси, а отчимом - танцовщик Шарль Ле Пик. Его семью пригласили в Санкт - Петербург, когда Росси было 11 лет. Родителям Карла благоволил император Павел I - от него семья получила в дар земельный участок в Павловске.
Росси хорошо рисовал, и итальянский архитектор Винченцо Бренна взял его в ученики. В 1795 году Карл Иванович стал чертежником в Адмиралтейской коллегии архитектуры, и с 1796 года Бренна принял его помощником на строительство Михайловского дворца.