家族與早年
趙世曾1936年生於上海，父母趙從衍與倪亞震創辦了華光航運，其後舉家遷居香港。他自幼數理與藝術兼長。幼年患有哮喘，母親悉心照料，並讓他學習游泳；他後來代表香港參加蝶泳，一生熱愛籃球。
學歷
他於英國杜倫大學紐卡素國王學院修讀建築，該學院於1963年獨立為紐卡素大學。他獲頒建築學榮譽學士學位。
他是香港建築師註冊管理局註冊建築師、英國皇家建築師學會會員及香港建築師學會會員，並獲美國摩利臣大學頒授榮譽博士學位。
事業
他回港後於1962年加入政府工務司署，任職建築物條例執行處。1964年開設自己的建築師事務所（其後成為趙世曾建築師有限公司），1988年創立卓能（集團）有限公司。詳見「事業」。
他的話
「每個項目都是改善生活的畫布。若不能提升生活質素，便不值得興建。」