家族与早年
赵世曾1936年生于上海，父母赵从衍与倪亚震创办了华光航运，其后举家迁居香港。他自幼数理与艺术兼长。幼年患有哮喘，母亲悉心照料，并让他学习游泳；他后来代表香港参加蝶泳，一生热爱篮球。
学历
他于英国杜伦大学纽卡素国王学院修读建筑，该学院于1963年独立为纽卡素大学。他获颁建筑学荣誉学士学位。
他是香港建筑师注册管理局注册建筑师、英国皇家建筑师学会会员及香港建筑师学会会员，并获美国摩利臣大学颁授荣誉博士学位。
事业
他回港后于1962年加入政府工务司署，任职建筑物条例执行处。1964年开设自己的建筑师事务所（其后成为赵世曾建筑师有限公司），1988年创立卓能（集团）有限公司。详见「事业」。
他的话
「每个项目都是改善生活的画布。若不能提升生活质素，便不值得兴建。」