1968年，48岁的吕乐在经历了大风大浪后金盆洗手提前退休，靠着名下大批房产的房租过着舒适的生活。5年后，香港廉政公署成立，他随即成为廉政公署头号追查目标，吕乐成为头号通缉犯，吕乐迫不得已带着8名子女及妻子蔡珍一家人逃往加拿大定居。1979年，吕乐买下台湾台北市东区敦化南路公寓豪宅，自此定居台湾。因为台湾和香港之间没有引渡条例，所以香港廉政公署不能执行通缉令将其拘捕归案。不过虽然30年过去，但通缉令至今仍然有效。