劉遵義教授於一九六四年以優異成績獲得史丹福大學物理學理學士學位，並先後於一九六六年及一九六九年獲得加州大學柏克萊分校經濟學文學碩士與哲學博士學位。他自一九六六年起任教於史丹福大學經濟系，一九七六年晉升為正教授，一九九二年出任該校首任李國鼎經濟發展講座教授，一九九二年至一九九六年間擔任史丹福大學亞太研究中心共同主任，一九九七年至一九九九年間擔任史丹福經濟政策研究所主任，二零零六年自史丹福大學退休並出任李國鼎經濟發展榮休講座教授。二零零四年至二零一零年間劉教授擔任香港中文大學校長。