吕梁市平均海拨在1000～2000米之间。主峰关帝山海拨2831米，为吕梁山最高峰。吕梁市位于山西省中部西侧，因吕梁山脉由北向南纵贯全境而得名。西隔黄河同陕西榆林相望，东北与省会太原市相连，东部、东南部分别和晋中、临汾接壤。

全市基本属于温带大陆性季风气候区，冬寒夏暑，四季分明。市境总面积21140平方千米，下辖1个市辖区、10个县，代管2个县级市，市政府驻离石区。