安樂溪鄉位于赫章縣城西北部，鄉政府所在地距縣城60公里，位于東經104°40′，北緯27°26′。東接云南省以古鎮，東南接結構鄉，南接可樂鄉，北鄰云南省鎮雄縣的花山鄉，處于兩省四鄉交界處。轄區面積98.2平方公里，共轄13個村，78個村民組，3375戶，16792人。少數民族人口占總人口的22%，居住著漢、彝、苗、蔡家等民族。全鄉耕地面積14747畝，人均1.11畝，其中25°以上的坡耕地占80%以上。