Alishan est extrêmement montagneux et l'altitude varie entre 360 et 3 952 mètres d'altitude. La majorité du canton est occupée par les monts Alishan, une chaîne de montagnes allongée qui s'étend du nord au sud entre les cantons de Jiji dans le comté de Nantou et le district de Jiaxian, municipalité spéciale de Kaohsiung. À l'est, Alishan possède encore une petite partie des montagnes de Yushan. Et à l'extrême pointe est, à la frontière avec les deux districts ruraux de Nantou et la ville de Kaohsiung, se trouve le Yu Shan, le plus haut sommet de l'île de Taiwan à 3 952 m. Dans les montagnes, s'écoulent les grandes rivières Alishans, Cengwun, Bajhang et Alishan (Cingshuei).

Alishan jouit d'un climat montagneux subtropical, avec des conditions extrêmement humides et douces pendant la mousson, lorsque la ville reçoit 3,2 m de pluie en cinq mois et des conditions fraîches et sèches pendant les mois d'hiver. Les températures restent relativement constantes tout au long de l'année, avec seulement des températures sensiblement plus basses pendant les mois d'hiver de décembre à février de l'année suivante. Lorsque les typhons frappent Taïwan pendant la saison des pluies, les précipitations dans les régions montagneuses comme Alishan peuvent dépasser 1 mètre par jour, soit les précipitations les plus importantes de l'hémisphère nord et ne sont dépassées que dans quelques îles océaniques de l'hémisphère sud, telles que la Réunion.

À Alishan se trouve une station météorologique de l’Agence météorologique taïwanaise, à une altitude de 2 413 m.

En raison des grandes différences d'altitude, Alishan a une végétation très différente. Dans les plaines, il y a des forêts subtropicales, suivies de broussailles à feuilles persistantes à basse altitude. Dans les régions montagneuses, on trouve des forêts de Lithocarpus et de Litsea, suivis des forêts de conifères comme l'épicéa de Chine. Dans les régions les plus hautes, le végétation alpine domine avec des cyprès et des azalées dans la vallée de Jhongshan et ailleurs.