Ittoqqortoormiit er geografisk beliggende meget isoleret fra de resterende grønlandske bosteder.
Byen er placeret ved udmundingen af verdens største fjordsystem, Kangersuttuaq (Scoresby Sund), der inklusiv bifjorde dækker et areal på ca. 38.000km2. Fjorden adskiller sig fra alle andre østgrønlandske fjorde, da der er åbent vand ved mundingen hele året rundt. Området har særlig fysiske og biologiske vilkår, der gør at marine faunaen er særlig godt repræsenteret her.
Terrænet omkring Ittoqqortoormiit er meget kuperet, og mange steder stiger fjeldene direkte fra kanten af fjorden. Staunings Alper når højder på næsten 2500 meter.
Ittoqqortoormiit ligger syd for Grønlands Nationalpark og betragtes som døren til denne. Nationalparken har et rigt dyreliv og er et vigtigt område for internationale forskere. SIRIUS-patruljen opretholder Danmarks suverænitet i området og er de eneste fastboende i Nationalparken.
Der kan ligge muligheder i, at der dannes bedre forbindelser mellem Ittoqqortoormiit og Nationalparken, således at forskere, adventure turister m.v. med fordel kan lægge vejen forbi byen i forbindelse med ophold i Nationalparken.
I januar 2024 boede der 363 indbyggere i Ittoqqortoormiit. Indbyggertallet har været støt faldende gennem årende. I januar 2006 var befolkningstallet 539. Alle aldersgrupper er faldet i befolkningen på nær gruppen 65+, hvor der har været en stigning.
