지형적으로는 태백산맥과 소백산맥에 둘러싸인 내륙 지방과 해안의 영향을 받는 동해안 지역, 낙동강에 가까운 중앙 저지대 지역으로 크게 구분된다. 내륙 지방은 위도에 비해 한서의 차가 심하고 강수량이 적은 특징을 지닌다. 동해안 지역은 동한난류의 영향으로 대체로 온화하고 한서의 차이가 적으며 지형성 강우가 빈번히 나타난다. 저지대 지역은 낙동강 중상류를 중심으로 이어진 소규모의 평야가 있다. 낙동강 하류에 범람원과 김해평야가 있다. 동해안은 해안선이 단조로운 편이고, 남해안은 침강성 리아스식 해안으로 다도해를 이루어 만과 섬들이 있다.
고대 진한과 변한의 영역이었다. 낙동강의 동쪽 지역에는 진한의 12개 소국이 존재했고, 낙동강 서쪽에 변한의 12개 소국이 자리하였다. 진한의 소국 가운데 한 개였던 신라가 성장하면서 점차 진한 내에서 세력을 키웠고 4세기내물마립간 시기에 경상북도 지역을 장악하였다. 변한의 소국들은 점차 통합되어 2~3세기 무렵 가야의 6개 소국 연합체를 구성하였다. 가야 연맹은 5세기 이후 점차 쇠퇴하여 백제, 신라의 침탈을 받았으며 532년금관가야의 멸망을 시작으로 562년에 모두 신라에 합병되었다.
6세기진흥왕 때 동맹관계였던 백제의 성왕을 배신하고 뒤를 쳐 꿈에 그리던 한강 유역을 차지한 뒤, 신라는 완산주(完山州), 사벌주(沙伐州) 등의 행정구역도 설치하여 다스렸다. 685년 경, 신문왕이 9주를 정비하면서 경상도 지역에는 사벌주(沙伐州), 삽량주(歃良州), 청주(菁州)의 3개 주가 설치되었다. 757년에는 지명을 한식(漢式)으로 고치면서 사벌주를 상주(尙州), 삽량주를 양주(良州), 청주를 강주(康州)로 개칭하였다. 9세기 이후 신라가 혼란에 빠지면서 각지에서 호족 세력이 발호하였는데 경상도 지역에는 상주의 아자개, 김해의 소율희 등의 호족이 강성하였다. 10세기 초에 후삼국시대가 전개되면서 신라는 경주 인근의 일부 지역만 유지하였고 경상도 북부는 후고구려, 서부는 후백제가 각기 경영하였다. 935년에 신라 경순왕이 고려에 항복하면서 경상도 일대는 고려의 영토가 되었다.
고려시대
고려 태조는 신라를 합병한 뒤(935년) 신라의 수도였던 서라벌을 경주(慶州)로 개칭하고 동남도 도부서사(東南道 都部署使)를 두었다. 고려 성종 14년(995년), 영남도(嶺南道 : 동경유수관 경주), 영동도(嶺東道 : 상주목), 산남도(山南道 : 진주목)를 설치하였으나 곧 유명무실해졌고, 고려 현종 대에 5도양계가 정비되면서 3도를 합쳐 경상도가 설치되었다. 고려 예종 원년(1106년)에 경상진주도(慶尙晋州道)가 되었다가 명종 원년(1171년) 경상주도(慶尙州道)와 진합주도(晋陜州道)로 분리, 명종 16년(1186년) 경상주도로 합쳤다. 이후 1204년(고려 신종 7년) 상진안동도(尙晋安東道)로 고쳤고, 그 뒤 경상진안도(慶尙晋安道)의 명칭을 거쳐 충숙왕 원년(1314년)에 다시 경상도가 되었다.
조선시대
조선 개국 이후 상주목 산하의 보은, 옥천, 청산, 영동, 황간 등이 충청도에, 무풍이 전라도에 편입되어 영역이 축소되었다. 단종 복위 운동으로 순흥도호부가 폐지되고 그 영역이 인군 군현으로 분할될 때 일부가 충청도 단양, 영춘, 강원도 영월에 편입되면서 경상도의 영역이 조금 더 축소되었다(순흥이 복설되면서 대부분 다시 편입되었다). 관찰사가 업무를 보는 감영은 조선 초기 경주에 두었다가 1408년 상주로 이전하였다. 낙동강을 경계로 경상좌도(慶尙左道)와 경상우도(慶尙右道)로 분리했을 때 좌도 감영을 경주에, 우도 감영을 상주에 각각 두었다가 다시 합치면서 감영을 상주에 두었다. 임진왜란으로 상주가 함락된 후 성주, 칠곡, 안동 등을 떠돌다가 1601년 최종적으로 대구에 정착하면서 대구는 경상도 지역의 행정 중심지가 되었다. 1895년 지방제도 개편으로 23부제가 도입되면서 기존 경상도 지역에 진주부, 동래부, 대구부, 안동부로 분리되었다가, 1896년 13도제가 시행되어 부가 폐지되고 경상남도와 경상북도가 설치되었다.