크롤링(Crawling)은 검색엔진 봇이 웹페이지를 발견해 내용을 수집하는 과정입니다. 인덱싱(Indexing, 색인)은 수집한 페이지를 분석해 검색 데이터베이스에 저장하는 과정입니다. 이 두 단계를 거쳐야 검색 결과에 노출될 수 있습니다. 모든 SEO의 출발점이 되는 개념입니다.
검색 노출의 출발점
아무리 좋은 콘텐츠라도 크롤링되어 인덱싱되지 않으면 검색에 나타날 수 없습니다. 순서는 명확합니다.
- 크롤링: 구글봇이 링크를 따라다니며 페이지를 수집합니다.
- 인덱싱: 수집한 내용을 이해해 색인에 저장합니다.
- 랭킹: 검색어와의 관련성을 따져 SERP에 순위를 매깁니다.
크롤링 단계에서 막히면 그다음은 일어나지 않습니다. 콘텐츠 품질보다 먼저 점검해야 할 기반입니다.
크롤링과 인덱싱을 돕는 방법
봇이 페이지를 효율적으로 발견하고 저장하도록 신호를 정리합니다.
- 사이트맵 제출로 중요한 페이지를 알립니다.
- **robots.txt**로 크롤링 허용과 차단을 안내합니다.
- 깨끗한 내부 링크 구조로 봇이 모든 페이지에 닿게 합니다.
- 서치콘솔에서 색인 상태를 확인하고 색인을 요청합니다.
- 로딩 속도와 코어 웹 바이탈을 개선해 크롤링 효율을 높입니다.
대규모 사이트는 봇이 한 번에 도는 페이지 수, 즉 크롤 예산을 고려해야 합니다. 저품질 페이지가 많으면 중요한 페이지가 뒤로 밀립니다.
인덱싱은 자동이 아닙니다
수집했다고 무조건 색인되지는 않습니다. 중복, 저품질, 차단된 페이지는 색인에서 제외됩니다.
- 중복 URL은 캐노니컬 태그로 대표 페이지를 지정합니다.
- 색인을 원치 않는 페이지는 noindex 메타 태그로 관리합니다.
- 색인 대상 페이지 목록을 명확히 유지해 신호 혼선을 줄입니다.
이런 구조적 점검은 테크니컬 SEO의 핵심 영역입니다.
참고
검색 노출뿐 아니라 GEO 관점에서도 중요합니다. AI가 인용할 콘텐츠 역시 크롤링과 인덱싱된 페이지가 기반입니다. 238lab은 색인 상태 진단을 SEO와 GEO 컨설팅의 첫 단계로 다룹니다.