색인되지 않음, ‘무시해도 되는 색인 제외’ 구분법

Search Console을 처음 열어보면 많은 분들이 색인되지 않음 숫자에 놀랍니다. 생각보다 숫자가 크기 때문입니다. 어떤 사이트는 색인된 페이지보다 색인되지 않은 페이지가 훨씬 많아 보이기도 합니다.

문제는 이 숫자를 줄이기 위해 사이트의 표준 구조를 해치는 경우도 종종 보인다는 점입니다. canonical을 잘못 바꾸거나, noindex를 제거하거나, sitemap에 넣지 않아도 될 URL을 억지로 밀어 넣거나, 파라미터 URL까지 색인시키려는 식입니다.

이렇게 하면 숫자는 잠깐 줄어드는 것처럼 보일 수 있습니다. 하지만 검색엔진이 어떤 URL을 대표 페이지로 봐야 하는지 헷갈리게 만들고, 중복 URL이 늘어나고, 크롤링 리소스가 분산될 수 있습니다. 결국 색인 문제를 해결하려다가 사이트의 표준 구조를 망가뜨리는 일이 생깁니다.

사실 한국의 많은 웹사이트는 전체 발견 URL 기준으로 보면 색인되지 않은 페이지의 비율이 높은 편입니다. 필터 URL, 정렬 URL, 검색 결과 페이지, 게시판 URL, 모바일/PC 분리 URL, 파라미터 URL, 중복 URL이 함께 잡히는 경우가 많기 때문입니다.

그래서 중요한 것은 색인되지 않음 숫자 자체를 줄이는 것이 아닙니다. 중요한 것은 색인되지 않아도 되는 URL과 반드시 색인되어야 하는 URL을 구분하는 것입니다. 색인 관리는 제외된 URL을 모두 살리는 작업이 아닙니다. 색인되어야 할 URL과 제외되어야 할 URL을 구분하는 작업입니다.

업종별로 색인율은 다르게 봐야 합니다

238LAB에서 운영 기간 3년 이상인 사이트를 진단하다 보면, 전체 발견 URL 기준 색인율은 대략 다음 범위에서 형성되는 경우가 많습니다.

물론 이 숫자는 절대 기준이 아닙니다. 업종, URL 구조, 필터/정렬 기능, 게시판 구조, 상품 수, 콘텐츠 운영 방식, 모바일 페이지 분리 여부에 따라 달라질 수 있습니다.

특히 여기서 말하는 색인율은 전체 발견 URL 기준입니다. Google이 사이트 안팎에서 발견한 모든 URL을 기준으로 보면, 색인되지 않은 URL이 많게 나오는 것은 자연스러운 경우가 많습니다.

하지만 기준을 sitemap에 제출한 핵심 URL로 바꾸면 이야기가 달라집니다. sitemap에는 원칙적으로 색인되어야 하는 대표 URL만 들어가야 합니다. 따라서 sitemap에 제출한 서비스 페이지, 카테고리 대표 페이지, 주요 콘텐츠 페이지, 사례 페이지가 계속 색인되지 않는다면 반드시 점검해야 합니다.

정리하면 이렇습니다.

전체 발견 URL 기준 색인율이 낮다고 바로 문제라고 볼 수는 없습니다. 하지만 sitemap에 제출한 핵심 canonical URL의 색인율이 낮다면 반드시 봐야 합니다.

색인되지 않음은 오류가 아니라 상태입니다

색인되지 않음은 그 자체로 오류가 아닙니다. Google이 해당 URL을 발견했지만 검색 결과 후보군에 넣지 않았다는 상태에 가깝습니다.

Google은 모든 URL을 색인하지 않습니다. 검색 결과에 보여줄 가치가 있다고 판단되는 URL, 중복이 아닌 대표 URL, 사용자가 검색했을 때 의미 있는 정보를 제공할 수 있는 URL을 중심으로 색인합니다.

반대로 검색 결과에 나올 필요가 없는 URL도 많습니다.

로그인 페이지, 장바구니, 마이페이지, 관리자 페이지, 검색 결과 페이지, 필터 페이지, 정렬 페이지, 중복 URL, 리다이렉트된 URL, canonical로 다른 대표 URL을 가리키는 URL은 색인되지 않는 것이 오히려 정상일 수 있습니다.

따라서 Search Console의 색인 제외 항목을 볼 때 가장 먼저 해야 할 질문은 이것입니다.

이 URL은 검색 결과에 나와야 하는 URL인가?

이 질문에 대한 답이 아니다라면, 색인되지 않는 것이 문제가 아닐 수 있습니다. 반대로 답이 그렇다라면, 그때부터 원인을 봐야 합니다.

신경 쓰지 않아도 되는 유형 1. 중복 URL과 canonical 처리된 URL

첫 번째로 크게 신경 쓰지 않아도 되는 유형은 중복 URL과 canonical 처리된 URL입니다.

하나의 콘텐츠가 여러 URL로 접근되는 경우는 생각보다 많습니다. 예를 들어 같은 상품 페이지가 카테고리 경로, 추천 상품 경로, 캠페인 경로, 파라미터 경로로 각각 접근될 수 있습니다.

example.com/products/123
example.com/category/shoes/products/123
example.com/products/123?ref=main
example.com/products/123?utm_source=newsletter

이때 모든 URL을 색인시키는 것이 좋은 것이 아닙니다. 검색엔진 입장에서는 같은 콘텐츠가 여러 URL에 흩어져 있는 것처럼 보일 수 있기 때문입니다.

이럴 때 필요한 것이 canonical입니다. 대표 URL을 하나 정하고, 나머지 중복 URL은 그 대표 URL을 가리키도록 정리합니다. Google이 이를 이해하면 중복 URL은 색인되지 않고, 대표 URL만 색인될 수 있습니다. Search Console에서 대체 페이지, 적절한 표준 태그 있음 같은 항목이 보이는 경우도 있습니다. 이 경우 해당 URL이 실제로 중복 URL이고, 우리가 의도한 canonical URL로 잘 모이고 있다면 크게 문제 삼지 않아도 됩니다.

오히려 여기서 모든 중복 URL을 색인시키려고 하면 표준화가 깨질 수 있습니다. 중복 URL이 색인되면 검색 신호가 분산되고, 어떤 URL이 대표 페이지인지 애매해질 수 있습니다. 따라서 이 유형에서 봐야 할 것은 색인 제외 숫자가 아닙니다. 중요한 것은 Google이 우리가 의도한 canonical URL을 대표로 선택하고 있는가입니다.

신경 쓰지 않아도 되는 유형 2. 필터, 정렬, 파라미터 URL

두 번째는 필터, 정렬, 파라미터 URL입니다. 커머스, 플랫폼, 커뮤니티, 게시판형 사이트에서 특히 많이 발생합니다.

예를 들어 이런 URL입니다.

example.com/products?sort=price
example.com/products?color=black
example.com/products?page=2
example.com/search?q=seo
example.com/list?category=3&order=latest

이런 URL은 사용자가 사이트 안에서 탐색할 때는 필요할 수 있습니다. 하지만 검색 결과에 모두 노출될 필요는 없는 경우가 많습니다. 색상, 가격, 정렬, 페이지네이션, 검색어 조합이 모두 URL로 생성되면 검색엔진이 발견하는 URL 수가 급격히 늘어납니다. 이때 모든 조합을 색인시키려고 하면 중복 콘텐츠가 늘어나고, 크롤링 리소스가 분산될 수 있습니다.

특히 커머스 사이트에서는 이 문제가 자주 발생합니다. 상품 수보다 필터 조합 URL이 훨씬 많이 발견되는 경우도 있습니다. 이때 Search Console의 색인되지 않음 숫자가 커지는 것은 자연스러운 현상일 수 있습니다. 이 유형에서 중요한 것은 필터 URL을 모두 살리는 것이 아닙니다. 색인 가치가 있는 대표 카테고리 URL과 색인하지 않아도 되는 조합 URL을 구분하는 것입니다.

예를 들어 남성 러닝화처럼 검색 수요가 명확하고 독립 페이지로 운영할 가치가 있는 카테고리는 대표 URL로 만들 수 있습니다. 반면 ?sort=price&color=black&page=7 같은 조합 URL은 색인될 필요가 없을 가능성이 높습니다. 색인 관리의 목적은 모든 파라미터 URL을 검색 결과에 넣는 것이 아닙니다. 검색 수요와 콘텐츠 가치가 있는 URL만 대표 페이지로 정리하는 것입니다.

신경 쓰지 않아도 되는 유형 3. 의도적으로 제외한 운영성 페이지

세 번째는 의도적으로 제외한 운영성 페이지입니다. 사이트에는 검색 결과에 노출될 필요가 없는 페이지가 많습니다.

로그인
회원가입 완료
장바구니
결제
마이페이지
관리자
내부 검색 결과
임시 이벤트 종료 페이지
리다이렉트된 과거 URL

이런 페이지는 색인되지 않는 것이 자연스럽습니다. 오히려 색인되면 사용자 경험이나 보안, 개인정보, 사이트 품질 측면에서 문제가 될 수 있습니다. 예를 들어 장바구니 페이지나 마이페이지가 검색 결과에 노출될 필요는 없습니다. 내부 검색 결과 페이지도 대체로 검색 결과에 노출할 이유가 없습니다. 관리자 페이지는 당연히 색인 대상이 아닙니다.

이런 URL이 Search Console에서 noindex 태그에 의해 제외됨, 리디렉션이 포함된 페이지, 찾을 수 없음(404) 등으로 잡힐 수 있습니다. 여기서 중요한 것은 의도한 제외인지 확인하는 것입니다. 우리가 의도적으로 noindex를 넣었고, 실제로 검색 결과에 노출될 필요가 없는 페이지라면 문제가 아닙니다. 과거 URL을 새 URL로 301 리다이렉트했다면, 과거 URL이 색인되지 않는 것도 정상입니다. 삭제한 이벤트 페이지가 404로 잡히는 것도 의도한 삭제라면 반드시 문제라고 볼 수 없습니다.

물론 운영성 페이지라고 해서 모두 방치해도 된다는 뜻은 아닙니다. 실수로 중요한 콘텐츠에 noindex가 들어가 있거나, 서비스 페이지가 잘못 리다이렉트되고 있거나, 삭제하지 말아야 할 페이지가 404가 된 경우는 바로 봐야 합니다.

핵심은 간단합니다. 검색 결과에 나올 필요가 없는 URL이라면 색인되지 않는 것이 정상입니다.

반드시 봐야 하는 알람. 색인되어야 할 canonical URL이 제외되는 경우

반드시 봐야 하는 것은 하나입니다. 색인되어야 할 canonical URL이 색인되지 않는 경우입니다. 색인 문제를 볼 때는 이 기준 하나를 중심에 두면 됩니다.

이 URL은 색인되어야 하는 대표 URL인가?

서비스 페이지, 카테고리 대표 페이지, 주요 블로그 글, 콘텐츠 허브, 사례 페이지, 제품 상세 대표 URL처럼 검색 유입을 받아야 하는 페이지라면 색인되어야 합니다. 특히 sitemap에 넣은 URL이라면 더 그렇습니다.

이런 URL이 Search Console에서 계속 제외된다면 반드시 원인을 봐야 합니다.

대표적으로 아래 상태를 확인합니다.

발견됨 - 현재 색인이 생성되지 않음
크롤링됨 - 현재 색인이 생성되지 않음
중복, Google에서 사용자와 다른 표준 페이지 선택
sitemap에 제출했지만 색인되지 않는 URL

발견됨 - 현재 색인이 생성되지 않음은 Google이 URL을 알고 있지만 아직 크롤링하지 않았거나, 크롤링 우선순위가 낮게 잡혀 있을 가능성이 있습니다. 신규 페이지에서 일시적으로 보일 수 있지만, 핵심 페이지에서 오래 지속된다면 내부 링크, sitemap, 콘텐츠 품질, 사이트 구조를 함께 봐야 합니다.

크롤링됨 - 현재 색인이 생성되지 않음은 Google이 페이지를 실제로 봤지만 색인하지 않았다는 뜻입니다. 이 경우 콘텐츠가 얇거나, 중복성이 높거나, 검색 결과에 넣을 만한 독립 가치가 부족하다고 판단됐을 가능성을 검토해야 합니다.

중복, Google에서 사용자와 다른 표준 페이지 선택은 특히 중요합니다. 우리가 canonical로 지정한 URL과 Google이 실제로 선택한 대표 URL이 다르다는 의미일 수 있기 때문입니다. 이 경우 canonical 태그, 내부 링크, sitemap, redirect, 콘텐츠 중복 구조를 함께 점검해야 합니다.

여기서도 상태명만 보고 판단하면 안 됩니다. 먼저 해당 URL이 실제 색인 대상인지 확인해야 합니다. 색인 대상이 아닌 URL이라면 제외되어도 괜찮습니다. 하지만 색인 대상인 canonical URL이라면 반드시 봐야 합니다.

색인 수보다 색인 품질이 중요합니다

SEO를 하다 보면 색인된 페이지 수를 늘리는 것이 좋은 것처럼 느껴질 수 있습니다. 하지만 실제로는 그렇지 않습니다. 색인된 페이지가 많다고 SEO가 잘 되는 것은 아닙니다. 검색 가치가 낮은 페이지, 중복 페이지, 파라미터 페이지, 얇은 콘텐츠가 많이 색인되면 오히려 사이트 품질 관리가 어려워질 수 있습니다.

반대로 색인된 페이지 수가 적어도, 색인되어야 할 핵심 페이지가 정확히 색인되어 있고 그 페이지들이 검색 의도에 잘 대응하고 있다면 더 건강한 구조일 수 있습니다. SEO/GEO 관점에서 중요한 것은 색인 수가 아니라 색인 품질입니다.

좋은 색인 구조는 이런 상태입니다.

색인되어야 할 URL은 색인된다.
중복 URL은 대표 URL로 통합된다.
검색 결과에 필요 없는 URL은 제외된다.
sitemap에는 핵심 canonical URL만 들어간다.
Google이 선택한 canonical과 우리가 의도한 canonical이 일치한다.

이 구조가 잡혀야 검색엔진이 사이트를 더 안정적으로 이해할 수 있습니다. GEO 관점에서도 마찬가지입니다. AI가 참고할 만한 서비스 페이지와 콘텐츠 페이지가 검색엔진에 안정적으로 발견되고 색인되어 있어야 합니다.

AI 검색은 결국 웹에서 발견 가능한 정보를 참고합니다. 핵심 페이지가 색인되지 않거나, 대표 URL이 흔들리거나, 중복 URL이 과도하게 섞여 있으면 AI가 우리 정보를 안정적으로 이해하기 어렵습니다.

결론: 숫자를 줄이지 말고, 기준을 세워야 합니다

Search Console의 색인되지 않음 숫자는 모두 해결해야 할 오류가 아닙니다. 전체 발견 URL 기준으로 색인 제외 비율이 높아 보이는 것은 많은 사이트에서 자연스러운 현상입니다. 특히 커머스, 플랫폼, 커뮤니티, 게시판형 사이트는 필터, 정렬, 파라미터, 중복 URL이 많이 생기기 때문에 색인되지 않은 URL이 많을 수밖에 없습니다.

중요한 것은 숫자를 줄이는 것이 아닙니다. 중요한 것은 기준을 세우는 것입니다. 신경 쓰지 않아도 되는 URL은 과감히 제외되어도 됩니다. 중복 URL, 필터 URL, 운영성 페이지는 검색 결과에 모두 나올 필요가 없습니다.

반대로 색인되어야 할 canonical URL은 반드시 봐야 합니다. 서비스 페이지, 핵심 카테고리, 주요 콘텐츠, 사례 페이지, sitemap에 제출한 대표 URL이 색인되지 않는다면 그건 SEO/GEO의 기초 인프라가 흔들리는 문제입니다.

색인 관리는 모든 URL을 살리는 작업이 아닙니다. 검색엔진과 AI가 이해해야 할 대표 URL을 명확히 정리하는 작업입니다.

참고 자료

• Google Search Console Help, "Page indexing report": https://support.google.com/webmasters/answer/7440203
• Google Search Central, "How to specify a canonical URL with rel=canonical and other methods": https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Google Search Central, "Build and submit a sitemap": https://developers.google.com/search/docs/crawling-indexing/sitemaps/build-sitemap
• Google Search Central, "Large site owner's guide to managing your crawl budget": https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget