robots.txt 차단으로 페이지 색인이 누락되는 원인과 해결법
- robots.txt는 크롤링을 제한하며 색인 제외를 보장하지 않습니다.
- 차단된 URL은 링크만으로 검색 결과에 남을 수 있습니다.
- Search Console에서 차단 규칙을 확인하고 목적에 맞게 수정합니다.
robots.txt 차단으로 페이지 색인이 누락됐다면 먼저 Search Console의 URL 검사에서 해당 URL이 실제로 차단됐는지 확인하세요. robots.txt는 Googlebot의 페이지 접근을 제한하는 파일이지, 검색 결과에서 URL을 확실히 제거하는 장치는 아닙니다. 차단된 페이지도 외부 링크 등으로 발견되면 제한된 정보만으로 검색 결과에 나타날 수 있습니다. 따라서 ‘색인 누락’과 ‘색인되었으나 robots.txt에 의해 차단됨’은 같은 상태가 아닙니다.
robots.txt 차단과 색인 상태는 왜 다를까?
크롤링과 색인은 서로 다른 단계입니다
크롤링은 검색엔진이 페이지를 방문해 내용을 가져가는 과정이고, 색인은 내용을 분석해 검색 데이터베이스에 저장하는 과정입니다. robots.txt의 Disallow 규칙은 크롤러가 URL에 접근하지 못하게 합니다. 하지만 Google이 다른 페이지의 링크나 외부 링크로 URL을 발견하면 페이지 내용을 읽지 못한 상태에서도 URL 자체가 검색 결과에 포함될 가능성이 있습니다. 이때 제목이나 설명이 제대로 표시되지 않거나, 검색에 노출되지 않는 것처럼 보일 수 있습니다.
Search Console 상태 문구를 구분하세요
보고서에 ‘색인이 생성되었으나 robots.txt에 의해 차단됨’이라고 표시되면 URL이 발견되거나 색인에 남아 있을 수 있지만, Googlebot은 robots.txt 규칙 때문에 페이지를 가져오지 못하는 상황입니다. 반면 색인되지 않은 URL의 URL 검사에서 ‘robots.txt에 의해 차단됨’이 확인되면 크롤링 접근 제한이 색인 절차를 막고 있는 것입니다. 보고서의 상태만 보고 모든 URL을 일괄 수정하기보다 실제로 검색에 포함되어야 하는 페이지인지 먼저 판단해야 합니다. Search Console URL 검사 공식 안내에서 색인 버전과 실시간 테스트 결과를 구분해 볼 수 있습니다.
색인 누락을 만드는 차단 규칙 찾기
도메인의 robots.txt와 대상 URL을 함께 확인합니다
robots.txt는 일반적으로 도메인 루트의 /robots.txt에서 확인합니다. 페이지가 서브도메인에 있다면 그 서브도메인의 파일도 따로 점검하세요. 예를 들어 https://shop.example.com/robots.txt와 https://www.example.com/robots.txt는 서로 다른 파일일 수 있습니다. URL 검사에서 ‘크롤링 허용 여부’를 확인하고, 파일에서 해당 경로를 막는 규칙이 있는지 찾습니다.
와일드카드와 경로 범위를 살펴봅니다
Disallow: /는 해당 규칙이 적용되는 크롤러의 사이트 전체 접근을 막을 수 있습니다. Disallow: /category/처럼 디렉터리를 지정한 규칙은 그 경로 아래 페이지에 영향을 줍니다. 사용자 에이전트별 규칙이 여러 개 있거나 경로에 와일드카드가 포함됐다면, 대상 URL에 실제로 어떤 규칙이 적용되는지 개발자와 함께 확인하세요. CMS나 호스팅 서비스가 파일을 자동 생성하는 경우에는 관리자 화면의 검색 노출 설정이 원인일 수도 있습니다.
- 검색에 노출해야 할 랜딩 페이지나 콘텐츠 경로가 차단됐는지 확인합니다.
- 테스트·관리자·검색 결과 페이지처럼 의도적으로 제한한 경로인지 구분합니다.
- 수정 전후에 기존 차단 규칙의 대상 범위와 적용 크롤러를 비교합니다.
목적에 따라 robots.txt와 noindex를 선택하기
크롤링을 제한하려면 robots.txt를 검토합니다
검색에 보여야 하는 콘텐츠라면 실수로 적용된 Disallow 규칙을 수정하거나 제거해 Googlebot이 페이지를 가져갈 수 있게 해야 합니다. Google은 robots.txt를 검색 결과에서 페이지를 숨기는 수단으로 사용하지 말라고 안내합니다. 이미 검색 결과에서 URL을 제거해야 한다면 robots.txt만으로 해결하려 하지 말고 페이지 접근 제한이나 적절한 색인 제어 방법을 선택하세요.
검색 결과에서 제외하려면 크롤링을 허용하고 noindex를 씁니다
noindex는 페이지를 검색 결과에 포함하지 않도록 요청하는 지시어입니다. HTML의 robots 메타 태그나 HTTP 응답 헤더로 설정할 수 있습니다. 다만 Googlebot이 페이지를 크롤링할 수 있어야 이 지시어를 읽습니다. robots.txt로 페이지를 막은 채 noindex를 추가하면 Google이 해당 태그를 확인하지 못할 수 있으므로 두 설정을 함께 쓸 때는 목적과 순서를 점검해야 합니다.
핵심 기준: 검색에 노출할 페이지는 Googlebot의 크롤링을 허용하고, 검색에서 제외할 페이지는 크롤링을 허용한 상태에서 noindex 적용 여부를 검토하세요. robots.txt 차단만으로 색인 제외를 보장할 수 없습니다.
비공개 정보나 내부 운영 페이지라면 robots.txt에만 의존하지 말고 로그인, 접근 권한 설정 등 서버 수준의 보호를 적용해야 합니다. robots.txt는 공개된 파일이며 접근 통제 기능이 아닙니다.
수정 후 재확인하는 순서
- URL 검사: Search Console에서 정확한 프로토콜·호스트·경로의 URL을 검사하고 크롤링 허용 여부, 색인 상태, Google이 선택한 표준 URL을 확인합니다.
- 규칙 수정: 검색 노출이 필요한 URL을 막는 규칙만 좁혀서 수정합니다. 여러 URL에 영향을 주는 전역 규칙은 배포 전에 영향 범위를 점검합니다.
- 실시간 테스트: URL 검사에서 실시간 URL 테스트를 실행해 Google이 현재 페이지에 접근할 수 있는지 확인합니다. 테스트 통과가 색인을 보장하는 것은 아닙니다.
- 재크롤링 요청: 문제가 해결된 URL은 Search Console에서 색인 생성 요청을 할 수 있습니다. 반영 시점은 달라질 수 있으므로 보고서와 검색 결과를 다시 확인합니다.
robots.txt 수정만으로 페이지가 바로 색인되는 것은 아닙니다. 페이지가 정상 응답을 주는지, 공개 접근이 가능한지, 의도치 않은 noindex나 표준 URL 설정이 없는지도 함께 봐야 합니다. 수정 후에도 색인되지 않는다면 URL 발견 경로와 페이지 자체의 색인 가능성 등 다른 원인을 추가로 점검하세요. 자세한 절차는 Google의 robots.txt 차단 해제 안내를 참고할 수 있습니다.
디지털 마케팅 팀이 추가로 확인할 점
SEO 크롤러와 광고 랜딩 페이지 크롤러를 구분합니다
Google 검색용 Googlebot과 Google Ads의 광고 검토 등에 사용되는 AdsBot은 목적과 사용자 에이전트가 다릅니다. 검색 색인만 정상이어도 광고 랜딩 페이지가 AdsBot에 차단되면 광고 검토나 동적 검색 광고에서 별도 문제가 생길 수 있습니다. 반대로 광고 크롤링 허용이 검색 색인을 보장하지도 않습니다. 캠페인 URL에 추적 매개변수가 붙는다면 최종 도착 URL과 해당 경로의 규칙을 확인하고, SEO용 페이지와 광고 전용 페이지의 운영 목적을 문서화해 두면 실수로 전체 랜딩 경로를 차단할 위험을 줄일 수 있습니다. Google Ads의 크롤링할 수 없는 랜딩 페이지 안내도 참고하세요.
배포 뒤 영향받는 URL 집합을 점검합니다
특정 페이지 한 건을 고친 뒤에는 같은 템플릿이나 디렉터리를 사용하는 다른 주요 URL도 표본으로 확인하세요. robots.txt 규칙은 경로 단위로 여러 페이지에 한꺼번에 적용될 수 있습니다. Search Console의 페이지 색인 보고서에서 해당 URL 유형의 변화와 실적을 함께 살피되, 짧은 기간의 등락만으로 수정 효과를 단정하지 마세요.
- 유입과 전환에 중요한 랜딩 페이지가 차단되지 않았는지 확인합니다.
- 캠페인 태그가 붙은 URL과 대표 페이지의 표준 URL이 예상대로 연결되는지 확인합니다.
- 의도적으로 제외한 장바구니·관리자 경로와 검색 노출 대상 콘텐츠를 규칙으로 분리합니다.
자주 묻는 질문
Q. robots.txt로 막았는데도 URL이 검색 결과에 나올 수 있나요?
네. Google이 다른 페이지의 링크 등으로 URL을 발견하면 페이지 내용을 읽지 못해도 제한된 정보만으로 URL이 검색 결과에 나타날 수 있습니다. 검색 결과에서 제외하려면 robots.txt 차단과 색인 제어의 차이를 고려해야 합니다.
Q. ‘색인이 생성되었으나 robots.txt에 의해 차단됨’은 반드시 오류인가요?
검색에 노출할 페이지라면 차단 원인을 점검해야 하지만, 관리자나 내부 경로처럼 검색 대상이 아닌 URL은 의도한 설정일 수 있습니다. 페이지의 사업 목적과 실제 검색 결과 노출 여부를 확인해 조치 여부를 결정하세요.
Q. robots.txt를 수정하면 바로 색인되나요?
즉시 색인된다고 보장할 수 없습니다. URL 검사에서 실시간 접근을 확인하고 필요하면 색인 생성 요청을 할 수 있지만, 실제 처리 시점은 달라질 수 있습니다.
Q. 검색 결과에서 페이지를 완전히 제외하려면 어떻게 하나요?
페이지를 공개 상태로 두면서 검색 결과에서 제외하려면 크롤링이 가능한 상태에서 noindex 메타 태그나 HTTP 헤더를 검토하세요. 민감한 페이지는 로그인이나 서버 접근 제한으로 보호해야 합니다.
Q. 광고 랜딩 페이지가 검색 색인에 있으면 광고 크롤링도 정상인가요?
그렇다고 볼 수 없습니다. Google Ads 크롤러 AdsBot은 별도로 확인해야 하며, 랜딩 페이지 접근성이나 robots.txt 규칙에 따라 광고 검토에서 다른 문제가 생길 수 있습니다.
