홈페이지를 열기 전에 검색에서 막아 둘 쪽과 열어 둘 쪽

쪽의 용도에 따른 공개 범위

관리자 쪽처럼 접근 자체를 제한할 곳은 비밀번호로 보호하고, 방문은 허용하되 검색에서 제외할 공사 중 쪽은 검색로봇이 noindex를 읽을 수 있게 설정합니다. 검색에도 공개할 쪽은 크롤링 차단과 noindex가 남아 있는지 확인해야 합니다.

운영자는 제작 담당자에게 모든 쪽을 한꺼번에 숨겨 달라고 요청하기 전에 공개 범위를 정합니다. 직원만 사용할 관리 화면, 주소를 받은 사람이 방문할 공사 중 화면, 누구나 검색해서 찾을 소개 화면은 필요한 설정이 서로 다릅니다. 학원의 수업 소개나 전문 서비스의 업무 안내도 완성 여부와 공개 목적에 따라 각각 판단합니다.

공사 중이라는 표현은 작업 상태를 뜻할 뿐, 누가 들어와도 되는지를 결정하지는 않습니다. 미공개 가격표나 내부 업무 자료가 포함되어 있다면 방문 허용 대상으로 정하지 말고 접근 제한 대상으로 처리합니다. 운영자가 자료의 공개 가능 여부를 결정하고 제작 담당자가 그 결정에 맞는 설정을 적용합니다.

크롤링 차단과 검색 제외의 차이

구글 검색 센터는 robots.txt를 크롤러가 접근할 수 있는 주소를 안내하는 파일로 설명하며, 웹페이지를 검색에서 숨기는 수단으로 사용하지 말라고 안내합니다. 다른 곳에서 해당 페이지를 연결하면 구글이 본문을 읽지 못하더라도 주소와 연결된 공개 정보를 검색 결과에 표시할 수 있기 때문입니다. 따라서 제작 담당자의 답변이 ‘robots.txt로 막았습니다’라면 운영자는 접근 제한과 검색 제외 중 어떤 요구를 처리했는지 다시 묻습니다.

구글 검색 센터는 noindex를 읽으려면 검색로봇이 해당 페이지에 접근할 수 있어야 한다고 설명합니다. 같은 페이지에 noindex를 적용하고 robots.txt로 크롤링까지 막으면, 구글 검색로봇은 검색 제외 지시를 읽지 못할 수 있습니다. 방문을 허용할 공사 중 화면에는 두 설정을 겹쳐 적용하지 않도록 요구합니다.

비밀번호 보호는 공개하면 안 되는 정보를 다룰 때 선택할 방법입니다. 구글 검색 센터는 robots.txt의 지침을 따르지 않는 크롤러도 있다고 설명하며, 비공개 파일 보호에는 비밀번호 같은 별도 수단을 안내합니다. 운영자는 검색 결과에 나오지 않는 상태를 비공개 자료가 안전하게 보호되는 상태와 같은 뜻으로 취급하지 않습니다.

공개 범위 결정부터 설정 자료 인수까지

운영자는 쪽별 공개 범위를 먼저 결정하고 제작 담당자에게 주소 목록과 함께 전달합니다. ‘공개 전까지 전체 검색 차단’처럼 범위가 넓은 요청보다, 어느 화면에 어떤 제한을 적용할지 지정하는 편이 작업 결과를 판단하기 쉽습니다. 주소가 아직 정해지지 않았다면 화면 이름과 용도를 먼저 정리하고 담당자가 실제 주소를 추가하게 합니다.

1. 운영자가 관리자용·방문 허용·검색 공개 대상으로 나눈 목록을 준비합니다. 목록에는 각 화면의 용도와 공개 승인 여부를 함께 기재합니다.
2. 제작 담당자가 비밀번호 보호 또는 noindex를 적용하고 적용 범위를 회신합니다. 공통 설정인지 특정 화면 설정인지도 설명하도록 요청합니다.
3. 제작 담당자가 서치 콘솔의 URL 검사 결과와 설정 근거를 전달합니다. 운영자는 앞에서 정한 기준에 맞지 않는 항목을 수정 요청하고 처리 결과를 받습니다.

인수할 자료에는 설정한 화면 이름, 영향을 받는 주소 범위, 적용 방법을 포함합니다. noindex라면 메타 태그와 HTTP 응답 헤더 중 어디에 적용했는지 설명을 받습니다. 비밀번호 자체를 공유 문서에 넣기보다 보호 적용 결과와 운영자가 접근 권한을 관리할 방법을 전달받습니다.

준비 자료에는 메뉴에 연결된 화면뿐 아니라 담당자가 별도로 만든 미완성 화면과 검토용 자료도 포함합니다. 운영자가 화면 이름만 전달했다면 제작 담당자는 빠진 주소가 없는지 목록을 보완하고, 공개 목적이 불명확한 항목은 운영자에게 결정을 요청합니다. 다른 화면을 거쳐 들어가는 방식과 주소를 직접 입력하는 방식도 시험 항목에 포함해 달라고 요청합니다. 내부 자료가 있는 화면의 시험에는 비밀번호를 이미 입력한 작업 환경을 그대로 사용하지 않도록 하고, 접근 권한이 없는 상태에서 얻은 결과를 별도로 전달받습니다.

주소별 차단 상태 확인표

구글 서치 콘솔 도움말은 URL 검사에서 ‘크롤링 허용 여부’와 ‘색인 생성 허용 여부’를 각각 판단하도록 안내합니다. 제작 담당자는 검색 공개 대상과 검색 제외 대상의 결과를 따로 제출해야 합니다. 비밀번호 보호 대상은 검색 도구 결과 외에 권한 없는 방문자의 접근이 제한되는지도 별도로 시험합니다.

구글 도움말에 따르면 크롤링 이후 페이지를 변경했을 때는 ‘라이브 URL 테스트’로 현재 버전을 시험할 수 있습니다. 담당자가 제출한 결과에는 검사 대상 주소와 검사 시점을 함께 남기도록 요청합니다. 수정 전 결과를 수정 완료의 근거로 사용하지 않도록 자료를 대조합니다.

설정 완료 판단에서 자주 생기는 오류

‘검색에서 찾지 못했습니다’라는 답변은 설정 완료를 판단할 자료로 부족합니다. 검색 결과에 없다는 관찰과 접근·크롤링·색인 생성 설정이 목적에 맞다는 판단은 서로 다르기 때문입니다. 운영자는 검색어를 입력한 화면 대신 담당자가 실제 설정과 URL 검사 결과를 제시하도록 요구합니다.

noindex를 robots.txt 안에 작성하는 것도 피해야 합니다. 구글 검색 센터는 robots.txt에 넣은 noindex 규칙을 지원하지 않는다고 설명합니다. 담당자에게 검색 제외 지시가 페이지의 메타 태그 또는 HTTP 응답 헤더로 전달되는지 묻고, 구글 검색로봇이 받은 내용으로 판단해 달라고 요청합니다.

구글 검색 센터는 URL 검사 도구로 크롤링 중 구글 검색로봇이 받은 HTML에서 noindex 구현 상태를 시험할 수 있다고 안내합니다. 작업자가 편집 화면에서 저장한 내용과 검색로봇이 실제로 받은 내용이 일치하는지가 판단 대상입니다. 태그를 추가했다는 설명만 받았다면 적용 결과 자료를 추가로 요청합니다.

공개할 쪽의 검사 결과가 허용 상태라고 해도 검색 등록이 완료되었다는 뜻으로 처리하지 않습니다. 구글 도움말은 실시간 테스트가 모든 색인 생성 문제를 감지하지는 못한다고 설명합니다. 운영자는 공개를 방해하는 설정의 해제와 검색 결과 반영을 별도 항목으로 관리하고, 공개 승인에는 이번에 맡긴 설정 작업의 완료 여부를 사용합니다.

복제 화면에 따라오는 검색 설정

공사 중 화면을 복제해 상품이나 강좌 안내를 만드는 경우에는 원본의 검색 제외 설정도 함께 적용됐는지 담당자에게 묻습니다. 이는 복제 기능이 언제나 설정을 복사한다는 뜻이 아니라, 새 화면의 공개 목적을 다시 판단하기 위한 실무 절차입니다. 원본이 비공개였다는 이유로 새 화면에도 같은 결정을 적용하지 않습니다.

반대로 일부 화면을 공개하려고 공통 설정을 변경할 때는 계속 숨겨야 할 화면의 처리 방법도 요청합니다. 담당자는 변경으로 영향을 받는 화면 목록을 제시하고, 운영자는 공개 승인 대상과 제외 대상을 지정합니다. 설정 변경 요청서에는 공개할 화면뿐 아니라 제한을 유지할 화면도 함께 기재합니다.

자주 묻는 질문

제작 도구에서 HTML을 수정할 수 없으면 어떻게 하나요?

구글 검색 센터는 콘텐츠 관리 도구에 검색 설정이나 메타 태그를 관리하는 별도 기능이 있을 수 있다고 안내합니다. 제작 담당자에게 사용하는 도구의 공식 안내를 근거로 설정 방법을 제시하도록 요청합니다. 직접 수정할 수 없다는 이유로 검색 제외가 불가능하다고 결론 내리지 않습니다.

검색에서 제외할 PDF 자료에도 noindex를 쓸 수 있나요?

구글 검색 센터는 HTML이 아닌 자료에 X-Robots-Tag HTTP 응답 헤더를 사용할 수 있다고 설명합니다. PDF를 공개하되 검색에서 제외하려면 담당자에게 파일 응답에 해당 설정을 적용할 수 있는지 묻습니다. 파일 내용이 비공개라면 검색 제외보다 접근 제한을 먼저 요청합니다.

구글에서 적용한 검색 제외가 다른 검색엔진에도 같나요?

모든 검색엔진이 같은 방식으로 처리한다고 단정할 수 없습니다. 구글 검색 센터는 일부 검색엔진이 noindex를 다르게 해석할 수 있다고 안내합니다. 운영자가 관리할 검색엔진을 정한 뒤 담당자에게 각 서비스의 공식 설명에 따른 적용 여부를 별도로 요청합니다.

공개할 화면의 이미지와 스타일 파일도 차단해도 되나요?

구글 검색 센터는 페이지를 이해하는 데 필요한 리소스를 차단하면 페이지 분석에 지장이 생길 수 있다고 설명합니다. 담당자에게 공개 화면이 의존하는 이미지·스크립트·스타일 파일의 차단 필요성을 설명하도록 요청합니다. 파일 종류만으로 일괄 차단 여부를 결정하지 않습니다.

noindex 적용 후에도 검색에 남으면 무엇을 요청하나요?

구글 검색 센터는 설정 후 아직 페이지를 다시 크롤링하지 않았을 가능성을 설명하며, URL 검사 도구를 통한 재크롤링 요청을 안내합니다. 담당자에게 현재 설정이 정상인지 조사한 뒤 재크롤링 요청이 필요한지 판단하도록 요구합니다. 요청 사실과 검색 결과 반영 완료는 별도로 전달받습니다.

같은 주제의 글