Noindex Nofollow 및 Disallow: 검색 크롤러 지침
게시 됨: 2022-12-01검색 엔진이 사이트의 정보를 검색 결과로 검색, 저장 및 제공하는 방법을 지정하는 데 사용할 수 있는 세 가지 지시문(명령)이 있습니다.
- NoIndex: 내 페이지를 검색 결과에 추가하지 않습니다.
- NoFollow: 이 페이지의 링크를 보지 마십시오.
- 금지: 이 페이지를 전혀 보지 않습니다.
이러한 지시문을 사용하면 검색 엔진에서 크롤링하여 검색에 표시할 수 있는 사이트 페이지를 제어할 수 있습니다.
색인 없음은 무엇을 의미합니까?
noindex 지시어는 googlebot과 같은 검색 크롤러에게 검색 결과에 웹페이지를 포함하지 않도록 지시합니다.
페이지 NoIndex를 어떻게 표시합니까?
NOINDEX 지시문을 발행하는 방법에는 두 가지가 있습니다.
- 페이지의 HTML 코드에 NOINDEX 메타 태그 추가
- HTTP 요청에서 NOINDEX 헤더를 반환합니다.
페이지에 "인덱스 없음" 메타 태그를 사용하거나 HTTP 응답 헤더로 사용하면 기본적으로 검색에서 페이지를 숨길 수 있습니다.
noindex 지시문을 사용하여 특정 검색 엔진만 차단할 수도 있습니다. 예를 들어 Google이 페이지를 인덱싱하지 못하도록 차단하지만 Bing은 계속 허용할 수 있습니다.
예: 대부분의 검색 엔진 차단*
<meta name=”robots” content=”noindex”>
예: Google만 차단
<meta name=”googlebot” content=”noindex”>
참고: 2019년 9월부터 Google은 더 이상 robots.txt 파일의 NOINDEX 명령을 따르지 않습니다 . Noindex는 이제 HTML 메타 태그 또는 HTTP 응답 헤더를 통해 발행되어야 합니다. 고급 사용자의 경우 모든 사용 사례에 적용되는 것은 아니지만 현재로서는 disallow 가 여전히 작동합니다.
noindex와 nofollow의 차이점은 무엇인가요?
콘텐츠 저장과 콘텐츠 검색의 차이점은 다음과 같습니다.
noindex 는 페이지 수준에서 적용되며 검색 엔진 크롤러가 검색 결과에서 페이지를 인덱싱하고 제공하지 않도록 지시합니다.
nofollow 는 페이지 또는 링크 수준에서 적용되며 검색 엔진 크롤러에게 링크를 따르지(발견) 않도록 지시합니다.
기본적으로 noindex 태그는 검색 색인에서 페이지를 제거하고 nofollow 속성은 검색 엔진의 링크 그래프에서 링크를 제거합니다.
NoFollow를 페이지 속성으로
페이지 수준에서 nofollow를 사용하면 크롤러가 추가 콘텐츠를 검색하기 위해 해당 페이지의 링크를 따르지 않으며 크롤러가 대상 사이트에 대한 순위 신호로 링크를 사용하지 않습니다.
<meta name=”로봇” content=”nofollow”>
NoFollow를 링크 속성으로
링크 수준에서 nofollow를 사용하면 크롤러가 광고 관련 링크를 탐색하지 못하고 해당 링크가 순위 신호로 사용되지 않습니다.
nofollow 지시문은 a href 태그 내의 rel 속성을 사용하여 링크 수준에서 적용됩니다.
<a href=”https://domain.com” rel=”nofollow”>
특히 Google의 경우 nofollow 링크 속성을 사용하면 사이트에서 PageRank를 대상 URL로 전달하지 못하게 됩니다.
페이지를 NoFollow로 표시해야 하는 이유는 무엇입니까?
대부분의 사용 사례에서 전체 페이지를 nofollow로 표시하면 안 됩니다. 개별 링크를 nofollow로 표시하는 것으로 충분합니다.
Google이 페이지의 링크를 보는 것을 원하지 않거나 페이지의 링크가 사이트를 손상시킬 수 있다고 생각되는 경우 전체 페이지를 nofollow 로 표시합니다.
대부분의 경우 포괄적인 페이지 수준 nofollow 지시문은 페이지에 게시되는 콘텐츠를 제어할 수 없을 때 사용됩니다 일부 고급 게시자는 자신의 페이지에 nofollow 지시문을 적용하여 작성자가 콘텐츠 내에 스폰서 링크를 배치하지 못하도록 설득했습니다.
NoIndex 페이지는 어떻게 사용합니까?
사용자에게 가치를 제공할 가능성이 낮고 검색 결과로 표시되지 않아야 하는 페이지를 NOINDEX로 표시합니다. 예를 들어, 페이지 매김을 위해 존재하는 페이지는 시간이 지남에 따라 동일한 콘텐츠가 표시될 가능성이 없습니다.
Domain.com/category/resultspage=2 는 사용자에게 domain.com/category/resultspage=1 보다 더 나은 결과를 표시할 가능성이 낮으며 두 페이지는 검색에서 서로 경쟁할 뿐입니다. 유일한 목적이 페이지 매김인 페이지는 색인을 생성하지 않는 것이 가장 좋습니다.
다음은 비색인 생성을 고려해야 하는 페이지 유형입니다.
- 페이지 매김에 사용되는 페이지
- 내부 검색 페이지
- 광고 최적화 방문 페이지
- 예: 피치 및 가입 양식만 표시하고 기본 탐색은 표시하지 않음
- 예: 광고에만 사용되는 동일한 콘텐츠의 중복 변형
- 보관된 작성자 페이지
- 결제 흐름의 페이지
- 확인 페이지
- 예: 감사 페이지
- 예: 전체 페이지 주문
- 예: 성공! 페이지
- 귀하의 사이트와 관련이 없는 일부 플러그인 생성 페이지 (예: 상거래 플러그인을 사용하지만 일반 제품 페이지를 사용하지 않는 경우)
- 관리자 페이지 및 관리자 로그인 페이지
페이지 Noindex 및 Nofollow 표시
noindex 및 nofollow로 표시된 페이지는 크롤러가 해당 페이지를 인덱싱하지 못하도록 차단하고 크롤러가 페이지의 링크를 탐색하지 못하도록 차단합니다.
기본적으로 아래 이미지는 noindex 및 nofollow 지시문을 사용한 방법에 따라 검색 엔진이 웹 페이지에서 무엇을 볼 수 있는지 보여줍니다.
이미 인덱싱된 페이지를 NoIndex로 표시
검색 엔진이 이미 페이지의 색인을 생성한 경우 이를 noindex 로 표시하면 다음에 페이지가 크롤링될 때 검색 결과에서 제거됩니다 색인에서 페이지를 제거하는 이 방법이 작동하려면 robots.txt 파일로 크롤러를 차단(허용하지 않음)해서는 안 됩니다.
크롤러에게 페이지를 읽지 말라고 지시하면 NOINDEX 마커가 표시되지 않으며 콘텐츠가 새로 고쳐지지 않더라도 페이지는 인덱싱된 상태로 유지됩니다.
검색 엔진이 내 사이트를 인덱싱하지 못하게 하려면 어떻게 해야 합니까?
이미 색인이 생성된 후 검색 색인에서 페이지를 제거하려는 경우 다음 단계를 완료할 수 있습니다.
- noindex 지시문 적용 메타 태그 또는 HTTP 응답 헤더에 noindex 속성 추가
- 검색 엔진에 페이지 크롤링 요청 Google의 경우 검색 콘솔에서 이 작업을 수행할 수 있으며 Google에 페이지 색인을 다시 생성하도록 요청합니다. 이렇게 하면 Googlebot이 페이지를 크롤링하고 여기에서 Googlebot이 noindex 지시문을 발견합니다. 페이지를 제거하려는 각 검색 엔진에 대해 이 작업을 수행해야 합니다.
- 페이지가 검색에서 제거되었는지 확인 크롤러가 웹페이지를 다시 방문하도록 요청했으면 잠시 기다린 다음 페이지가 검색 결과에서 제거되었는지 확인합니다. 아래 이미지와 같이 검색 엔진으로 이동하여 사이트 콜론 대상 URL을 입력하면 됩니다.
검색 결과가 반환되지 않으면 페이지가 해당 검색 색인에서 제거된 것입니다. - 페이지가 제거되지 않은 경우 robots.txt 파일에 "disallow" 명령이 없는지 확인하십시오. Google 및 기타 검색 엔진은 페이지 크롤링이 허용되지 않은 경우 NOINDEX 지시어를 읽을 수 없습니다. 읽을 경우 대상 페이지에 대한 금지 지시어를 제거한 다음 크롤링을 다시 요청하세요.
- robots.txt 파일에서 대상 페이지에 대한 금지 명령을 설정합니다 . Disallow: /page$
robots.txt 파일의 URL 끝에 달러 기호를 넣어야 합니다. 그렇지 않으면 실수로 해당 페이지 아래의 모든 페이지와 같은 문자열로 시작하는 모든 페이지를 허용하지 않을 수 있습니다. 예: Disallow: /sweater 는 /sweater-weather 및 /sweater/green도 허용하지 않지만 Disallow: /sweater$ 는 정확한 페이지 /sweater만 허용하지 않습니다.
어떻게 Google 검색에서 페이지를 제거하려면
검색에서 제거하려는 페이지가 귀하가 소유하거나 관리하는 사이트에 있는 경우 대부분의 사이트에서 웹마스터 URL 제거 도구를 사용할 수 있습니다.
웹마스터 URL 제거 도구는 약 90일 동안만 검색에서 콘텐츠를 제거합니다. 보다 영구적인 솔루션을 원하는 경우 noindex 명령을 사용하거나 robots.txt에서 크롤링을 허용하지 않거나 사이트에서 페이지를 제거해야 합니다. Google은 여기에서 영구적인 URL 제거에 대한 추가 지침을 제공합니다.
소유하지 않은 사이트의 검색에서 페이지를 제거하려는 경우 다음 기준을 충족하는 경우 검색에서 해당 페이지를 제거하도록 Google에 요청할 수 있습니다.
- 신용 카드 또는 사회 보장 번호와 같은 개인 정보를 표시합니다.
- 페이지가 멀웨어 또는 피싱 수법의 일부입니다.
- 페이지가 법률을 위반합니다.
- 페이지가 저작권을 위반합니다.
페이지가 위의 기준 중 하나를 충족하지 않는 경우 SEO 회사 또는 PR 회사에 연락하여 온라인 평판 관리에 대한 도움을 받을 수 있습니다.
카테고리 페이지를 인덱스하지 않아야 합니까?
사용자 생성 검색 또는 태그를 기반으로 프로그래밍 방식으로 범주 페이지를 회전시키고 중복 콘텐츠가 다루기 어려워지는 경우가 아니면 일반적으로 범주 페이지를 색인화하지 않는 것이 좋습니다.
대부분의 경우 사용자가 사이트를 더 잘 탐색하고 필요한 것을 찾는 데 도움이 되는 방식으로 콘텐츠에 지능적으로 태그를 지정하면 괜찮을 것입니다.
실제로 카테고리 페이지는 일반적으로 카테고리 주제 아래에 깊이 있는 콘텐츠를 표시하므로 SEO의 금광이 될 수 있습니다.
2018년 12월에 수행한 이 분석을 살펴보고 소수의 온라인 발행물에 대한 카테고리 페이지의 가치를 정량화하십시오.
우리는 카테고리 랜딩 페이지가 수백 개의 페이지 1 키워드에 대해 순위를 매기고 매달 수천 명의 자연 방문자를 유입한다는 것을 발견했습니다.
각 사이트의 가장 가치 있는 카테고리 페이지는 종종 각각 수천 명의 자연 방문자를 끌어들였습니다.
아래 EW.com을 살펴보면 각 페이지에 대한 트래픽 (원 크기로 표시) 과 각 페이지에 대한 트래픽 값 (원 색상으로 표시)을 측정했습니다.
페이지의 월간 유기적 가치 = 색상의 깊이
이제 방문자가 적극적으로 구매할 가능성이 있는 제품 기반 사이트에 대해 동일한 차트를 상상해 보십시오.
즉, 카테고리가 사용자 혼동을 일으키거나 검색에서 서로 경쟁할 정도로 유사하다면 다음과 같이 변경해야 할 수 있습니다.
- 범주를 직접 설정하는 경우 한 범주에서 다른 범주로 콘텐츠를 마이그레이션하고 전체 범주의 총 수를 줄이는 것이 좋습니다.
- 사용자가 범주를 스핀업하도록 허용하는 경우 최소한 새 범주가 검토 프로세스를 거칠 때까지 사용자 생성 범주 페이지를 색인화하지 않을 수 있습니다.
Google이 하위 도메인을 인덱싱하지 못하게 하려면 어떻게 해야 하나요?
Google의 하위 도메인 색인 생성을 중지하는 몇 가지 옵션이 있습니다.
- .htpasswd 파일을 사용하여 비밀번호를 추가할 수 있습니다.
- robots.txt 파일을 사용하여 크롤러를 허용하지 않을 수 있습니다.
- 하위 도메인의 모든 페이지에 NOINDEX 지시문을 추가할 수 있습니다.
- 모든 하위 도메인 페이지를 404할 수 있습니다.
블록 인덱싱에 암호 추가
하위 도메인이 개발 목적인 경우 하위 도메인의 루트 디렉터리에 .htpasswd 파일을 추가하는 것이 완벽한 옵션입니다. 로그인 벽은 크롤러가 하위 도메인의 콘텐츠를 인덱싱하는 것을 방지 하고 무단 사용자 액세스를 방지합니다.
사용 사례 예:
- Dev.domain.com
- Staging.domain.com
- Testing.domain.com
- QA.domain.com
- UAT.domain.com
robots.txt를 사용하여 인덱싱 차단
하위 도메인이 다른 용도로 사용되는 경우 하위 도메인의 루트 디렉터리에 robots.txt 파일을 추가할 수 있습니다. 그러면 다음과 같이 액세스할 수 있어야 합니다.
https://subdomain.domain.com/robots.txt
검색에서 차단하려는 각 하위 도메인에 robots.txt 파일을 추가해야 합니다. 예시:
https://help.domain.com/robots.txt
https://public.domain.com/robots.txt
각 경우에 robots.txt 파일은 크롤러를 허용하지 않아야 합니다. 단일 명령으로 대부분의 크롤러를 차단하려면 다음 코드를 사용하십시오.
사용자 에이전트: *
금지: /
user-agent: 뒤의 별표 * 는 와일드카드라고 하며 모든 문자 시퀀스와 일치합니다. 와일드카드를 사용하면 googlebot에서 yandex에 이르기까지 이름에 관계없이 모든 사용자 에이전트에 다음과 같은 허용 안함 지시어가 전송됩니다.
백슬래시는 크롤러에게 하위 도메인의 모든 페이지가 disallow 지시어에 포함되어 있음을 알려줍니다.
하위 도메인 페이지의 인덱싱을 선택적으로 차단하는 방법
하위 도메인의 일부 페이지는 검색에 표시하고 다른 페이지는 표시하지 않으려면 두 가지 옵션이 있습니다.
- 페이지 수준 NOINDEX 지시문 사용
- 폴더 또는 디렉터리 수준 disallow 지시문 사용
페이지 수준 NOINDEX 지시어는 모든 페이지의 HTML 또는 헤더에 지시어를 추가해야 하므로 구현하기가 더 번거로울 것입니다. 그러나 noindex 지시어는 하위 도메인의 색인이 이미 생성되었는지 여부에 관계없이 Google이 하위 도메인을 색인화하지 못하도록 합니다.
디렉터리 수준 disallow 지시문은 구현하기가 더 쉽지만 하위 도메인 페이지가 이미 검색 인덱스에 없는 경우에만 작동합니다. 해당 디렉토리 또는 하위 폴더의 크롤링을 허용하지 않도록 하위 도메인의 robots.txt 파일을 업데이트하기만 하면 됩니다.
내 페이지에 색인이 생성되지 않았는지 어떻게 알 수 있습니까?
실수로 사이트에 no index 지시문 페이지를 추가하면 검색 순위 및 검색 가시성에 큰 영향을 미칠 수 있습니다.
좋은 콘텐츠와 백링크에도 불구하고 페이지에 유기적 트래픽이 표시되지 않는 경우 먼저 실수로 robots.txt 파일에서 크롤러를 허용하지 않았는지 확인하십시오. 그래도 문제가 해결되지 않으면 개별 페이지에서 NOINDEX 지시문을 확인해야 합니다.
WordPress 페이지에서 NoIndex 확인
WordPress를 사용하면 페이지에서 이 태그를 쉽게 추가하거나 제거할 수 있습니다. 페이지에서 nofollow를 확인하는 첫 번째 단계는 "설정" 메뉴의 "읽기" 탭에서 검색 엔진 가시성 설정을 전환하는 것입니다.
이렇게 하면 문제가 해결될 가능성이 높지만 이 설정은 규칙이 아닌 '제안'으로 작동하며 일부 콘텐츠는 어쨌든 색인이 생성될 수 있습니다.
파일 및 콘텐츠에 대한 절대적인 개인 정보 보호를 보장하기 위해 cPanel 관리 도구(사용 가능한 경우) 또는 간단한 플러그인을 사용하여 사이트를 암호로 보호하는 마지막 단계를 거쳐야 합니다.
마찬가지로 콘텐츠에서 이 태그를 제거하려면 암호 보호를 제거하고 가시성 설정을 선택 취소하면 됩니다.
Squarespace에서 NoIndex 확인
Squarespace 페이지는 플랫폼의 코드 주입 기능을 사용하여 쉽게 NoIndexed됩니다. WordPress와 마찬가지로 Squarespace는 암호 보호를 사용하여 일상적인 검색에서 쉽게 차단할 수 있지만 플랫폼은 콘텐츠의 무결성을 보호하기 위해 이 단계를 수행하지 말 것을 권장합니다.
인터넷 검색 엔진에서 숨기려는 각 페이지와 그 아래의 각 하위 페이지에 NoIndex 코드 줄을 추가하면 공개 액세스가 금지되어야 하는 보안 콘텐츠의 안전을 보장할 수 있습니다. 다른 플랫폼과 마찬가지로 이 태그를 제거하는 것도 상당히 간단합니다. 코드 삽입 기능을 사용하여 코드를 다시 제거하기만 하면 됩니다.
Squarespace는 경쟁업체가 주로 이 옵션을 페이지 관리 도구의 설정 제품군의 일부로 제공한다는 점에서 독특합니다. Squarespace는 여기에서 출발하여 코드를 개인적으로 조작할 수 있습니다. 이 공간의 다른 항목과 달리 페이지 콘텐츠에 대한 변경 사항을 볼 수 있기 때문에 흥미롭습니다.
Wix에서 NoIndex 확인하기
Wix는 또한 NoIndexing 문제에 대한 간단하고 빠른 수정을 허용합니다. "메뉴 및 페이지" 설정에서 사이트 내 단일 페이지에 색인을 생성하지 않으려면 '검색 결과에 이 페이지 표시' 옵션을 비활성화하면 됩니다.
경쟁사와 마찬가지로 Wix는 추가 개인 정보 보호를 위해 페이지 또는 전체 사이트를 보호하는 암호를 제안합니다. 그러나 Wix는 지원팀이 크롤러로부터 콘텐츠를 보호하기 위해 두 전선에서 병행 조치를 규정하지 않는다는 점에서 다른 것과 다릅니다. Wix는 메뉴에서 페이지를 숨기는 것과 검색 기준에서 숨기는 것의 차이점에 대해 특별히 설명합니다.
이는 사이트 메뉴에서 제거하면 신중한 Google 검색어가 아니라 사이트에서 페이지에 접근할 수 없게 된다는 점을 고려하여 처음에는 차이점을 이해하지 못할 수 있는 경험이 적은 웹 사이트 빌더에게 특히 유용한 조언입니다.