크롤링 예산이란 무엇이며 SEO를 위해 어떻게 최적화합니까?

FATJOE에서는 웹 페이지용 고품질 콘텐츠를 만들고 해당 페이지에 대한 강력한 링크를 확보하는 데 주력하고 있습니다.

그러나 Google과 같은 검색 엔진은 해당 페이지를 어떻게 찾습니까? 정답은 크롤링입니다.

Google 크롤러는 웹사이트로 이동하여 링크를 따라가며 각 페이지의 콘텐츠를 분석하여 해당 색인에 URL을 추가합니다.

크롤링 예산은 특정 기간 내에 웹페이지를 크롤링하기 위해 검색 엔진이 할당하는 리소스입니다. 봇이 크롤링할 사이트의 페이지 수와 돌아오는 빈도를 결정합니다.

크롤링 예산 관리는 웹사이트 소유자와 SEO 팀,특히 대규모 사이트를 운영하는 팀 에게 매우 중요합니다.

크롤링 예산을 최적화하면 검색 엔진이 사이트의 중요한 페이지를 색인화하도록 할 수 있습니다. 이렇게 하면 검색 결과에서 가시성이 향상되고 검색 엔진이 귀하의 콘텐츠를 볼 수 있습니다.

이 가이드에서는 다음을 다룹니다.

• 크롤링 예산이란
• 작동 방식
• SEO에 중요한 이유
• 크롤링 예산을 늘리는 방법

크롤링 예산이란 무엇입니까?

크롤링 예산은 검색 엔진이 웹 페이지를 크롤링하고 인덱싱하기 위해 웹 사이트에 제공하는 리소스입니다.

Google 및 기타 검색 엔진이 검색 결과에서 귀하의 페이지를 얼마나 효과적으로 찾고 포함할 수 있는지를 결정하므로 검색 엔진 최적화(SEO)에서 큰 문제입니다.

검색 엔진이 크롤링 예산을 할당하는 이유는 무엇입니까?

Google에는 웹 페이지를 탐색하고 인덱싱하는 GoogleBot이라는 자체 크롤러가 있습니다.

그러나 인터넷은 거대합니다.

Google이모든웹사이트의모든페이지를 크롤링하고 색인을 생성할 수 있는 방법은 없습니다.

따라서 검색 사용자에게 가장 관련성이 높은 페이지에 도달할 수 있도록 Google은 웹사이트에 크롤링 예산을 할당합니다.

이는 Google 이외의 검색 엔진에서도 동일하지만 우리는 Google이라는 점에서Google에 초점을 맞출 것입니다.

Google 크롤러의 다른 유형은 무엇입니까?

검색 엔진에는 웹 페이지에 대한 정보를 수집하는 다양한 유형의 크롤러가 있습니다. 여기에 크롤러 및 가져오기의 주요 유형이 요약되어 있습니다.

GoogleBot

웹 페이지를 검색하고 인덱싱하기 위해 Google에서 사용하는 기본 크롤러입니다. 모든 HTML 콘텐츠를 보고 링크를 따라가며 웹 페이지의 콘텐츠를 분석합니다.

특수 케이스 크롤러

이러한 크롤러는 접근성 정보 수집과 같은 특정 작업에 사용됩니다. 특별한 경우의 크롤러는 robots.txt 규칙을 준수할 수도 있고 준수하지 않을 수도 있습니다.

사용자 트리거 가져오기

이 유형의 크롤러는 최종 사용자가 가져오기를 트리거할 때 사용됩니다. 예를 들어 일부 Google Search Console 도구는 사용자 작업에 따라 가져오기 요청을 보냅니다. 사용자 트리거 페처는 일반적으로 robots.txt 규칙을 무시합니다.

Google 뉴스 크롤러

이것은 뉴스 관련 콘텐츠를 크롤링하는 데 중점을 둡니다. 최신 뉴스 정보를 수집하고 Google 검색 결과 및 Google 뉴스 플랫폼에 표시되도록 합니다.

구글 이미지 크롤러

이름에서 알 수 있듯이 이 크롤러는 이미지에 관한 것입니다. 웹을 샅샅이 뒤져 이미지를 찾고 대체 텍스트, 캡션, 파일 이름 등을 분석하여 맥락을 이해합니다.

Google 비디오 크롤러

이미지 크롤러와 마찬가지로 이 크롤러는 비디오 콘텐츠 검색 및 인덱싱 전용입니다. 비디오 메타데이터, 캡션 및 기타 정보를 확인합니다.

모든 Google 크롤러 및 페처 (사용자 에이전트 토큰 및 사용 사례 포함)에 대한 보다 포괄적인 요약을 보려면 유용한 표를 보려면 끝까지 건너뛰십시오!

모바일 우선 크롤링

점점 더 많은 사람들이 휴대기기를 사용하여 인터넷을 검색하고 있기 때문에 Google은 모바일 우선 인덱싱으로 전환했습니다.

Google은 스마트폰 에이전트를 사용하여 데스크톱 버전보다 먼저 웹사이트의 모바일 버전을 크롤링하고 색인을 생성합니다. 웹사이트가 모바일 반응형인지 확인하는 것은 사이트의 크롤링 가능성과 크롤링 예산 최적화에 필수적 입니다.

검색 엔진은 최근 2023년 5월에 모바일 우선 인덱싱으로의 최종 일괄 전환을 완료했습니다.

Google은 2023년 5월 22일에 또 다른 대량 모바일 우선 인덱싱 배치를 수행합니다. 6년 동안 모바일 브라우저처럼 검색 크롤링으로의 전환을 마무리합니다! https://t.co/9CxsrRFkcE

— 마이클 스트리커(@RadioMS) 2023년 5월 22일

Google은 크롤링 예산을 어떻게 할당합니까?

크롤링 예산은 크롤링 용량 제한과 크롤링 수요라는 두 가지 요소를 기반으로 합니다.

크롤링 용량 제한

검색 엔진은 웹 사이트 서버의 성능과 응답 속도를 모니터링합니다. 서버 성능에 따라 크롤링 용량 제한을 조정합니다.

한도는 주어진 시간에 사용 가능한 크롤링 리소스와 웹사이트 소유자의 기본 설정에 의해서도 영향을 받습니다.

Google Search Console의 크롤링 속도 설정 페이지에서 크롤링 속도 제한을 수동으로 조정할 수 있습니다.

가용성 문제가 있는 경우 크롤링 빈도를 줄일 수 있습니다.

그러나 수동으로 늘리면 Google이 와서 웹 사이트를 더 빨리 크롤링 하지 않습니다 .또한 Google이 크롤링할 페이지에 영향을 줄 수 없습니다.

크롤링 요구

크롤링 수요는 검색 엔진이 더 자주 크롤링할 페이지를 결정하는 데 도움이 됩니다.

사이트 크기, 페이지 업데이트 빈도, 인지된 페이지 가치 등을 고려합니다.

기술적 SEO 문제는 크롤링 수요에도 영향을 미칠 수 있습니다.

크롤링 예산에는 웹 페이지만 포함됩니까?

아니요, 크롤링 예산은페이지에 관한 것이 아닙니다 .

우리는 실제로 검색 엔진이 크롤링하는 모든 문서와 페이지에 존재하는 모든 다양한 요소에 대해 이야기하고 있습니다. 여기에는 JavaScript 및 CSS 파일, 모바일 페이지 변형, 구조화된 데이터, PDF 파일 등이 포함됩니다.

크롤링 제한은 어떻게 작동합니까?

크롤링 제한은 크롤링과 서버 리소스 간의 균형 유지에 관한 것입니다.

웹 사이트를 크롤링할 때 검색 엔진은 서버가 어떻게 응답하는지 모니터링합니다. 서버가 빠르게 응답하면 크롤링 속도가 증가할 수 있습니다.

서버에 부하가 걸리는 징후가 보이면 검색 엔진은 서버 부하를 줄이기 위해 크롤링 속도를 낮출 수 있습니다.

웹사이트 소유자는 사이트의 robots.txt 파일에서 크롤링 지연을 구현할 수도 있습니다. 이것은 크롤러가 웹 사이트에 대한 연속 요청 사이의 특정 기간 동안 일시 중지하도록 지시합니다.

크롤링 요청은 어떻게 작동합니까?

크롤링 수요는 페이지가 GoogleBot에 얼마나 중요한지를 측정한 것입니다.

검색 엔진은 내부 링크 구조, 외부 링크 및 사용자 참여 신호에 주의를 기울여 크롤링 요구가 더 높은 페이지를 결정합니다.

Google 검색 센터에 설명된 방법은 다음과 같습니다.

백링크는 웹 페이지가 신뢰할 수 있고 인기가 있으며 크롤링할 가치가 있다는 신호입니다.

신뢰할 수 있는 출처의 고품질 백링크가 많은 웹사이트에는 더 큰 크롤링 예산이 주어집니다 .

Google은 또한 사용자에게 최신 검색 결과를 제공하기를 원하므로 최신 콘텐츠 크롤링 및 인덱싱을 우선시합니다.

크롤링 예산이 SEO에 중요한 이유는 무엇입니까?

크롤링 예산은 검색 엔진이 웹사이트 페이지를 검색하고 색인을 생성하는 방법에 직접적인 영향을 미칩니다.

그러나 크롤링 예산만으로는 순위 요소가 아니라는 점에 유의해야 합니다.

또한 일반적으로 소규모 사이트에 영향을 미치지 않는 것입니다.

최근 동영상 에서 Google Search Advocate Daniel Waisberg는 다음과 같이 밝혔습니다.

“대형 웹 사이트에서 작업하는 경우 더 적합합니다.페이지가 몇 천 페이지 미만인 사이트가 있다면 걱정할 필요가 없습니다.”

페이지 수가 많은 대형 웹사이트나 전자상거래 상점이 있는 경우에만 크롤링 예산에 대해 걱정하면 됩니다.

크롤링 예산은 다음에 영향을 미치거나 영향을 받을 수 있습니다.

검색 결과의 가시성

크롤링 예산이 제한되어 있으면 Google에서 새 페이지와 콘텐츠를 크롤링하고 순위를 매기는 데 시간이 더 오래 걸릴 수 있습니다. 크롤링 예산 문제로 인해 Google에서 페이지를 찾지 못하면 검색결과에 표시되지 않습니다 .

사이트 구조

중복되거나 가치가 낮은 페이지를 배열하여 크롤링 예산을 낭비하고 있는 경우 Google은 어떤 페이지가 중요한지 파악하기 위해 고군분투할 것입니다. GoogleBot은 사이트에서 타겟 키워드의 순위를 매기는 데 도움이 되지 않는 부분을 크롤링하는 데 시간을 소비합니다.

좋은 사이트 구조는 검색 엔진이 페이지 사이의 관계를 결정하는 데 도움이 되며, 결과적으로 시맨틱 SEO를 구축할 수 있습니다.

주제 권위

중요한 페이지의 크롤링에 우선 순위를 지정하고 고품질 콘텐츠에 집중하면 화제의 권위를 높일 수 있습니다.

관련 검색어에 대해 더 높은 순위를 차지할 가능성이 높아집니다.

키워드 잠식

키워드 식인화는 웹사이트의 두 페이지가 검색 결과에서 동일한 키워드를 놓고 경쟁하는 것입니다.

크롤링 예산 최적화는 이를 방지하는 데 도움이 됩니다.

사이트 구조를 구성하고 중복 콘텐츠를 피하면 Google이 사이트를 더 쉽게 크롤링하고 콘텐츠를 이해하는 동시에 페이지가 고유하고 검색 결과에서 서로 경쟁하지 않도록 할 수 있습니다.

SEO를 위해 크롤링 예산을 어떻게 최적화합니까?

그렇다면 더 나은 SEO 결과를 위해 어떻게 크롤링 예산을 최적화할 수 있습니까?

구현할 수 있는 6가지 전략은 다음과 같습니다.

전략 1: 서버 로그 및 크롤링 통계 보고서 살펴보기

서버 로그 파일을 분석하여 시작하십시오.

이 로그에는 검색 엔진 크롤러가 웹 사이트와 상호 작용하는 방법에 대한 중요한 정보가 포함되어 있습니다. 크롤링되는 페이지, 액세스 빈도 및 크롤링 오류 발생 여부를 알 수 있습니다.

Google Search Console의 크롤링 통계 보고서에서도 유용한 정보를 얻을 수 있습니다.

크롤링 추세 차트, 호스트 상태 세부 정보 및 크롤링 요청 분석을 볼 수 있습니다.

전략 2: 크롤링 예산 늘리기

검색 엔진에서 할당한 크롤링 예산을 직접 제어할 수는 없지만 여전히 영향을 미칠 수 있습니다.

핵심은 웹 사이트의 전반적인 품질과 관련성을 향상시키는 것입니다.

다음은 Mobilo CEO인 Peter Nikolow의 분석입니다.

"크롤링 예산" 및 귀하의 사이트:

– 크롤링 예산 – 크롤링 수요 대 용량 대 필요성

수요 증가 – 멋진 사이트 만들기
용량 증가 – 빠른 사이트 만들기
필요성 감소 - URL이 적을수록 좋습니다#WMCZRH

— 피터 니콜라우(@PeterNikolow) 2019년 12월 11일

이 조언을 실천하는 방법은 다음과 같습니다.

최신 고품질 콘텐츠를 정기적으로 게시

최신 콘텐츠로 웹사이트를 업데이트하면 사이트가 활성 상태임을 검색 엔진에 보여줍니다.

귀하의 콘텐츠가 가치 있는 정보를 제공한다는 사실을 검색 엔진에 알리고 잠재적으로 귀하의 웹사이트 크롤링 예산을 증가시킵니다.

페이지 로드 시간 개선

느리게 로드되는 페이지는 크롤링 및 인덱싱 프로세스를 방해할 수 있습니다.

Google에서 설명하는 방법은 다음과 같습니다.

페이지가 빠르게 로드되면 Google에서 사이트를 더 많이 탐색하고 더 많은 페이지의 색인을 생성할 수 있습니다.

이미지를 압축하고 캐싱 기술을 사용하여 사이트 속도를 향상시키십시오.

모바일 친화성 보장

Google은 인덱싱 및 순위 지정을 위해 사이트의 모바일 버전을 사용합니다.

따라서 모바일 친화적인 웹사이트를 갖추는 것이 중요합니다.

다음은 Google 검색 센터 블로그의 몇 가지 도움말입니다.

전략 3: 웹사이트 유지 관리: 오류 줄이기

끊어진 링크, 404 페이지 및 서버 오류는 검색 엔진 크롤러의 속도를 늦추고 크롤링 예산을 갉아먹을 수 있습니다.

여기에는 어디로도 연결되지 않는 끊어진 링크, 찾을 수 없는 페이지 또는 중단을 유발하는 서버 문제가 포함될 수 있습니다.

정기적인 웹 사이트 감사를 수행하여 제대로 크롤링되지 않거나 오류를 일으키는 페이지를 식별합니다.

전략 4: 크롤러가 사이트 일부에 액세스하지 못하도록 차단

경우에 따라 검색 엔진이 크롤링하거나 색인을 생성하는 데 실제로 관련이 없는 웹 사이트 부분이 있을 수 있습니다.

관리 페이지와 중복 콘텐츠를 생각하십시오.

"robots.txt" 파일을 사용하여 검색 엔진 크롤러에게 이러한 섹션을 피하도록 지시할 수 있습니다.

이렇게 하면 GoogleBot이 웹사이트의 중요한 페이지를 탐색하고 색인을 생성하는 데 집중할 수 있습니다.

전략 5: 리디렉션 체인 줄이기

리디렉션 체인은 크롤링 예산을 소진할 수 있습니다.

GoogleBot은 최종적으로 도착 URL에 도달하기 전에 연속으로 여러 리디렉션을 탐색해야 합니다.

이러한 모든 불필요한 리디렉션은 추가 가치를 제공하지 않고 크롤링 예산을 차지합니다.

기술적 SEO 팁: 리디렉션을 추가할 때마다 웹사이트 속도가 느려집니다.

리디렉션을 너무 많이 추가하면 사이트의 Time To First Byte에 부정적인 영향을 미칠 수 있습니다. pic.twitter.com/hzW8ehgRMg

— 크리스 롱(@gofishchris) 2023년 6월 1일

리디렉션 체인을 최소화하면 검색 엔진이 대상 페이지에 더 빨리 도달할 수 있습니다. 크롤러와 사용자 모두에게 A 지점에서 B 지점으로의 이동이 더 쉬워집니다.

전략 6: 더 많은 내부 및 외부 링크 확보

신뢰할 수 있는 웹사이트에서 더 많은 백링크를 얻으면 사이트의 가시성과 권위를 높일 수 있습니다.

검색 엔진이 귀하를 신뢰할 수 있는 출처로 인식함에 따라 귀하의 웹사이트에 더 많은 크롤링 예산을 할당할 가능성이 높아집니다.

내부 연결도 중요합니다.

크롤링 예산의 가장 큰 낭비 중 하나는 고아 페이지입니다.

내부 링크나 외부 링크가 없는 웹 페이지입니다.

Botify의 최근 연구에 따르면 연결되지 않은 페이지는 Google 크롤링 예산의 26%를 소비합니다.

출처: 보티파이

상황에 맞는 내부 링크는 GoogleBot이 웹사이트의 모든 페이지를 찾고 색인을 생성하는 데 도움이 됩니다.

색인을 생성하려는 모든 페이지에 해당 페이지를 가리키는 내부 링크가 하나 이상 있는지 확인하여 크롤링 예산을 보다 효율적으로 사용할 수 있습니다.

사이트 크롤링 예산 최대한 활용

크롤링 예산 최적화는 성공적인 SEO 전략의 중요한 부분입니다.

GoogleBot을 최대한 쉽게 만드는 것입니다. 크롤링 예산의 작동 방식과 최적화 방법을 이해하면 Google이 가능한 한 자주 페이지를 크롤링하고 색인을 생성하도록 할 수 있습니다.

이렇게 하면 검색 결과에서 가시성이 향상되고 더 많은 유기적 트래픽을 유치하는 데도움이 됩니다.

훌륭한 콘텐츠가 포함된 고품질 웹페이지를 제작하는 데 시간, 노력 및 비용을 투자합니다. 검색 엔진에서 페이지를 크롤링하고 볼 수 있도록 하여 작업을 낭비하지 않도록 합니다.

마지막으로, 사용자 에이전트 토큰과 사용 사례를 포함하여 모든 Google 크롤러 및 가져오기 도구 를 완전히 분석한 후입니까? 아래의 편리한 인포그래픽을 확인하세요!