크롤링 예산 분석은 모든 SEO 전문가의 직무 중 하나입니다(특히 대형 웹사이트를 다루는 경우). 중요한 작업은 Google에서 제공하는 자료에서 적절하게 다룹니다. 그러나 Twitter에서 볼 수 있듯이 Google 직원조차도 더 나은 트래픽과 순위를 얻는 데 크롤링 예산의 역할을 경시합니다.

그들은 이것에 대해 옳습니까?

Google은 어떻게 작동하고 데이터를 수집합니까?

주제를 설명하면서 검색 엔진이 정보를 수집, 색인화 및 구성하는 방법을 생각해 보겠습니다. 웹 사이트에서 나중에 작업하는 동안 다음 세 단계를 마음에 새기는 것이 중요합니다.

1단계: 크롤링 . 모든 기존 링크, 파일 및 데이터를 검색하고 탐색할 목적으로 온라인 리소스를 검색합니다. 일반적으로 Google은 웹에서 가장 인기 있는 장소부터 시작하여 덜 인기 있는 다른 리소스를 검색합니다.

2단계: 인덱싱 . Google은 페이지의 내용과 분석 중인 콘텐츠/문서가 고유한 자료인지 중복 자료인지 확인하려고 합니다. 이 단계에서 Google은 콘텐츠를 그룹화하고 중요도 순서를 설정합니다( rel=”canonical” 또는 rel=”alternate” 태그 등의 제안 사항을 읽음).

3단계: 서빙 . 일단 세그먼트화되고 인덱싱되면 사용자 쿼리에 대한 응답으로 데이터가 표시됩니다. Google이 사용자의 위치와 같은 요소를 고려하여 적절하게 데이터를 정렬하는 경우이기도 합니다.

중요: 사용 가능한 많은 자료에서 4단계: 콘텐츠 렌더링 을 간과합니다. 기본적으로 Googlebot은 텍스트 콘텐츠의 색인을 생성합니다. 그러나 웹 기술이 계속 발전함에 따라 Google은 단순히 '읽기'를 중단하고 '보기'를 시작할 수 있는 새로운 솔루션을 고안해야 했습니다. 이것이 바로 렌더링의 전부입니다. 이는 Google이 새로 출시된 웹 사이트 간의 도달 범위를 크게 개선하고 색인을 확장하는 데 도움이 됩니다.

참고 : 콘텐츠 렌더링 문제는 크롤링 예산 실패의 원인일 수 있습니다.

크롤링 예산은 얼마입니까?

크롤링 예산은 크롤러와 검색 엔진 봇이 웹사이트를 색인화할 수 있는 빈도와 단일 크롤링에서 액세스할 수 있는 총 URL 수에 불과합니다. 크롤링 예산을 서비스나 앱에서 사용할 수 있는 크레딧으로 상상해 보세요. 크롤링 예산을 "청구"하는 것을 기억하지 않으면 로봇이 속도를 줄이고 방문 횟수를 줄입니다.

SEO에서 "충전"은 백링크를 획득하거나 웹사이트의 전반적인 인기도를 높이는 작업을 나타냅니다. 결과적으로 크롤링 예산은 웹 생태계 전체의 필수적인 부분입니다. 콘텐츠 및 백링크에 대한 작업을 제대로 수행하면 사용 가능한 크롤링 예산의 한도가 높아집니다.

리소스에서 Google은 크롤링 예산을 명시적으로 정의하는 모험을 하지 않습니다. 대신 Googlebot의 철저함과 방문 빈도에 영향을 미치는 크롤링의 두 가지 기본 구성요소를 가리킵니다.

• 크롤링 속도 제한;
• 크롤링 수요.

크롤링 속도 제한은 무엇이며 어떻게 확인합니까?

가장 간단한 용어로 크롤링 속도 제한은 사이트를 크롤링할 때 Googlebot이 설정할 수 있는 동시 연결 수입니다. Google은 사용자 경험을 해치고 싶지 않기 때문에 웹사이트/서버의 원활한 성능을 유지하기 위해 연결 수를 제한합니다. 간단히 말해서 웹 사이트가 느릴수록 크롤링 속도 제한이 작아집니다.

중요: 크롤링 제한은 웹사이트의 전반적인 SEO 상태에 따라 달라집니다. 사이트에서 리디렉션이 많이 발생하거나 404/410 오류가 발생하거나 서버에서 500 상태 코드를 자주 반환하는 경우 연결 수도 감소합니다.

크롤링 통계 보고서 의 Google Search Console에서 제공되는 정보를 사용하여 크롤링 속도 제한 데이터를 분석할 수 있습니다.

크롤링 수요 또는 웹사이트 인기도

크롤링 속도 제한은 웹사이트의 기술적 세부사항을 다듬어야 하지만 크롤링 수요는 웹사이트의 인기에 대한 보상입니다. 대략적으로 말하면 웹사이트(및 웹사이트) 주변의 버즈가 클수록 크롤링 수요가 커집니다.

이 경우 Google은 두 가지 문제를 검토합니다.

1. 전반적인 인기도 – Google은 인터넷에서 일반적으로 인기 있는 URL(가장 많은 수의 URL에서 백링크가 있는 URL일 필요는 없음)을 자주 크롤링하는 데 더 열심입니다.
2. 색인 데이터의 신선도 – Google은 최신 정보만을 제공하기 위해 노력합니다. 중요: 더 많은 새 콘텐츠를 만든다고 해서 전체 크롤링 예산 한도가 올라가는 것은 아닙니다.

크롤링 예산에 영향을 미치는 요소

이전 섹션에서 크롤링 예산을 크롤링 속도 제한과 크롤링 수요의 조합으로 정의했습니다. 웹사이트의 적절한 크롤링(및 색인 생성)을 보장하려면 두 가지를 동시에 처리해야 합니다.

아래에서 크롤링 예산 최적화 시 고려해야 할 사항에 대한 간단한 목록을 찾을 수 있습니다.

• 서버 – 주요 문제는 성능입니다. 속도가 낮을수록 Google이 새 콘텐츠 색인 생성에 더 적은 리소스를 할당할 위험이 높아집니다.
• 서버 응답 코드 – 웹사이트의 301 리디렉션 및 404/410 오류 수가 많을수록 더 나쁜 인덱싱 결과를 얻게 됩니다. 중요: 리디렉션 루프에 주의하십시오. 모든 "홉"은 봇의 다음 방문에 대한 웹사이트의 크롤링 속도 제한을 줄입니다.
• robots.txt의 차단 – 직감에 기반한 robots.txt 지시문을 사용하는 경우 인덱싱 병목 현상이 발생할 수 있습니다. 결과: 색인을 정리하게 되지만 새 페이지에 대한 색인 효율성이 저하됩니다(차단된 URL이 전체 웹사이트의 구조에 단단히 포함된 경우).
• 패싯 탐색/세션 식별자/URL의 모든 매개변수 – 가장 중요한 것은, 하나의 매개변수가 있는 주소가 제한 없이 추가 매개변수화될 수 있는 상황에 주의해야 합니다. 그런 일이 발생하면 Google은 무한한 수의 주소에 도달하여 사용 가능한 모든 리소스를 웹 사이트의 덜 중요한 부분에 사용합니다.
• 중복 콘텐츠 - 복사된 콘텐츠(자기잠식 제외)는 새 콘텐츠 인덱싱의 효율성을 크게 떨어뜨립니다.
• 얇은 콘텐츠 - 페이지에 HTML 대비 텍스트 비율이 매우 낮을 때 발생합니다. 결과적으로 Google은 페이지를 소위 Soft 404로 식별하고 해당 콘텐츠의 색인 생성을 제한할 수 있습니다(콘텐츠가 의미가 있는 경우에도, 예를 들어 단일 제품을 표시하고 고유하지 않은 텍스트 내용).
• 내부 연결이 불량하거나 부족 합니다.

크롤링 예산 분석에 유용한 도구

크롤링 예산에 대한 벤치마크가 없으므로(즉, 웹사이트 간에 한도를 비교하기가 어렵습니다.) 데이터 수집 및 분석을 용이하게 하도록 설계된 도구 세트를 준비하십시오.

구글 서치 콘솔

GSC는 수년에 걸쳐 멋지게 성장했습니다. 크롤링 예산 분석 중에는 색인 범위와 크롤링 통계라는 두 가지 주요 보고서를 살펴봐야 합니다.

GSC의 인덱스 범위

보고서는 방대한 데이터 소스입니다. 인덱싱에서 제외된 URL에 대한 정보를 확인해보자. 직면한 문제의 규모를 이해하는 좋은 방법입니다.

전체 보고서에는 별도의 기사가 필요하므로 지금은 다음 정보에 집중하겠습니다.

• 'noindex' 태그에 의해 제외됨 – 일반적으로 noindex 페이지가 많을수록 트래픽이 줄어듭니다. 어떤 질문을 던지고 있습니다. 웹사이트에 그것들을 유지하는 요점은 무엇입니까? 이 페이지에 대한 액세스를 제한하는 방법은 무엇입니까?
• 크롤링됨(현재 색인이 생성되지 않음 )이 표시되면 콘텐츠가 Googlebot의 눈에 올바르게 렌더링되는지 확인합니다. 해당 상태의 모든 URL은 유기적 트래픽을 생성하지 않기 때문에 크롤링 예산을 낭비합니다.
• 현재 인덱싱되지 않은 문제가 발견 되었습니다. 우선 순위 목록의 맨 위에 놓을 만한 더 놀라운 문제 중 하나입니다.
• 사용자가 선택한 표준 없이 복제 – 모든 중복 페이지는 크롤링 예산을 손상시킬 뿐만 아니라 잠식의 위험을 증가시키기 때문에 매우 위험합니다.
• 중복, Google은 사용자와 다른 표준을 선택했습니다 . 이론적으로는 걱정할 필요가 없습니다. 결국 Google은 우리를 대신하여 건전한 결정을 내릴 만큼 충분히 똑똑해야 합니다. 실제로 Google은 표준을 무작위로 선택합니다. 종종 홈페이지를 가리키는 표준 으로 귀중한 페이지를 잘라냅니다.
• Soft 404 – 모든 "소프트" 오류는 색인에서 중요한 페이지를 제거할 수 있으므로 매우 위험합니다.
• 중복되어 제출된 URL이 표준으로 선택되지 않았습니다 . 사용자가 선택한 표준이 없다는 상태 보고와 유사합니다.

크롤링 통계

보고서는 완벽하지 않으며 권장 사항에 따라 데이터(및 더 많은 모델링 옵션)에 대한 더 깊은 통찰력을 제공하는 오래된 서버 로그도 사용하는 것이 좋습니다.

이미 말했듯이 위의 수치에 대한 벤치마크를 찾는 데 어려움을 겪을 것입니다. 그러나 다음을 자세히 살펴보는 것이 좋습니다.

• 평균 다운로드 시간. 아래 스크린샷은 평균 응답 시간이 서버 관련 문제로 인해 극적인 타격을 입었음을 보여줍니다.

• 크롤링 응답. 보고서를 보고 일반적으로 웹사이트에 문제가 있는지 여부를 확인하십시오. 아래 304와 같은 비정형적인 서버 상태 코드에 세심한 주의를 기울이십시오. 이러한 URL은 기능적 목적이 없지만 Google은 콘텐츠를 크롤링하는 데 리소스를 낭비합니다.

• 크롤링 목적. 일반적으로 이러한 데이터는 웹사이트의 새로운 콘텐츠 양에 크게 좌우됩니다. Google과 사용자가 수집한 정보의 차이점은 매우 매력적일 수 있습니다.

Google이 확인하는 재크롤링된 URL의 콘텐츠:

한편, 사용자가 브라우저에서 보는 것은 다음과 같습니다.

확실히 생각과 분석의 원인 :)

• Googlebot 유형 . 여기에 귀하의 웹사이트를 방문하는 봇이 귀하의 콘텐츠를 구문 분석하는 동기와 함께 은색 플래터에 있습니다. 아래 스크린샷은 요청의 22%가 페이지 리소스 로드를 참조함을 보여줍니다.

기간의 마지막 날에 팽창된 총계:

세부정보를 살펴보면 더 세심한 주의가 필요한 URL을 알 수 있습니다.

외부 크롤러(Screaming Frog SEO Spider의 예 포함)

크롤러는 웹사이트의 크롤링 예산을 분석하는 가장 중요한 도구 중 하나입니다. 그들의 주요 목적은 웹사이트에서 크롤링 봇의 움직임을 모방하는 것입니다. 시뮬레이션은 모든 것이 순조롭게 진행되고 있는지 한 눈에 보여줍니다.

시각적 학습자라면 시중에 나와 있는 대부분의 솔루션이 데이터 시각화를 제공한다는 사실을 알아야 합니다.

위의 예에서 빨간색 점은 색인이 생성되지 않은 페이지를 나타냅니다. 잠시 시간을 내어 사이트 운영에 대한 유용성과 영향을 고려하십시오. 서버 로그에서 이러한 페이지가 아무런 가치를 추가하지 않으면서 Google의 많은 시간을 낭비하는 것으로 밝혀지면 웹사이트에 이러한 페이지를 유지해야 한다는 점을 진지하게 다시 생각해 볼 때입니다.

중요 : Googlebot의 동작을 최대한 정확하게 재현하려면 올바른 설정이 필수입니다. 여기에서 내 컴퓨터의 샘플 설정을 볼 수 있습니다.

심층 분석을 수행할 때 차이점(있는 경우)을 비교하기 위해 두 가지 모드(텍스트 전용 및 JavaScript)를 테스트하는 것이 좋습니다.

마지막으로, 두 개의 서로 다른 사용자 에이전트에서 위에 제시된 설정을 테스트하는 것은 결코 나쁠 것이 없습니다.

대부분의 경우 모바일 에이전트가 크롤링/렌더링한 결과에만 집중하면 됩니다.

중요: Screaming Frog가 제공하는 기회를 사용하고 크롤러에 GA 및 Google Search Console의 데이터를 제공하는 것이 좋습니다. 통합은 트래픽을 수신하지 않는 잠재적 중복 URL의 상당 부분과 같은 크롤링 예산 낭비를 식별하는 빠른 방법입니다.

로그 분석 도구(Screaming Frog 로그 파일 등)

서버 로그 분석기의 선택은 개인 취향의 문제입니다. 나의 이동 도구는 Screaming Frog 로그 파일 분석기입니다. 가장 효율적인 솔루션은 아닐 수 있지만(거대한 로그 패키지 로드 = 애플리케이션 중단) 인터페이스가 마음에 듭니다. 중요한 부분은 시스템에서 확인된 Googlebot만 표시하도록 명령하는 것입니다.

가시성 추적 도구

도움이 됩니다. 상위 페이지를 식별할 수 있기 때문입니다. 페이지가 Google의 많은 키워드에 대해 높은 순위에 있는 경우(= 많은 트래픽을 수신함) 잠재적으로 더 큰 크롤링 수요가 있을 수 있습니다(로그에서 확인 - Google이 이 특정 페이지에 대해 실제로 더 많은 조회수를 생성합니까?).

우리의 목적을 위해 향후 지속적인 검토를 위해 Senuto의 일반 보고서(경로 및 URL)가 필요합니다. 두 보고서 모두 가시성 분석의 섹션 탭에서 사용할 수 있습니다. 살펴보세요:

우리의 주요 관심 사항은 두 번째 보고서입니다. 키워드 가시성(우리 웹사이트가 TOP 10에 드는 키워드의 목록 및 총 수)을 살펴보기 위해 정렬해 보겠습니다. 결과는 크롤링 예산의 자극(및 효율적인 할당)을 위한 주요 축을 식별하는 데 도움이 됩니다.

백링크 분석을 위한 도구(Ahrefs, Majestic)

페이지 중 하나에 많은 양의 인바운드 링크가 있는 경우 크롤링 예산 최적화 전략의 기둥으로 사용하십시오. 인기 페이지는 주스를 더 많이 전달하는 허브 역할을 할 수 있습니다. 또한 가치 있는 링크 풀이 있는 인기 있는 페이지는 빈번한 크롤링을 유치할 가능성이 더 높습니다.

Ahrefs에서는 페이지 보고서가 필요하며 정확하게는 "Best by links"라는 제목의 해당 부분이 필요합니다.

위의 예는 일부 콘서트 관련 LP가 백링크에 대한 견고한 통계를 계속 생성했음을 보여줍니다. 팬데믹으로 인해 모든 콘서트가 취소된 경우에도 역사적으로 강력한 페이지를 사용하여 크롤링 봇의 호기심을 불러일으키고 웹사이트의 더 깊은 구석에 주스를 퍼뜨리는 것은 여전히 ​​가치가 있습니다.

크롤링 예산 문제의 징후는 무엇입니까?

문제가 있는(과도하게 낮은) 크롤링 예산을 처리하고 있다는 사실을 깨닫기는 쉽지 않습니다. 왜요? 기본적으로 SEO는 매우 복잡한 기업이기 때문입니다. 낮은 순위 또는 인덱싱 문제는 평범한 링크 프로필이나 웹사이트에 올바른 콘텐츠가 부족한 결과일 수도 있습니다.

일반적으로 크롤링 예산 진단에는 다음을 확인하는 작업이 포함됩니다.

• Google Search Console을 통해 인덱싱을 요청하지 않는다고 가정할 때 게시에서 새 페이지(블로그 게시물/제품)의 인덱싱까지 얼마나 많은 시간이 소요됩니까?
• Google은 색인에 유효하지 않은 URL을 얼마나 오래 보관합니까? 중요: 리디렉션된 주소는 예외입니다. Google은 의도적으로 주소를 저장합니다.
• 인덱스에만 포함되어 나중에 삭제되는 페이지가 있습니까?
• Google은 가치(트래픽)를 생성하지 못하는 페이지에 얼마나 많은 시간을 할애합니까? 로그 분석으로 이동하여 알아보세요.

크롤링 예산을 분석하고 최적화하는 방법은 무엇입니까?

크롤링 예산 최적화에 뛰어드는 결정은 주로 웹사이트의 크기에 따라 결정됩니다. Google은 일반적으로 1000페이지 미만의 웹사이트에서 사용 가능한 크롤링 제한을 최대한 활용하는 데 어려움을 겪지 않아야 한다고 제안합니다. 내 책에서 웹사이트에 300페이지가 넘는 페이지가 있고 콘텐츠가 동적으로 변경되는 경우(예: 새 페이지/블로그 게시물을 계속 추가하는 경우) 더 효율적이고 효과적인 크롤링을 위해 싸워야 합니다 .

왜요? 그것은 SEO 위생의 문제입니다. 초기에 좋은 최적화 습관과 건전한 크롤링 예산 관리를 구현하면 나중에 수정하고 재설계할 일이 줄어듭니다.

크롤링 예산 최적화. 표준 절차

일반적으로 Craw 예산 분석 및 최적화 작업은 세 단계로 구성됩니다.

1. 웹마스터와 외부 도구에서 웹사이트에 대해 알고 있는 모든 것을 컴파일하는 프로세스인 데이터 수집.
2. 가시성 분석 및 낮은 매달린 과일 식별. 시계처럼 작동하는 것은 무엇입니까? 무엇이 더 좋을 수 있습니까? 성장 잠재력이 가장 높은 분야는?
3. 크롤링 예산에 대한 권장 사항입니다.

크롤링 예산 감사를 위한 데이터 수집

1. 시중에서 구할 수 있는 도구 중 하나로 전체 웹사이트 크롤링을 수행합니다. 목표는 최소 두 번의 크롤링을 완료하는 것입니다. 첫 번째 크롤링은 Googlebot을 시뮬레이션하고 다른 하나는 웹사이트를 기본 사용자 에이전트로 가져옵니다(브라우저의 사용자 에이전트가 수행함). 이 단계에서는 콘텐츠의 100% 다운로드에만 관심이 있습니다 . 크롤러가 루프에 빠진 것을 발견하면(크롤링한 지 하루가 지났지만 여전히 하드 드라이브에 웹사이트의 10%만 남아 있는 경우) 문제가 있음을 알리고 크롤링을 중지할 수 있습니다. 대규모 웹사이트의 경우 분석을 위한 적절한 URL 수는 약 250-300,000페이지입니다.

a) 우리가 찾고 있는 것은 주로 내부 301 리디렉션, 404 오류 및 텍스트가 얇은 콘텐츠로 분류될 수 있는 상황입니다. Screaming Frog에는 거의 중복 콘텐츠를 감지하는 옵션이 있습니다.

2. 서버 로그 . 이상적인 시간 프레임은 지난 달에 걸쳐야 하지만 대규모 웹사이트의 경우 마지막 2주가 충분할 수 있습니다. 최상의 시나리오에서는 모든 것이 순조롭게 진행되던 당시 Googlebot의 움직임을 비교하기 위해 과거 서버 로그에 액세스할 수 있어야 합니다.

3. Google Search Console에서 데이터 내보내기 . 위의 1번과 2번 항목과 함께 인덱스 범위 및 크롤링 통계 데이터는 웹사이트에서 일어나는 모든 일에 대한 포괄적인 설명을 제공해야 합니다.

4. 유기적 트래픽 데이터 . Google Search Console, Google Analytics, Senuto 및 Ahrefs에 의해 결정된 상위 페이지입니다. 우리는 높은 가시성 통계, 트래픽 양 또는 백링크 수로 군중들 사이에서 눈에 띄는 모든 페이지를 식별하고자 합니다. 이 페이지는 크롤링 예산 작업의 근간이 되어야 합니다 . 가장 중요한 페이지의 크롤링을 개선하는 데 사용할 것입니다.

5. 수동 색인 검토 . 어떤 경우에는 SEO 전문가의 가장 친한 친구가 간단한 솔루션입니다. 이 경우: 인덱스에서 직접 가져온 데이터의 검토! inurl: + site: 연산자의 조합으로 웹사이트를 확인하는 것이 좋습니다.마지막으로 수집된 모든 데이터를 병합해야 합니다. 일반적으로 외부 데이터 가져오기(GSC 데이터, 서버 로그 및 유기적 트래픽 데이터)를 허용하는 기능이 있는 외부 크롤러를 사용합니다.

가시성 분석 및 낮은 매달린 과일

이 과정은 별도의 기사가 필요하지만 오늘 우리의 목표는 웹사이트에 대한 우리의 목표와 진행 상황을 조감도로 보는 것입니다. 갑작스러운 트래픽 감소(계절적 추세로는 설명할 수 없음)와 유기적 가시성의 동시 변화 등 비정상적인 모든 것에 관심이 있습니다. 어떤 페이지 그룹이 가장 강력한지 확인하고 있습니다. Googlebot을 웹사이트에 더 깊이 밀어넣는 허브가 될 것이기 때문입니다.

완벽한 세상에서 이러한 수표는 웹 사이트 출시 이후의 전체 기록을 포함해야 합니다. 하지만 매달 데이터의 양이 계속 늘어남에 따라 지난 12개월 동안의 가시성과 유기적 트래픽을 분석하는 데 집중합시다.

크롤링 예산 – 권장 사항

위에 나열된 활동은 최적화된 웹사이트의 크기에 따라 다릅니다. 그러나 크롤링 예산 분석을 수행할 때 항상 고려하는 가장 중요한 요소입니다. 최우선 목표는 웹사이트의 병목 현상을 제거하는 것입니다. 즉, Googlebot(또는 기타 색인 생성 에이전트)에 대한 최대 크롤링 가능성을 보장합니다.

1. 기본부터 시작하겠습니다. 모든 종류의 404/410 오류 제거, 내부 리디렉션 분석 및 내부 링크에서 제거 . 최종 크롤링으로 작업을 마무리해야 합니다. 이번에는 모든 링크가 내부 리디렉션이나 404 오류 없이 200 응답 코드를 반환해야 합니다.

• 이 단계에서 백링크 보고서에서 감지된 모든 리디렉션 체인을 수정하는 것이 좋습니다.

2. 크롤링 후 웹사이트 구조에 중복이 없는지 확인하십시오 .

• 잠재적인 잠식도 확인하십시오. 여러 페이지에서 동일한 키워드를 타겟팅할 때 발생하는 문제(간단히 말하면 Google에서 표시할 페이지 제어를 중지함)를 제외하고, 잠식은 전체 크롤링 예산에 부정적인 영향을 미칩니다.
• 식별된 중복을 단일 URL(일반적으로 순위가 더 높은 URL)로 통합합니다.

3. noindex 태그가 있는 URL의 수를 확인합니다 . 알다시피 Google은 여전히 ​​해당 페이지를 탐색할 수 있습니다. 그들은 단지 검색 결과에 나타나지 않습니다. 우리는 웹사이트 구조에서 noindex 태그의 몫을 최소화하려고 노력하고 있습니다.

• 적절한 사례 - 블로그는 태그로 구조를 구성합니다. 저자는 솔루션이 사용자 편의에 의해 결정된다고 주장합니다. 모든 게시물은 3-5개의 태그로 레이블이 지정되며 일관성이 없고 색인이 생성되지 않습니다. 로그 분석에 따르면 웹사이트에서 세 번째로 많이 크롤링되는 구조입니다.

4. robots.txt를 검토합니다 . robots.txt를 구현한다고 해서 Google이 색인에 주소를 표시하지 않는다는 의미는 아닙니다.

• 차단된 주소 구조 중 어느 것이 여전히 크롤링되는지 확인하십시오. 차단하면 병목 현상이 발생합니까?
• 구식/불필요한 지시문을 제거하십시오.

5. 웹사이트에서 비표준 URL의 양을 분석합니다. Google은 rel="canonical" 을 하드 디렉티브로 간주하지 않습니다. 많은 경우에 속성은 검색 엔진에서 완전히 무시됩니다(인덱스의 정렬 매개변수 – 여전히 악몽입니다).

6. 필터와 필터의 기본 메커니즘을 분석합니다 . 목록 필터링은 크롤링 예산 최적화의 가장 큰 골칫거리입니다. 전자 상거래 비즈니스 소유자는 모든 조합에 적용 가능한 필터 구현을 주장합니다(예: 색상 + 재료 + 크기 + 가용성으로 필터링… 솔루션은 최적이 아니며 최소로 제한되어야 합니다.

7. 웹사이트의 정보 아키텍처 - 비즈니스 목표, 트래픽 가능성 및 현재 링크 프로필을 고려하는 아키텍처입니다. 비즈니스 목표에 중요한 콘텐츠에 대한 링크가 사이트 전체(모든 페이지) 또는 홈페이지에 표시되어야 한다는 가정 하에 작업해 보겠습니다. 여기에서 우리는 물론 단순화하고 있지만 홈페이지와 톱 메뉴 / 사이트 전체 링크는 내부 링크에서 가치를 구축하는 데 가장 강력한 지표입니다. 동시에 우리는 최적의 도메인 확산을 달성하기 위해 노력하고 있습니다. 우리의 목표는 모든 페이지에서 크롤링을 시작할 수 있고 여전히 동일한 페이지 수에 도달할 수 있는 상황입니다(모든 URL에는 최소한 하나의 수신 링크가 있어야 함) .

• 강력한 정보 아키텍처를 위한 작업은 크롤링 예산 최적화의 핵심 요소 중 하나입니다. 이를 통해 한 위치에서 봇의 리소스 중 일부를 해제하고 다른 위치로 리디렉션할 수 있습니다. 또한 비즈니스 이해 관계자의 협력이 필요하기 때문에 가장 큰 문제 중 하나입니다. 이는 종종 SEO 권장 사항을 훼손하는 거대한 전투와 비판으로 이어집니다.

8. 콘텐츠 렌더링. 사용자 행동을 포착하는 추천 시스템을 기반으로 내부 연결을 목표로 하는 웹사이트의 경우 중요합니다. 무엇보다도 이러한 도구의 대부분은 쿠키 파일에 의존합니다. Google은 쿠키를 저장하지 않으므로 맞춤 결과를 얻지 못합니다. 결론: Google은 항상 동일한 콘텐츠를 보거나 전혀 보지 않습니다.

• Googlebot이 중요한 JS/CSS 콘텐츠에 액세스하지 못하도록 하는 것은 일반적인 실수입니다. 이 이동은 페이지 인덱싱에 문제를 일으킬 수 있으며 사용할 수 없는 콘텐츠를 렌더링하는 데 Google의 시간을 낭비할 수 있습니다.

9. 웹사이트 성능 – 핵심 Web Vitals . 나는 CWV가 사이트 순위에 미치는 영향에 대해 회의적이지만(상용 가능한 장치의 다양성과 다양한 인터넷 연결 속도를 포함하여 여러 가지 이유로) 코더와 논의할 가치가 있는 가장 중요한 매개변수 중 하나입니다.

10. Sitemap.xml – 작동하는지 확인하고 모든 핵심 요소를 포함합니다(200 상태 코드를 반환하는 표준 URL만 포함).

• sitemap.xml을 최적화하기 위한 첫 번째 권장 사항은 페이지를 유형 또는 가능한 경우 카테고리별로 나누는 것입니다. 이 부서는 Google의 이동 및 콘텐츠 색인 생성을 완전히 제어할 수 있습니다.