Noindex Nofollow และ Disallow: ค้นหาคำสั่งของโปรแกรมรวบรวมข้อมูล

หากคุณกำลังพยายามลบหน้าออกจากการค้นหาสำหรับไซต์ที่คุณไม่ได้เป็นเจ้าของ คุณสามารถขอให้ Google ลบหน้านั้นออกจากการค้นหาได้หากเป็นไปตามเกณฑ์ต่อไปนี้:

• แสดงข้อมูลส่วนบุคคล เช่น บัตรเครดิตหรือหมายเลขประกันสังคมของคุณ
• หน้านี้เป็นส่วนหนึ่งของโครงการมัลแวร์หรือฟิชชิ่ง
• เพจละเมิดกฎหมาย
• เพจนี้ละเมิดลิขสิทธิ์

หากเพจไม่ตรงตามเกณฑ์ข้อใดข้อหนึ่งข้างต้น คุณสามารถติดต่อบริษัท SEO หรือบริษัทประชาสัมพันธ์เพื่อขอความช่วยเหลือเกี่ยวกับการจัดการชื่อเสียงทางออนไลน์

คุณควร noindex หน้าหมวดหมู่หรือไม่?

โดยปกติแล้ว ไม่แนะนำให้ทำดัชนีหน้าหมวดหมู่ เว้นแต่คุณจะเป็นองค์กรระดับองค์กรที่ปั่นหน้าหมวดหมู่โดยทางโปรแกรมโดยอิงจากการค้นหาหรือแท็กที่ผู้ใช้สร้างขึ้น และเนื้อหาที่ซ้ำกันเริ่มเทอะทะ

ส่วนใหญ่หากคุณแท็กเนื้อหาของคุณอย่างชาญฉลาด ในลักษณะที่ช่วยให้ผู้ใช้สำรวจไซต์ของคุณได้ดีขึ้นและค้นหาสิ่งที่ต้องการ คุณก็ไม่เป็นไร

อันที่จริง หน้าหมวดหมู่สามารถเป็นขุมทองสำหรับ SEO ได้ เนื่องจากโดยทั่วไปแล้วจะแสดงเนื้อหาเชิงลึกภายใต้หัวข้อหมวดหมู่

ดูการวิเคราะห์นี้ที่เราทำในเดือนธันวาคม 2018 เพื่อหามูลค่าของหน้าหมวดหมู่สำหรับสิ่งพิมพ์ออนไลน์จำนวนหนึ่ง

เราพบว่าหน้า Landing Page ของหมวดหมู่นั้นได้รับการจัดอันดับสำหรับคำหลักหลายร้อยหน้า 1 และนำผู้เยี่ยมชมทั่วไปหลายพันคนเข้ามาในแต่ละเดือน

หน้าหมวดหมู่ที่มีค่าที่สุดสำหรับแต่ละไซต์มักจะดึงดูดผู้เข้าชมทั่วไปหลายพันคนในแต่ละหน้า

ลองดูที่ EW.com ด้านล่าง เราวัดปริมาณการเข้าชมแต่ละหน้า (แสดงด้วยขนาดของวงกลม) และมูลค่าของการเข้าชมแต่ละหน้า (แสดงด้วยสีของวงกลม)

ตอนนี้ลองนึกภาพแผนภูมิเดียวกัน แต่สำหรับไซต์ตามผลิตภัณฑ์ที่ผู้เยี่ยมชมมีแนวโน้มที่จะทำการซื้อ

อย่างไรก็ตาม หากหมวดหมู่ของคุณคล้ายกันมากพอที่จะทำให้ผู้ใช้สับสนหรือแข่งขันกันในการค้นหา คุณอาจต้องทำการเปลี่ยนแปลง:

• หากคุณตั้งค่าหมวดหมู่ด้วยตนเอง เราขอแนะนำให้ย้ายเนื้อหาจากหมวดหมู่หนึ่งไปยังอีกหมวดหมู่หนึ่ง และลดจำนวนหมวดหมู่ทั้งหมดที่คุณมีอยู่โดยรวม
• หากคุณอนุญาตให้ผู้ใช้แยกหมวดหมู่ คุณอาจต้องการไม่จัดทำดัชนีหน้าหมวดหมู่ที่ผู้ใช้สร้างขึ้น อย่างน้อยก็จนกว่าหมวดหมู่ใหม่จะผ่านกระบวนการตรวจสอบ

ฉันจะหยุด Google จากการจัดทำดัชนีโดเมนย่อยได้อย่างไร

มีตัวเลือกบางอย่างที่จะหยุดไม่ให้ Google จัดทำดัชนีโดเมนย่อย:

• คุณสามารถเพิ่มรหัสผ่านโดยใช้ไฟล์ .htpasswd
• คุณสามารถไม่อนุญาตโปรแกรมรวบรวมข้อมูลด้วยไฟล์ robots.txt
• คุณสามารถเพิ่มคำสั่ง noindex ให้กับทุกหน้าในโดเมนย่อยได้
• คุณสามารถ 404 หน้าโดเมนย่อยทั้งหมด

การเพิ่มรหัสผ่านเพื่อบล็อกการสร้างดัชนี

หากโดเมนย่อยของคุณมีวัตถุประสงค์เพื่อการพัฒนา การเพิ่มไฟล์ .htpasswd ลงในไดเร็กทอรีรากของโดเมนย่อยของคุณถือเป็นตัวเลือกที่สมบูรณ์แบบ ผนังเข้าสู่ระบบจะป้องกันโปรแกรมรวบรวมข้อมูลสำหรับการจัดทำดัชนีเนื้อหาบนโดเมนย่อย และ จะป้องกันการเข้าถึงของผู้ใช้ที่ไม่ได้รับอนุญาต

ตัวอย่างการใช้งาน:

• Dev.domain.com
• Staging.domain.com
• Testing.domain.com
• QA.domain.com
• UAT.domain.com

การใช้ robots.txt เพื่อบล็อกการจัดทำดัชนี

หากโดเมนย่อยของคุณรองรับวัตถุประสงค์อื่น คุณสามารถเพิ่มไฟล์ robots.txt ลงในไดเร็กทอรีรากของโดเมนย่อยของคุณได้ จากนั้นควรสามารถเข้าถึงได้ดังนี้:

https://subdomain.domain.com/robots.txt

คุณจะต้องเพิ่มไฟล์ robots.txt ในแต่ละโดเมนย่อยที่คุณพยายามบล็อกจากการค้นหา ตัวอย่าง:

https://help.domain.com/robots.txt

https://public.domain.com/robots.txt

ในแต่ละกรณี ไฟล์ robots.txt ควรไม่อนุญาตให้โปรแกรมรวบรวมข้อมูล หากต้องการบล็อกโปรแกรมรวบรวมข้อมูลส่วนใหญ่ด้วยคำสั่งเดียว ให้ใช้รหัสต่อไปนี้:

ตัวแทนผู้ใช้: *

ไม่อนุญาต: /

ดาว * หลัง user-agent: เรียกว่า wildcard ซึ่งจะจับคู่กับลำดับของอักขระใดก็ได้ การใช้สัญลักษณ์แทนจะส่งคำสั่งที่ไม่อนุญาตต่อไปนี้ไปยังตัวแทนผู้ใช้ทั้งหมดโดยไม่คำนึงถึงชื่อของพวกเขา ตั้งแต่ googlebot ถึง yandex

เครื่องหมายแบ็กสแลชบอกโปรแกรมรวบรวมข้อมูลว่าหน้าทั้งหมดนอกโดเมนย่อยรวมอยู่ในคำสั่งไม่อนุญาต

วิธีเลือกบล็อกการจัดทำดัชนีของหน้าโดเมนย่อย

หากคุณต้องการให้บางหน้าจากโดเมนย่อยปรากฏในการค้นหา แต่ไม่ต้องการให้หน้าอื่นๆ ปรากฏขึ้น คุณมีสองตัวเลือก:

• ใช้คำสั่ง noindex ระดับหน้า
• ใช้คำสั่ง disallow ระดับโฟลเดอร์หรือไดเร็กทอรี

คำสั่ง noindex ระดับหน้าจะยุ่งยากกว่าในการปรับใช้ เนื่องจากคำสั่งนั้นจำเป็นต้องเพิ่มใน HTML หรือส่วนหัวของทุกหน้า อย่างไรก็ตาม คำสั่ง noindex จะหยุดไม่ให้ Google จัดทำดัชนีโดเมนย่อย ไม่ว่าโดเมนย่อยนั้นได้รับการจัดทำดัชนีแล้วหรือไม่ก็ตาม

คำสั่ง disallow ระดับไดเร็กทอรีนั้นนำไปใช้ได้ง่ายกว่า แต่จะใช้งานได้ก็ต่อเมื่อหน้าโดเมนย่อยไม่ได้อยู่ในดัชนีการค้นหาแล้วเท่านั้น เพียงอัปเดตไฟล์ robots.txt ของโดเมนย่อยเพื่อไม่อนุญาตให้รวบรวมข้อมูลไดเรกทอรีหรือโฟลเดอร์ย่อยที่เกี่ยวข้อง

ฉันจะรู้ได้อย่างไรว่าเพจของฉันไม่มีการจัดทำดัชนี

การเพิ่มหน้าคำสั่งที่ไม่มีดัชนีบนไซต์ของคุณโดยไม่ตั้งใจอาจส่งผลอย่างมากต่ออันดับการค้นหาและการแสดงผลการค้นหาของคุณ

หากคุณพบว่าหน้าใดไม่เห็นการเข้าชมแบบออร์แกนิกแม้จะมีเนื้อหาและลิงก์ย้อนกลับที่ดี ก่อนอื่นให้ตรวจสอบก่อนว่าคุณไม่ได้ปิดโปรแกรมรวบรวมข้อมูลจากไฟล์ robots.txt ของคุณโดยไม่ตั้งใจ หากยังไม่สามารถแก้ปัญหาได้ คุณจะต้องตรวจสอบแต่ละหน้าเพื่อหาคำสั่ง noindex

ตรวจสอบ NoIndex บนหน้า WordPress

WordPress ทำให้ง่ายต่อการเพิ่มหรือลบแท็กนี้บนหน้าเว็บของคุณ ขั้นตอนแรกในการตรวจสอบ nofollow บนเพจของคุณคือเพียงแค่สลับการตั้งค่า การมองเห็นของเครื่องมือค้นหา ภายในแท็บ "การอ่าน" ของเมนู "การตั้งค่า"

การดำเนินการนี้น่าจะช่วยแก้ปัญหาได้ อย่างไรก็ตาม การตั้งค่านี้ทำงานเป็น 'คำแนะนำ' แทนที่จะเป็นกฎ และเนื้อหาบางส่วนของคุณอาจจบลงด้วยการจัดทำดัชนีอยู่ดี

เพื่อให้แน่ใจว่าไฟล์และเนื้อหาของคุณมีความเป็นส่วนตัวอย่างแท้จริง คุณจะต้องดำเนินการขั้นตอนสุดท้ายหนึ่งขั้นตอน ไม่ว่าจะเป็นรหัสผ่านป้องกันไซต์ของคุณโดยใช้เครื่องมือการจัดการ cPanel หากมี หรือผ่านปลั๊กอินธรรมดา

ในทำนองเดียวกัน การลบแท็กนี้ออกจากเนื้อหาของคุณทำได้โดยการลบการป้องกันด้วยรหัสผ่านและยกเลิกการเลือกการตั้งค่าการเปิดเผย

กำลังตรวจสอบ NoIndex บน Squarespace

หน้า Squarespace สามารถ NoIndexed ได้อย่างง่ายดายโดยใช้ความสามารถในการฉีดโค้ดของแพลตฟอร์ม เช่นเดียวกับ WordPress Squarespace สามารถบล็อกได้อย่างง่ายดายจากการค้นหาตามปกติโดยใช้การป้องกันด้วยรหัสผ่าน อย่างไรก็ตาม แพลตฟอร์มยังแนะนำไม่ให้ทำตามขั้นตอนนี้เพื่อปกป้องความสมบูรณ์ของเนื้อหาของคุณ

การเพิ่มบรรทัดโค้ด NoIndex ในแต่ละหน้าที่คุณต้องการซ่อนจากเครื่องมือค้นหาทางอินเทอร์เน็ตและในแต่ละหน้าย่อยที่อยู่ด้านล่าง คุณสามารถรับประกันความปลอดภัยของเนื้อหาที่ปลอดภัยซึ่งควรถูกกันไม่ให้เข้าถึงโดยสาธารณะ เช่นเดียวกับแพลตฟอร์มอื่นๆ การลบแท็กนี้ก็ค่อนข้างตรงไปตรงมาเช่นกัน เพียงแค่ใช้ฟีเจอร์ Code Injection เพื่อนำโค้ดกลับออกไป สิ่งที่คุณต้องทำก็คือ

Squarespace มีเอกลักษณ์ตรงที่คู่แข่งเสนอตัวเลือกนี้โดยหลักแล้วเป็นส่วนหนึ่งของชุดการตั้งค่าในเครื่องมือการจัดการเพจ Squarespace ออกจากที่นี่ ทำให้สามารถจัดการโค้ดส่วนตัวได้ สิ่งนี้น่าสนใจเพราะคุณสามารถเห็นการเปลี่ยนแปลงที่คุณทำกับเนื้อหาของเพจของคุณ ซึ่งแตกต่างจากสิ่งอื่นๆ ในพื้นที่นี้

ตรวจสอบ NoIndex บน Wix

Wix ยังช่วยให้สามารถแก้ไขปัญหา NoIndexing ได้ง่ายและรวดเร็ว ในการตั้งค่า “เมนูและหน้า” คุณสามารถปิดใช้งานตัวเลือกเพื่อ 'แสดงหน้านี้ในผลการค้นหา' หากคุณต้องการ NoIndex หน้าเดียวภายในไซต์ของคุณ

เช่นเดียวกับคู่แข่ง Wix ยังแนะนำรหัสผ่านสำหรับปกป้องหน้าเว็บหรือทั้งไซต์ของคุณเพื่อความเป็นส่วนตัวเพิ่มเติม อย่างไรก็ตาม Wix แตกต่างจากที่อื่นตรงที่ทีมสนับสนุนไม่ได้กำหนดการดำเนินการคู่ขนานกันทั้งสองด้านเพื่อรักษาความปลอดภัยเนื้อหาจากโปรแกรมรวบรวมข้อมูล Wix ระบุข้อแตกต่างระหว่างการซ่อนหน้าจากเมนูของคุณกับการซ่อนจากเกณฑ์การค้นหา

นี่เป็นคำแนะนำที่เป็นประโยชน์อย่างยิ่งสำหรับผู้สร้างเว็บไซต์ที่มีประสบการณ์น้อย ซึ่งในตอนแรกอาจไม่เข้าใจความแตกต่าง เนื่องจากการนำออกจากเมนูไซต์ของคุณทำให้ไม่สามารถเข้าถึงหน้าเว็บได้จากไซต์ แต่ไม่ใช่จากข้อความค้นหาของ Google ที่รอบคอบ