Optymalizacja pliku Robots.txt jest trudnym zadaniem. Odgrywa ważną rolę w SEO twojego bloga. Na pewno słyszałeś o Robots.txt. Ale czy w pełni wykorzystujesz ten plik? Przegapienie tego czynnika może zaszkodzić rankingom Twojej witryny. Jeśli jest źle skonfigurowany, wyszukiwarki mogą całkowicie zignorować całą witrynę, co może doprowadzić do całkowitego zniknięcia Twojego bloga z wyszukiwania. Dzisiaj w tym artykule wyjaśnię, w jaki sposób możesz edytować i optymalizować plik Robots.txt, aby poprawić SEO. Przełamam ten artykuł, aby był prosty i łatwy do odczytania.
Co to jest plik Robots.txt?
Plik robots.txt nazywany jest również protokołem Robots Exclusions Protocol. Informuje boty wyszukiwarek o tym, jak indeksować witrynę, tzn. Jakie strony mają być indeksowane, a które strony ignorować. Za każdym razem, gdy boty wyszukiwarek przychodzą na Twoją stronę, czytają plik robots.txt i postępują zgodnie z instrukcjami. Jeśli nie skonfigurowałeś go poprawnie, roboty indeksujące i pająki nie mogą indeksować ważnych stron lub indeksować niechcianych stron / folderów. Dlatego bardzo ważne jest zoptymalizowanie pliku Robots.txt. Ten plik jest umieszczony w katalogu domeny głównej (np. Www.twojadomena.com/robots.txt). Na twojej stronie może znajdować się tylko jeden robots.txt, a będzie on w katalogu głównym, jak wspomniano wcześniej. Możesz użyć cPanel lub klienta FTP, aby wyświetlić ten plik. Jest jak każdy zwykły plik tekstowy i możesz go otworzyć za pomocą zwykłego edytora tekstu, takiego jak Notatnik, i odpowiednio go edytować.
Jak utworzyć plik Robots.txt?
WordPress zapewnia automatyczne tworzenie pliku robots.txt. Więc jeśli używasz WordPress, powinieneś już mieć plik robots.txt w katalogu głównym. Jeśli korzystasz z innego systemu CMS lub Twoja witryna nie ma żadnego pliku robot.txt, po prostu utwórz prosty plik notatnika i nadaj mu nazwę robots.txt i prześlij go do folderu głównego witryny za pomocą klienta FTP lub cPanel. Istnieje wiele generatorów plików txt robotów dostępnych online.
Aby sprawdzić w cPanel, Idź do Menedżera plików -> folder public_html. Powinieneś mieć tutaj plik robots.txt.
Zrozumienie zawartości pliku Robots.txt
Zanim przejdziesz bezpośrednio do optymalizacji pliku robots.txt, pozwól nam zrozumieć podstawy pliku robots.txt. Są trzy główne polecenia - User-agent, allow, disallow. Będziemy konfigurować te polecenia, aby uzyskać lepszy SEO. Zobaczmy, co oznaczają te polecenia -
- User-agent - właściwość User-agent określa nazwę botów wyszukiwarek i robotów indeksujących, dla których konfigurujemy i ustawiamy niektóre reguły, aby umożliwić i uniemożliwić indeksowanie. Może to być Googlebot lub Bingbot itp. Jeśli chcesz wspomnieć o wszystkich botach wyszukiwarek, zamiast wymieniać agenta użytkownika dla poszczególnych botów, możesz użyć gwiazdki (*), aby odnieść się do wszystkich botów wyszukiwarki.
- Zezwalaj - zezwalaj na właściwości, jak sugeruje nazwa, instruuje wyszukiwarki, aby indeksowały i indeksowały określone części witryny, które chcesz.
- Disallow - ta właściwość instruuje wyszukiwarki, aby NIE indeksowały i nie indeksowały określonych części witryny.
- Mapa witryny: Polecenie Sitemap informuje boty wyszukiwarki, że jest to mapa witryny. Proszę go też indeksować.
Oto podstawowy przykład pliku Robots.txt.
Agent użytkownika: *
Disallow: / wp-admin /
Dopuszczać: /
Mam nadzieję, że teraz rozumiesz powyższą próbkę. W tym miejscu instruujemy wszystkie boty wyszukiwarek (ponieważ używamy User-agent: * // wiersz 1), aby nie indeksować ani nie indeksować / wp-admin / część witryny (// wiersz 2), a następnie zezwolić na indeksowanie i indeksuj inne części swojej witryny (// wiersz 3).
Więcej przykładów na lepsze zrozumienie:
Pozwól indeksować wszystko
Agent użytkownika: *
Dopuszczać: /
Nie zezwalaj na indeksowanie wszystkiego
Agent użytkownika: *
Disallow: /
Nie zezwalaj żadnemu konkretnemu botowi (powiedzmy Googlebotowi) na indeksowanie określonego folderu (myfolder), ale zezwalając na stronę (mypage) w tym folderze.
User-agent: Googlebot
Disallow: / myfolder /
Zezwól: / mójfolder / mypage
Teraz znasz plik robots.txt. Przejdźmy do tego, jak można edytować i optymalizować plik robots.txt, aby uzyskać maksymalne korzyści. Edycja pliku robots.txt należy do rzeczy, które musisz zrobić po zainstalowaniu WordPressa .
Edycja pliku Robots.txt
Możesz edytować plik robots.txt z cPanel lub klienta FTP. Aby edytować to przez cPanel, wykonaj następujące kroki:
Krok 1: Zaloguj się do swojego konta cPanel
Krok 2: Przejdź do Menedżera plików
Krok 3: Przejdź do folderu public_html swojej witryny
Krok 4: Znajdź plik robots.txt
Krok 5: Kliknij prawym przyciskiem myszy plik i wybierz „Edytuj”, jak pokazano poniżej:
Krok 6: Zostanie wyświetlony komunikat poniżej. Jeśli chcesz, zrób kopię zapasową i kliknij „Edytuj”.
Otworzy plik w trybie edytowalnym. Wprowadź niezbędne zmiany i kliknij Zapisz zmiany.
Jak zoptymalizować plik Robots.txt?
Jak wspomniałem wcześniej, optymalizacja robots.txt jest bardzo trudnym zadaniem, biorąc pod uwagę wszystkie czynniki. Nieoptymalizowany plik robots.txt może zaszkodzić twojemu SEO i może całkowicie usunąć indeksowanie twojego bloga (np. Jeśli użyjesz polecenia „Disallow: /” w pliku Robots.txt, Twoja witryna zostanie usunięta z wyszukiwarek) . Pamiętaj o tym, gdy zaczynasz optymalizować plik robots.txt.
- Staranne dodawanie agentów użytkownika. Bądź bardzo ostrożny, podając konkretne boty (ponieważ możesz przegapić ważne boty) lub gwiazdkę (*) (ponieważ możesz także zignorować niektóre boty.)
- Określ, które części witryny nie chcesz indeksować robotów wyszukiwarek. Niektóre rzeczy mogą być: / wp-admin /, /cgi-bin/,/index.php, / wp-content / plugins /, /readme.html, / trackback /, /xmlrpc.php itd. Itd.
- Podobnie możesz zezwolić na niektóre ważne strony swojej witryny. Dodanie „Zezwól: /” nie jest ważne, ponieważ roboty i tak będą indeksować Twoją witrynę. Ale możesz go użyć dla konkretnego bota lub jeśli chcesz zaindeksować lub podfolder index.any katalogu, którego nie masz. W takich przypadkach polecenie Zezwól jest bardzo pomocne.
- Dobrą praktyką jest również dodawanie map witryn do pliku Robots.txt.
Przeczytaj także: Co to jest plik .htaccess? Jak zabezpieczyć swój blog tym
Poniżej znajduje się plik robots.txt mojego bloga.
To jest tylko przykładowy plik txt dla robotów. Możesz łatwo zobaczyć, które foldery zabroniłem konkretnie. Być może zastanawiasz się nad folderem / go /. Używam / go / do oznaczenia moich ukrytych linków powiązanych. Ponieważ nie chcę, żeby roboty indeksujące indeksowały to, nie zezwalam. Dobrą praktyką jest zawsze dołączanie mapy witryny do pliku robots.txt. Można go umieścić w dowolnym miejscu instrukcji robots.txt. Przeważnie jest umieszczony na górze lub na dole instrukcji.
Twój plik robots.txt może się różnić od mojego, ponieważ możesz mieć inne wymagania i inne prywatne foldery. Niewiele innych rzeczy, które możesz zrobić, to:
- Możesz także podać pewne komentarze, aby pamiętać, dlaczego wydałeś pewne polecenia i konfigurację. Ten komentarz można uznać za definicję kodu. Ten komentarz nie jest brany pod uwagę przez WebCrawler ani boty, ale jeśli go zastosujemy, będzie pomocny. Możesz użyć „#”, aby komentować.
Na przykład: # Zezwalanie botowi xyz na przeszukiwanie folderu xyz.
- Możesz zablokować obszary chronione hasłem, pliki lub intranety, aby wymusić bezpieczeństwo.
- Nie zezwalaj na readme.html, aby zabezpieczyć Twoją stronę przed atakami z zewnątrz. Plik Readme.html może zostać użyty przez kogoś, kto wie, której wersji WordPressa używasz, przeglądając go, dzięki czemu będą mogli włamać się na twoją stronę.
Aby to zrobić, napisz: Disallow: /readme.html
Powinieneś również odrzucić katalog wtyczek WordPress ze względów bezpieczeństwa. Po prostu napisz Disallow: / wp-content / plugins /
- Nie zezwalaj na link replytocom, aby uniknąć wielu problemów z powielaniem postów. Prosty zapis Disallow: *? Replytocom w pliku robots.txt Twojej witryny
- Aby zablokować dostęp do wszystkich adresów URL zawierających znak zapytania (?), Możesz użyć następującego wpisu:
Agent użytkownika: *
Disallow: / *?
- Możesz użyć znaku $, aby określić pasujący koniec adresu URL. Na przykład, aby zablokować adresy URL kończące się na .html, możesz użyć następującego wpisu:
User-agent: Googlebot
Disallow: /*.html$
Inne wskazówki dotyczące optymalizacji pliku robots.txt
- Nie używaj pliku Robots.txt do ukrywania treści o niskiej jakości. Najlepszą praktyką jest używanie metatagu noindex i nofollow.
- Twój plik robots.txt nie powinien przekraczać 200 linii niedozwolonych. Zacznij od kilku niedopuszczalnych linii. Jeśli chcesz dodać jeszcze kilka, dodaj go później.
- Nie używaj pliku Robots.txt do zatrzymania wyszukiwarek w celu indeksowania kategorii, tagów, archiwów, stron autorów itp. Możesz także dodać metatagi nofollow i noindex.
- Zatrzymaj wyszukiwarki z indeksowaniem określonych katalogów witryny, które mogą zawierać zduplikowane treści.
Testowanie pliku Robot.txt w Google WebMaster Tool (obecnie Google Search Console)
Po edycji i optymalizacji pliku robots.txt pierwszą rzeczą, którą powinieneś zrobić, jest przetestowanie tego pliku, jeśli jest on prawidłowo skonfigurowany. Aby to zrobić:
Krok 1) Zaloguj się na konto Google Search Console
Krok 2) Przejdź do sekcji „Przeszukiwanie” z lewego paska bocznego.
Krok 3) Kliknij „robots.txt Tester”
Krok 4) Pokaże najnowszy plik robots.txt na Twojej stronie. Jeśli teraz nie zmieniłeś się na stałe, możesz po prostu wkleić zawartość zoptymalizowanego pliku robot.txt i przetestować. Poniżej znajduje się migawka
Krok 5) Wybierz bota, dla którego chcesz przetestować. Dostępnych jest wiele botów, takich jak - Googlebot-Video, Googlebot-News, Googlebot-Image itd.
Krok 6) Kliknij przycisk „Test”.
Jeśli wszystko jest w porządku, a roboty mogą indeksować Twoją witrynę, wyświetli się komunikat „ZEZWOLONE” z zielonym kolorem pokazującym, że ustawienia są prawidłowe.
Krok 7) Możesz teraz przesłać plik robots.txt, klikając przycisk „Prześlij”.
Gratulacje! Udało Ci się zoptymalizować plik robots.txt.
Przeczytaj także: Jak zoptymalizować strukturę adresu URL swojego bloga?
Mam nadzieję, że ten przewodnik pomógł ci zrozumieć różne aspekty Robots.txt. Nie zapomnij udostępnić go znajomym i zapisz się na nasz biuletyn e-mail, aby uzyskać więcej takich aktualizacji. Jeśli masz jakiekolwiek pytania dotyczące optymalizacji pliku robots.txt, prosimy pytać w sekcji komentarzy poniżej.
Mohit Arora
Cześć, jestem Mohit Arora, namiętny bloger i uzależniony czytelnik. Możesz sprawdzić mój inny blog TutorialsJar gdzie udostępniam samouczki programistyczne.
Możesz się ze mną połączyć Instagram Lub Quora I Linkedin także.
Subskrybuj kanał CatchUpdates przez RSS
Ostatnie posty Mohit Arora ( widzieć wszystko )
Ale czy w pełni wykorzystujesz ten plik?Txt?
Txt?
Txt?
Htaccess?