Felsökning av Sidgranskning

En Robots.txt-fil ger instruktioner till botar om hur man genomsöker (eller inte genomsöker) sidorna på en webbplats. Du kan tillåta och förbjuda botar som Googlebot eller Semrushbot att genomsöka hela din webbplats eller specifika områden av din webbplats med hjälp av kommandon som Allow, Disallow, och Crawl Delay. 

Om din robots.txt blockerar vår bot från att genomsöka din webbplats, kan vårt Sidgranskningsverktyg inte kontrollera din webbplats. 

Du kan inspektera din robots.txt för eventuella disallow-kommandon som skulle hindra crawlers som våra från att få åtkomst till din webbplats. 

För att tillåta Semrush Sidgranskningsbot (SiteAuditBot) att genomsöka din webbplats, lägg till följande i din robots.txt-fil:

User-agent: SiteAuditBot

Disallow:   

(lämna ett tomt utrymme efter "Disallow:")

Här är ett exempel på hur en robots.txt-fil kan se ut:

Observera de olika kommandona baserat på användaragenten (crawlern) som filen adresserar.

Dessa filer är offentliga och för att hittas måste de vara hostade på toppnivån av en webbplats. För att hitta en webbplats robots.txt-fil, ange rotdomänen för en webbplats följt av /robots.txt i din webbläsare. Till exempel finns robots.txt-filen på Semrush.com på https://semrush.com/robots.txt.

Några termer som du kan se i en robots.txt-fil inkluderar:

• User-Agent = den webbcrawler du ger instruktioner till. 
  • Ex: SiteAuditBot, Googlebot
• Allow = ett kommando (endast för Googlebot) som säger till botten att den kan genomsöka en specifik sida eller område på en webbplats även om övergripande sidan eller mappen är förbjuden.
• Disallow = ett kommando som säger till botten att inte genomsöka en specifik URL eller underkatalog på en webbplats. 
  • Ex: Disallow: /admin/
• Crawl Delay = ett kommando som säger till botarna hur många sekunder de ska vänta innan de laddar och genomsöker en annan sida. 
• Sitemap = anger var sitemap.xml-filen för en viss URL finns.
• / = använd symbolen "/" efter ett disallow-kommando för att tala om för botten att inte genomsöka hela din webbplats 
• * = ett wildcard-symbolet som representerar en sträng av möjliga tecken i en URL, använt för att ange ett område på en webbplats eller alla användaragenter. 
  • Ex: Disallow: /blog/* skulle indikera alla URL:er i en webbplats blog underkatalog
  • Ex: User-agent: * skulle indikera instruktioner för alla botar

Läs mer om Robots.txt-specifikationer från Google eller på Semrush-bloggen.

Om du ser följande kod på huvudsidan på en webbplats, säger det oss att vi inte har tillåtelse att indexera/följa länkar på den, och vår åtkomst blockeras.



Eller, en sida som innehåller åtminstone en av följande: "noindex", "nofollow", "none", kommer att leda till crawlers fel.

För att tillåta vår bot att genomsöka en sådan sida, ta bort dessa "noindex"-taggar från sidans kod. För mer information om noindex-taggen, vänligen hänvisa till denna Google Support-artikel.

För att lägga till botten på vitlistan, kontakta din webmaster eller leverantör och be dem att vitlista SiteAuditBot.

Botens IP-adresser är: 85.208.98.128/25 (ett subnät som används av sidgranskningen endast)

Botten använder standard 80 HTTP- och 443 HTTPS-portar för att ansluta.

Om du använder några plugins (Wordpress, till exempel) eller CDNs (innehållsleveransnätverk) för att hantera din webbplats, måste du också vitlista bot-IP inom dessa.

För vitlistning på Wordpress, kontakta Wordpress support.

Vanliga CDNs som blockerar vår crawler inkluderar:

• Cloudflare - läs hur du vitlistar här
• Imperva - läs hur du vitlistar här
• ModSecurity - läs hur du vitlistar här
• Sucuri - läs hur du vitlistar här

Tänk på: Om du har delad hosting är det möjligt att din hostingleverantör kanske inte tillåter dig att vitlista några botar eller redigera robots.txt-filen.

Hostingleverantörer

Nedan följer en lista över några av de mest populära hostingleverantörerna på webben och hur du vitlistar en bot på var och en eller kontaktar deras supportteam för hjälp: 

1. Siteground - vitlistningsinstruktioner 
2. 1&1 IONOS - vitlistningsinstruktioner 
3. Bluehost* - vitlistningsinstruktioner 
4. Hostgator* - vitlistningsinstruktioner 
5. Hostinger - vitlistningsinstruktioner 
6. GoDaddy - vitlistningsinstruktioner 
7. GreenGeeks - vitlistningsinstruktioner 
8. Big Commerce - Måste kontakta support 
9. Liquid Web - Måste kontakta support 
10. iPage - Måste kontakta support
11. InMotion - Måste kontakta support
12. Glowhost - Måste kontakta support
13. Hosting - Måste kontakta support
14. DreamHost - Måste kontakta support

* Observera: dessa instruktioner fungerar för HostGator och Bluehost om du har en webbplats på VPS eller dedikerad hosting.

Om storleken på din landningssida eller den totala storleken på JavaScript/CSS-filer överstiger 2Mb, kommer våra crawlers inte att kunna bearbeta den på grund av tekniska begränsningar i verktyget.

För att ta reda på mer om vad som kan orsaka storleksökningen och hur du kan lösa detta problem kan du hänvisa till denna artikel från vår blogg.

För att se hur mycket av din nuvarande genomsökningsbudget som har använts, gå till Profil — Info om abonnemanget och leta efter "Sidor att genomsöka" under "Verktygspaketet SEO".

Beroende på din abonnemangsnivå är du begränsad till ett visst antal sidor som du kan genomsöka under en månad (månatlig genomsökningsbudget). Om du överskrider antalet sidor som är tillåtna inom ditt abonnemang, måste du köpa ytterligare gränser eller vänta tills nästa månad när dina gränser kommer att förnyas.

Dessutom, om du får felmeddelandet "Du har nått gränsen för samtidigt körda kampanjer" under installationen, betyder det att du har nått det maximala antalet Sidgranskningar som är tillåtna att köras samtidigt för din abonnemangsnivå.

Varje abonnemangsnivå inkluderar olika gränser:

• Gratiskonto: 1 Sidgranskning åt gången
• Verktyspaketet SEO Pro: Upp till 2 samtidiga Sidgranskningar
• Verktyspaketet SEO Guru: Upp till 2 samtidiga Sidgranskningar
• Verktyspaketet SEO Business: Upp till 5 samtidiga Sidgranskningar

Om domänen inte kunde lösas av DNS betyder det troligtvis att domänen du angav under konfigurationen är offline. Vanligtvis har användare detta problem när de anger en rot-domän (example.com) utan att inse att rotdomänversionen av deras webbplats inte finns och att WWW-versionen av deras webbplats måste anges istället (www.example.com).  

För att förhindra detta problem kan webbplatsägaren lägga till en omdirigering från den oskyddade "example.com" till den skyddade "www.example.com" som finns på servern. Detta problem kan också uppstå åt andra hållet om någons rotdomän är skyddad, men deras WWW-version inte är det. I sådana fall skulle du bara behöva omdirigera WWW-versionen till rot-domänen.

Om din startsida har länkar till resten av din webbplats gömda i JavaScript-element måste du aktivera JS-rendering, så att vi kan läsa dem och genomsöka de sidorna. Denna funktion är tillgänglig med Verktyspaketet SEO på Guru- och Business-nivåerna.

För att inte missa de viktigaste sidorna på din webbplats med vår crawler, kan du ändra din crawl-källa från webbplats till sitemap—på så sätt kommer crawlers inte att missa några sidor som är svåra att hitta på webbplatsen naturligt under granskningen.

Vi kan också genomsöka HTML för en sida med några JS-element och granska parametrarna för dina JS- och CSS-filer med våra prestandakontroller.

Din webbplats kan blockera SemrushBot i din robots.txt-fil. Du kan ändra användaragenten från SemrushBot till GoogleBot, så kommer din webbplats troligtvis att tillåta Googles användaragent att genomsöka. För att göra denna ändring, hitta inställningsikonen i ditt projekt och välj användaragent.

När det här alternativet är aktiverat kommer genomsökaren att kringgå robots.txt-reglerna för disallow, så att sidor och interna resurser som normalt blockeras ändå genomsöks. Tänk på att för att använda detta måste ägarskapskontrollen av webbplatsen verifieras.

Detta är användbart för webbplatser som för närvarande är under underhåll. Det är också hjälpsamt när webbplatsägaren inte vill ändra robots.txt-filen.

För att granska privata områden av din webbplats som är lösenordsskyddade, ange dina uppgifter i alternativet "Genomsök med dina uppgifter" under inställningsikonen.

Detta rekommenderas starkt för webbplatser som fortfarande är under utveckling eller som är privata och helt lösenordsskyddade.

Vissa webbplatser och värdplattformar, såsom Shopify, kan blockera okända bots som standard av säkerhets- eller prestandaskäl. Om din granskning misslyckas på dessa plattformar gör en Web Bot Auth-signatur att Semrush crawler kan identifiera sig och bevisa att den är behörig att komma åt din webbplats.

Om du inte angav en signatur vid den första konfigurationen och din webbplats är blockerad kommer Semrush att upptäcka begränsningen och uppmana dig att åtgärda den direkt i verktygets gränssnitt.

“Dina crawl-inställningar har ändrats sedan din föregående granskning. Detta kan påverka dina nuvarande granskningresultat och antalet upptäckta problem.”

Denna notifikation visas i sidgranskningen efter att du har uppdaterat några inställningar och kört granskningen igen. Detta är inte en indikator på ett problem utan snarare en påminnelse om att om crawl-resultaten ändras oväntat, är detta en trolig orsak till det.