SEO资料站:网站robots协议没写好,后果竟有这么严重!

小七 27 0

  dǎo读:

  Robotsxiéshìzhīzhū访问wǎngzhàndekāi关,决dìngzhīzhūzhuāxiēnèiróng,zhuāxiēnèiróng。从wǎngzhàndejiǎo ,mentōngguòrobotsdeshūxiě,dìngzhīzhūzhuāxiēwénjiàn,érzhuāxiēwénjiàn ,从éryǒuwǎngzhànde优化。

  

  1.360bǎizhīde“3bǎi战”

  2.robotsxiéshìshén么?yǒushényòng

  3. wǎngzhànderobotsxiéfēn、shūxiěguīshūxiělüè

  4.知识kuòzhǎn:NofollowDisallowde

  1.360bǎizhīde“3bǎi战 ”

  还2013年dechǎng360bǎizhī间“3bǎi战”()吗?zhèshìjiànde结局概shìzhèyàng:2014年8月5日,奇360tōngguòděngtáigōng击 、诋毁jìngduìbǎizàiběi京市海淀rén民法院kāitíng 。法院审wèi,360dexíngwèiduìbǎidexìn誉造成sǔnhài,shǔzhèngdāngjìng争,pàn罚360立tíngzhǐzhèngdāngjìngxíngwèi,zàiwǎngzhànshǒu媒体显著位置公kāimíngxiāo除影xiǎng ,bìng赔偿相关sǔn失25万元rén民币。zhèshì360近年来第20起官司败诉。

  érqián,bǎi360zhījiùyǒu各种dexiāo传来 。其zhōngjiùshì,360违反“Robotsxié”zhuā、复zhìwǎngzhànnèiróng。

  2. robotsxiéshìshén么?yǒushényòng

  Robotsshìzhàndiǎnspider沟tōngdezhòngyàodào ,zhàndiǎntōngguòrobotswénjiànmíngwǎngzhànzhōngxiǎngsōusuǒyǐnqíngshōudefēnhuòzhǐdìngsōusuǒyǐnqíngshōudìngdefēn。请zhù,仅dāngdewǎngzhàn包含望被sōusuǒyǐnqíngshōudenèiróngshí,cáiyào使shǐyòngrobots.txtwénjiàn 。duìzhànéryán ,chūduìSEOdeyào求 ,tōngguòyàotōngguòshūxiěrobotsxiéxiànzhìzhīzhūzhuāxiēmínghuòmíngdewénjiàn。zàixiēqíngkuàngxià,如果xiànzhìzhīzhūzhuādìngdewénjiàn,yǒunéngdǎozhìwǎngzhànxìnde泄漏。曾经yǒu高校wǎngzhànyīnwèiméiyǒu设置好robotsxié ,dǎozhì学生xìnzhīzhūzhuāér公布到wǎngshàng 。如果shìxìngwǎngzhàn,huìyuánxìn被公kāiwǎngzhànhòushìfēiyánzhòngde。yīnwèimenzhànzàiwǎngzhàndeguòchéngzhōng,yàozhùrobotsxiédeshūxiě。

  Robotsshìzhàndiǎnspider沟tōngde关口 ,zhīzhūzài访问wǎngzhànzhīqián,shǒuyào找到robots.txtxié,tōngguò阅读robots决dìngzhuāxiēnèiróng ,zhuāxiēnèiróng 。dāng然,zhèxiéyàosōusuǒyǐnqíng各方遵shǒucáixíng,否xiězàiderobots.txtshì白瞎 。

  3. wǎngzhànderobotsxiéfēn、shūxiěguīshūxiě方法

  现zàimen假设各sōusuǒyǐnqíngzhīzhūdōushìshǒuguīde ,那么jiù来讨论xià如何xiànzhìzhīzhūzhuāxiǎngzhuādenèiróng。xiēnèiróngyàojìnzhǐzhīzhūzhuānemen先来看xiàxiēwǎngzhànderobotsxiéshìzěnxiěde。

  3.1 wǎngzhànderobotsxiéfēn

  wǎngzhànderobotsxiérobots.txt形shìdewénjiàn存放zàiwǎngzhàngēnxià,yīnkāiwǎngzhànhòu,zàiwǎngzhànshǒude地址hòumiàntiān加“/robots.txt ”,àn回车jiù看到wǎngzhànderobotsxié 。shūjiù看到知乎wǎngzhànderobotsxié。

  cǎiyòngyàngde方法 ,到其wǎngzhànderobotsxié。

  xiàmiànshì论坛derobotsxié

  xiàmiànshìxīnwǎngderobotsxié

  xiàmiànshìtáobǎowǎngderobotsxié

  3.2 robotsxiédeshūxiěguī

  tōngguòshàng真实de ,men来全miàn学习xiàrobotsxiédeshūxiěguīshūxiělüè 。

  zài电脑shàngxīnjiàntxtwéndàng,mìngmíngwèi“robots.txt”。

  zàishūxiězhīqián,shǒuyàoleshūxiěguī。

  Robotsxiéshūxiěguīkuò

  (1)shūxiěshí ,wénshūguòchéngguòchéngzàiyīngwén(半jiǎo)状态xiàxíng,每xíngyàoxiěyàoxiěyàoxiě

  (2)tōngguòUser-agent来dìngsōusuǒyǐnqíngmíng称,dìngduōsōusuǒyǐnqíng ,语法如xià

  User-agenthòujǐnyīngwénhào“:”,然hòujǐnyīngwénkōng格,jiēzhejǐnsōusuǒyǐnqíngdemíng称;如果shìhào ,biǎodìngsuǒyǒudesōusuǒyǐnqíngzhīzhū 。

  (3)tōngguòAllowhuòDisallow来dìngzhīzhūzhuāhuòzhuādenèiróng,shūxiěshìxià

  AllowhuòDisallowjǐnyīngwénhào“: ”,然hòujǐnyīngwénkōng格 ,jiēzhezuǒxié杠“/”,然hòushìwénjiànhuòwénjiànmíng。yàozhùdeshìzài默认状态xiàzàiméiyǒurobotsxiéhuòrobots.txtzhōngwèishūxiěDisallowmìnglìngshí),wǎngzhànduìsōusuǒyǐnqíngshìallow(yǔnde ,duìsuǒyǒusōusuǒyǐnqíngdōushìkāide ,suǒyǒudesōusuǒyǐnqíngzhīzhūzhuāwǎngzhànshàngdesuǒyǒunèiróng。AllowDisallow搭配使shǐyòng,duìzhīzhūdezhuāxíngxiànzhìxíng 。

  除leshàngmiàndezhōng看到各种形shìwài,robotsxiédeshūxiěyàozhùxiàdiǎn

  (1)tōng*de使shǐyòng ,tōng*代biǎo0huòduōrèn(包kuò0);

  (2)$$biǎoxíng结束,yòngbiǎozhì结束,hòumiàn跟其rèn。结束$$yǒushíhòuyòng来排除结束hòumiànyǒudeqíngkuàng。duìpiànmeinv1.doc 、meinv2.doc、meinv3.doczhèxiēwénjiàn ,yǒunéngjiāngwénjiàn另存wèi“meinv3.docx”,dāngmencǎiyòng“Disallow:/meinv*.doc$$ ”(yǔnzhuāmeinv1、1 、3zhèxiēwénjiàn),zàimeinv3.docnèiróngyàngdemeinv3.docxwénjiàn ,érzhèmeinv3.docxwénjiànwèixiànzhìzhuā,meinv3.docxréngyǒunéngzhīzhūzhuā 。yīnwèidoc$$只biǎo“doc”结尾dewénjiàn,kuò“docx”结尾dewénjiàn 。

  (3)fēikōngqiánzhuìde别:从shàngmiàntáobǎoderobotsxié看到 ,yǒuxiēmìnglìngxié杠“/ ”结尾,éryǒuxiēshì。menyǒushénne

  子,wǎngzhàngēnyǒuzhèyàngdezhèwénjiànjiā存放leduō美女piàn ,piànmíngshìmeinv1.jpg、meinv2.png、meinv3.gif 、joymeinv.jpg……。menxiǎngcǎiyòngxiànzhìzhīzhūzhuā“meinv ”wénjiànjiāzhōngdewénjiàn ,dànshìrobots.txtwénjiànxiě成“Disallow: /image/meinv”shí,jiùhuìdǎozhìrobotsxié仅仅jìnzhǐzhuā/image/wénjiànjiāxiàmeinvkāidewénjiàn(包kuòmeinv1.jpg、meinv2.png、meinv3.gif 、meinvjoy.jpgděng) 。dànshì“meinv”wénjiànjiāxiàde“joymienv.jpg ”由bìngshì“meinv”kāide,yīnbìngwèijìnzhǐzhuā。虽然shūxiěle“Disallow: /image/meinv”zhèxíngmìnglìng ,dànshìsōusuǒyǐnqíngréngnénghuìzhuā“joymienv.jpg ”zhèwénjiàn,达到预dejìnzhǐzhuā“meinv”wénjiànjiāxiàsuǒyǒuwénjiànde。

  3.3 robotsxiédeshūxiělüè

  leshàngmiàndeguīhòu,menjiù来说xiàrobotsxiédeshūxiělüè 。

  menyǔnhuòjìnzhǐzhuāxiēnèiróng ,yào结合SEO来决dìng。zhèxiēnèiróngyàokuò

  1 、wǎngzhàn隐私nèiróng

  2、míngdenèiróng,如“MEMBER(huìyuán)”wénjiàn、“Templates(模bǎn) ”wénjiàn 、数wénjiàn、插jiànwénjiànděng

  3. zhōngwénliànjiē/径、死liànjiē 、垃圾页miàn、zhòng复页miàn。

  结合shàngmiànde知识,menfēnshàngmiànwǎngzhànderobots.txtxié 。

  先看táobǎoderobots.txt。

  táobǎoyòngUser-agentdìngleduōzhīzhū ,包kuòbǎi、谷歌 、必应zhīzhūděng。

  duìbǎizhīzhū,cǎiyòng“Allow:/article”mìnglìngyǔnbǎizhīzhūzhuābiǎoqiánzhuìwèiarticledewénjiàn,由cǎiyòngdeshì“/article”deshì ,zhèxiēyǔnzhuādewénjiànshìarticlekāidewénjiànhuòwénjiànjiā,shì/article/,article1、article2、articlelistděngwénjiàn 。

  随hòude“Allow:/osthml ”“Allow:/wenzhang”实现denéng“Allow:/article”相同 ,zàiyán。

  cǎiyòng“Disallow:/product/ ”来jìnzhǐzhuā“product ”wénjiànjiāxiàsuǒyǒudewénjiàn ,bìngjìnzhǐzhuāfēi“product”wénjiànxiàdedài“product”dewénjiànzàiwénjiànjiādeproductlist.excel 、product100.pngděngwénjiàn)。

  cǎiyòng“Disallow:/ ”mìnglìngjìnzhǐbǎizhuāwǎngzhàngēnxiàsuǒyǒuwénjiàn 。zhèjiùshì说,táobǎowǎngpínglebǎisōusuǒyǐnqíng 。

  hòumiànduìsōusuǒyǐnqíngdemìnglìng相似,zàifēn。

  zhèchūde“#”hàoshìshén思?“#”hàobiǎozhù解 ,zhèxíng代码duìzhīzhūzhuādexiànzhì生效。

  Use-Agent:* (dìngsuǒyǒudesōusuǒyǐnqíngzhīzhū

  Allow:/ biǎoyǔnzhuāwǎngzhàngēnxiàsuǒyǒuwénjiàn 。

  zhèrobotsxiéwǎngzhànméiyǒurobotsxié效果yàng。

  robotsxiéxiěhòu,gēnyào,jiùshàng传到wǎngzhàndegēnle。

  看leshàngmiàndenèiróng ,shìshì已经知dàozěnxiěrobotsxiélene?赶jǐn自己动手xiěba 。

  4.知识kuòzhǎn:NofollowDisallowde

  NofollowDisallowduìwénjiànhuòliànjiēdōu起到“píng ”作yòng,那二者yǒu别?

  (1)shì使shǐyòngdede

  使shǐyòngNofollow来jìnzhǐwèiliànjiē传递权zhòng,联系men ,zhèshìzàigàosōusuǒyǐnqíngyào去跟踪zhèliànjiē,权zhònghuì传递到zhèliànjiē,使shǐzhòng更集zhōng。

  Robots.txtdeDisallow:/contact/ ,shìjìnzhǐzhīzhūzhuāwénjiànjiāwénjiànjiādesuǒyǒu,jiùshìjìnzhǐzhuāshōu。

  (2)作yòngfàn同,全zhàndāngqiánmiàn

  Nofollowshǔchāoliànjiēdeshǔxìng ,duìdāngqiánliànjiēyǒu效 ,érduìméiyǒutiān加Nofollowdeliànjiē无效;dāngNofollowshì使shǐyòngzàimeta标签zhōngdeshíhòu,deyòngfànshìdāngqiánmiàndesuǒyǒuliànjiē 。

  Disallowdeyòngfànshìdāngqiánzhàndiǎndeliànjiē,érchūzàimiànshàng ,suǒdāngyàojìnzhǐliànjiēhuòmiàn、甚zhìwénjiànjiāzhuādeshíhòu,yàofēn清楚yàoxiǎngdefànshìduō。

  DisallowNofollow最rónghùn淆,如果使shǐyòngdāng ,很néngjiùhuì造成dewǎngzhànpínglezhīzhū,érbìngqíng。比如xiǎngjìnzhǐsōusuǒyǐnqíngshōumiàn,jiàn使shǐyòngDisallow ,如果只shìxiǎngmiànwèiliànjiē传递权zhòng,比如评论列biǎoshàngdechāoliànjiē,jiù使shǐyòngNofollow ,dāngzhànwàiyǒuliànjiēzhǐdewǎngzhàn,érdewǎngzhànrobots.txt使shǐyòngleDisallow,那么该条wàiliàndezhíjiù折扣le ,shìxīnzhàndìngyàoshènyòng 。

标签: 小seo seo整站优化平台 东阳seo 杭州seo公司排名

发表评论 (已有0条评论)

还木有评论哦,快来抢沙发吧~