Faili robots.txt ti a fipamọ sinu apo aaye ayelujara rẹ yoo sọ fun awọn roboti wẹẹbu bi search engine spiders ohun ti awọn ilana ati awọn faili ti wọn gba laaye lati ra. O rorun lati lo faili robots.txt, ṣugbọn awọn ohun kan ni o yẹ ki o ranti:
- Awọn roboti wẹẹbu aaye ijanilaya dudu yoo ko awọn faili robots.txt rẹ silẹ. Awọn orisi ti o wọpọ julọ jẹ awọn ọpa malware ati awọn roboti n wa awọn adirẹsi imeeli si ikore.
- Diẹ ninu awọn olutẹpa tuntun yoo kọ awọn roboti ti o koju faili robots.txt. Eyi ni a ṣe nipasẹ aṣiṣe.
- Ẹnikẹni le ri faili robots.txt rẹ. Wọn n pe ni robots.txt nigbagbogbo ati nigbagbogbo ni a fipamọ ni gbongbo aaye ayelujara.
- Níkẹyìn, tí ẹnìkan bá sopọ mọ fáìlì kan tàbí ìṣàkóso tí a kò lò nípa fáìlì robots.txt rẹ láti ojú-ewé kan tí a kò kùn sí nípa fáìlì robots.txt wọn, àwọn ìfẹnukò àwárí le rí i rárá.
Ma ṣe lo awọn faili robots.txt lati tọju ohunkohun pataki. Dipo, o yẹ ki o fi alaye pataki si awọn ọrọigbaniwọle ti o ni aabo tabi fi kuro ni oju opo wẹẹbu.
Bi o ṣe le Lo Awọn Ohun elo Imudojuiwọn wọnyi
Da ọrọ naa ṣọwọ lati inu ayẹwo ti o sunmọ julọ ti ohun ti o fẹ ṣe, ki o si lẹẹmọ rẹ sinu faili robots.txt rẹ. Yi robot pada, itọsọna, ati orukọ faili lati ba iṣeto iṣeto ti o dara ju.
Awọn faili Robots.txt meji
Olumulo-oluranlowo: *
Duro: /
Faili yi sọ pe eyikeyi robot (Olumulo-oluranlowo: *) ti o wọle si o yẹ ki o kọ oju-iwe gbogbo lori aaye naa (Disallow: /).
Olumulo-oluranlowo: *
Duro:
Faili yi sọ pe eyikeyi robot (Olumulo-oluranlowo: *) ti o wọle si o jẹ laaye lati wo gbogbo awọn oju-ewe lori aaye naa (Disallow:).
O tun le ṣe eyi nipa gbigbe faili robots.txt rẹ silẹ tabi ko ni ọkan lori aaye rẹ ni gbogbo.
Daabobo Awọn Itọsọna Ti o ni pato Lati Awọn Okun
Olumulo-oluranlowo: *
Duro: / cgi-bin /
Disallow: / temp /
Faili yii sọ pe eyikeyi robot (Olumulo-oluranlowo: *) ti o wọle si o yẹ ki o kọ awọn ilana / cgi-bin / ati / temp / (Disallow: / cgi-bin / Disallow: / temp /).
Dabobo awọn iwe-ipamọ pato lati awọn okun-ara
Olumulo-oluranlowo: *
Disallow: /jenns-stuff.htm
Disallow: /private.php
Faili yii sọ pe eyikeyi robot (Oluṣakoso olumulo: *) ti o wọle si o yẹ ki o kọ awọn faili /jenns-stuff.htm ati /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php).
Ṣaṣe ipaja pataki lati Iwọle si Aye rẹ
Olumulo-oluranlowo: Lycos / xx
Duro: /
Faili yii sọ pe Botcos bot (Olumulo-oluranlowo: Lycos / xx) ko gba laaye si ibikibi nibikibi (Disallow: /).
Yọọda Nikan Kan Wọle Wọle Kan pato
Olumulo-oluranlowo: *
Duro: /
Oniṣẹ olumulo: Googlebot
Duro:
Faili yii ṣaju gbogbo awọn roboti bi a ti ṣe loke, lẹhinna o jẹ ki Googlebot (Olumulo-ojiṣẹ: Googlebot) ni iwọle si ohun gbogbo (Disallow:).
Papọ awọn Itọpo Ọpọlọpọ Lati Gba Awọn iyasọtọ Ti o fẹ
Lakoko ti o dara julọ lati lo Olumulo-pupọ-ila-aṣẹ, bi Olumulo-oluranlowo: *, o le jẹ bi pato bi o ṣe fẹ. Ranti pe awọn roboti ka iwe naa ni ibere. Nitorina ti awọn ila akọkọ sọ pe gbogbo awọn roboti ti wa ni titiipa lati ohun gbogbo, ati lẹhinna ni faili ti o sọ pe gbogbo awọn roboti ni a gba laaye si gbogbo nkan, awọn roboti yoo ni aaye si ohun gbogbo.
Ti o ko ba rii boya o ti kọ faili faili robots.txt rẹ ti tọ, o le lo Awọn Ọga wẹẹbu Ọga wẹẹbu lati ṣayẹwo faili faili robots.txt tabi kọ titun kan.