Back to Question Center
0

Semalt: Jinsi ya kuzuia Darodar Robots.txt

1 answers:

faili ya Robots.txt ni faili ya maandishi ya kawaida ambayo ina maelekezo ya jinsi watambazaji wa mtandao au bots wanapaswa kutambaa tovuti. Maombi yao ni dhahiri katika bots engine bots ambazo ni kawaida katika tovuti nyingi zilizoboreshwa. Kama sehemu ya Itifaki ya Kutengwa ya Robots (REP), faili ya robots.txt inafanya kipengele muhimu cha kuandikisha maudhui ya tovuti na pia kuwezesha seva kuthibitisha maombi ya mtumiaji ipasavyo.

Julia Vashneva, Semalt Meneja Mfanikio Mteja Mwandamizi, anaelezea kuwa kuunganisha ni kipengele cha Utafutaji wa Optimization (SEO), ambayo inahusisha kupata trafiki kutoka maeneo mengine ndani ya niche yako - wired home network installation. Kwa viungo vya "kufuata" ili kuhamisha juisi ya kiungo, ni muhimu kuingiza faili ya robots.txt kwenye nafasi yako ya kukabiliana na tovuti ya kufanya kazi kama mwalimu wa jinsi seva inavyohusika na tovuti yako. Kutoka kwenye kumbukumbu hii, maagizo yanapo kwa kuruhusu au kukataa jinsi baadhi ya mawakala wa mtumiaji wanavyofanya.

Fomu ya Msingi ya faili ya robots.txt

faili ya robots.txt ina mistari miwili muhimu:

mtumiaji-wakala: [jina la mtumiaji wa wakala]

Kuzuia: [URL ya kamba isiyopasuliwa]

faili kamili ya robots.txt inapaswa kuwa na mistari miwili. Hata hivyo, baadhi yao yanaweza kuwa na mistari nyingi ya mawakala wa mtumiaji na maelekezo. Amri hizi zinaweza kuwa na masuala kama vile inaruhusu, kupungua au kupungua kwa kucheka. Kwa kawaida kuna mapumziko ya mstari ambayo hutenganisha kila seti ya maelekezo. Kila moja ya inaruhusu au kupinga maelekezo inatolewa na kuvunja mstari huu, hasa kwa robots.txt na mistari mingi.

Mifano

Kwa mfano, faili ya robots.txt inaweza kuwa na codes kama:

mtumiaji-wakala: darodar

Kuzuia: / Plugin

Huruhusu: / API

Kuzuia: / _comments

Katika kesi hii, hii ni faili robots.txt iliyozuia kuzuia mtandao wa wavuti wa Darodar kutoka kwenye tovuti yako. Katika syntax hapo juu, msimbo huzuia mambo ya tovuti kama vile Plugins, API, na sehemu ya maoni. Kutoka kwa ujuzi huu, inawezekana kufikia faida nyingi kutoka kwa kutekeleza faili ya maandishi ya robot kwa ufanisi. Robots..Faili za txt zinaweza kufanya kazi nyingi. Kwa mfano, wanaweza kuwa tayari:

1. Ruhusu maudhui ya wavuti wavuti kwenye tovuti ya wavuti. Kwa mfano;

mtumiaji-ajenti: *

Kuzuia:

Katika kesi hii, maudhui yote ya mtumiaji yanaweza kupatikana na mtambazaji wowote wa wavuti akiombwa kuingia kwenye tovuti.

2. Zima maudhui maalum ya wavuti kwenye folda maalum. Kwa mfano;

mtumiaji-wakala: Googlebot

Kuzuia: / mfano-subfolder /

Kipindi hiki kilicho na jina la wakala wa mtumiaji Googlebot ni wa Google. Inaruhusu bot kwa kupata ukurasa wowote wa wavuti kwenye kamba www.ourexample.com/example-subfolder/.

3. Zima mtambazaji maalum wa wavuti kwenye ukurasa maalum wa wavuti. Kwa mfano;

mtumiaji-wakala: Bingbot

Kuzuia: / mfano-subfolder/blocked-page.html

Bing ya mtumiaji-wakala wa bing ni wavuti wa wavuti wa Bing. Aina hii ya faili ya robots.txt inaruhusu mtambazaji wa wavuti wa Bing kutoka kwenye ukurasa maalum na kamba www.ourexample.com/example-subfolder/blocked-page.

Taarifa muhimu

  • Sio kila mtumiaji anatumia faili yako ya robts.txt. Watumiaji wengine wanaweza kuamua kupuuza. Wengi wa waambazaji wa wavuti vile hujumuisha Trojans na zisizo.
  • Kwa faili ya Robots.txt inayoonekana, inapaswa kuwa inapatikana kwenye saraka ya tovuti ya juu.
  • Wahusika "robots.txt" ni nyeti ya kesi. Matokeo yake, haipaswi kuwabadilisha kwa njia yoyote ikiwa ni pamoja na mtaji wa mambo fulani.
  • "/robots.txt" ni kikoa cha umma. Mtu yeyote anaweza kupata habari hii wakati wa kuiongeza kwenye maudhui ya URL yoyote. Haupaswi kuandika maelezo muhimu au kurasa ambazo unataka waweze kuwa binafsi.
November 29, 2017