Թե ինչ է սողուն: ոջիլ գործիք «Յանդեքս» եւ Google

Ամեն օրը Ինտերնետում կա մի հսկայական նոր նյութերի ստեղծել մի կայք, հաստատում սէփականատիրոջ կողմից հին վեբ էջերը, վերբեռնել լուսանկարներ եւ տեսանյութեր: Առանց թաքնված որոնման չի կարող գտնվել Համաշխարհային սարդոստայնի, ոչ մեկը, այդ փաստաթղթերի: Այլընտրանքներ նման ռոբոտային ծրագրերով ցանկացած պահի գոյություն չունի: Թե ինչ է որոնման ռոբոտը, թե ինչու դուք պետք է այն, եւ ինչպես պետք է գործել.

Թե ինչ է որոնման ռոբոտը

Ոջիլ կայք (որոնողական) - դա ավտոմատ ծրագիր է, որը կարող է այցելել միլիոնավոր Ոստայնի էջերի, արագ նավիգացիոն ինտերնետի միջոցով `առանց որեւէ օպերատորի միջամտության: Բոտեր են մշտապես սկան տարածք Համաշխարհային Wide Web, գտնելով նոր վեբ էջեր եւ պարբերաբար այցելում արդեն ինդեքսավորվում. Այլ անուններ կայքէջի ենթաէջերը spiders, ենթաէջերը, bots- երից:

Ինչու են որոնման շարժիչների spiders

Հիմնական գործառույթներն են, որ կատարում է որոնման spiders - վեբ էջերը ինդեքսավորվում, ինչպես նաեւ տեքստը, պատկերներ, աուդիո եւ վիդեո ֆայլեր, որոնք նրանց վրա: Բոտերին ստուգել տեղեկանքներ, հայելային կայքեր (օրինակ) եւ թարմացումներ: Որ ռոբոտների նաեւ կատարել HTML- կոդ վերահսկողություն համապատասխանության չափանիշներին համաշխարհային կազմակերպության, որը մշակում եւ իրականացնում տեխնոլոգիական ստանդարտներ համար համաշխարհային սարդոստայնում:

Որն է indexing, եւ ինչու է այն անհրաժեշտ է

Indexing - ն, ըստ էության, այն է, որ գործընթացը հայտնվելու որոշակի վեբ էջը որոնման. Որ ծրագիրը scans տեքստը այս կայքում, նկարներ, տեսանյութեր, մեկնող հղումներ, ապա էջը հայտնվում է որոնման արդյունքների. Որոշ դեպքերում, որ կայքը չի կարող սկանավորվել ինքնաբերաբար, ապա դա կարող է ավելացվել է որոնողական ձեռքով Webmaster. Որպես կանոն, դա տեղի է ունենում բացակայության դեպքում արտաքին հղումների մի կոնկրետ (հաճախ միայն վերջերս է ստեղծվել) էջում.

Ինչպես եք որոնման spiders

Յուրաքանչյուր որոնման շարժիչ ունի իր սեփական bot, Google- ի որոնողական ռոբոտը կարող է զգալիորեն տարբերվել են ըստ մեխանիզմի աշխատում է համանման ծրագրի, «Յանդեքս» կամ այլ համակարգերի հետ:

Ընդհանուր առմամբ, մի ռոբոտը աշխատանքային սկզբունքը հետեւյալն է, որ այս ծրագիրը «գալիս» է կայքում եւ արտաքին հղումներ գլխավոր էջում », - ասված« Web ռեսուրսների (ներառյալ, ովքեր փնտրում լամպը, որը չի տեսնում օգտվողին): Նավակ, թե ինչպես պետք է նավարկելու միջեւ էջերում կայքում եւ շարժվել դեպի ուրիշներին.

Որ ծրագիրը պետք է ընտրել, թե որ կայքն է ցուցանիշից. Ավելի հաճախ, քան ոչ թե «ուղեւորության» է սարդը սկսվում լրատվական կայքերում կամ խոշոր ռեսուրսների տեղեկագրքեր եւ ագրեգատորների հետ խոշոր հղման քաշը. Ոջիլ շարունակաբար scans էջերը, մեկ առ մեկ, վրա փոխարժեքով, եւ հետեւողականությունը ինդեքսավորման հետեւյալ գործոնները.

• Ներքին: perelinovka (ներքին հղումներ միջեւ էջերում նույն ռեսուրսի), site չափի, ճիշտ օրենսգրքի, օգտագործողի բարեկամական եւ այլն;
• Արտաքին: ընդհանուր տեղեկանք քաշը, որը հանգեցնում է կայքում.

Առաջին բանը, որ որոնման ռոբոտը որոնումները ցանկացած կայքի կողմից robots.txt. Հետագա ռեսուրսը indexing իրականացվում հիման վրա ստացված տեղեկությունը, որ դա այս փաստաթղթում. Այս ֆայլը պարունակում է կոնկրետ հանձնարարականներ է «spiders», որը կարող է մեծացնել հնարավորությունները էջում այցելությունների է որոնման, իսկ, հետեւաբար, պետք է հասնել արտահերթ հիթ կայքի «Յանդեքս» կամ Google- ի.

Ծրագիրը անալոգների crawlers

Հաճախ տերմինը «որոնումը ռոբոտ» է շփոթել խելացի, օգտագործողի կամ ինքնավար գործակալների, «ants» կամ «որդեր». Immersed էական տարբերություններ միայն համեմատ գործակալների, այլ սահմանումներ վերաբերում է նմանատիպ տեսակի ռոբոտների.

Օրինակ, գործակալները կարող են լինել:

• ինտելեկտուալ որ ծրագիրը, որոնք տեղափոխվել են կայքում կայքում, ինքնուրույն որոշել, թե ինչպես պետք է շարունակել. որ նրանք ոչ շատ տարածված է ինտերնետում.
• Ինքնավար: Այս գործակալները օգնել օգտվողին ընտրելու արտադրանքի, որոնման, կամ լրացնելու ձեւերը, այսպես կոչված, ֆիլտրերը, որոնք քիչ կապված են ցանցի ծրագրերին;
• օգտվող որ ծրագիրը նպաստում է անձնագիրը փոխգործակցության հետ Համաշխարհային սարդոստայնի, բրաուզերի համար (օրինակ, Օպերա, IE, Google Chrome, Firefox), սուրհանդակների (Viber, հեռագրում,) կամ e-mail ծրագրերը (MS Outlook եւ Qualcomm):

«Ants» եւ «ճիճուներ» ավելի շատ նման է որոնման «spiders»: Առաջին ձեւը միջեւ ցանցի եւ հետեւողականորեն փոխազդել նման այս մրջյուն գաղութի, «որդեր» կարող է վերարտադրել այլ առումներով նույնն է ստանդարտ սողուն:

Բազմազանությունը որոնման ռոբոտների

Տարբերակել բազմաթիվ տեսակների crawlers. Կախված նրանից, թե նպատակով ծրագրի, նրանք են `

• «Հայելի», - կրկնօրինակների զննարկում կայքեր.
• Բջջային ուշադրության կենտրոնում է բջջային տարբերակներում վեբ էջերը.
• Արագ - ամրագրել նոր տեղեկություններ արագ դիտարկելով վերջին թարմացումները.
• Տեղեկանք - տեղեկանք ինդեքս, հաշվել են իրենց համարները.
• Indexers տարբեր տեսակի բովանդակության - կոնկրետ ծրագրեր տեքստի, աուդիո, վիդեո, պատկերների.
• «Լրտեսող ծրագրերի ազդեցությանը», - փնտրում են էջեր, որոնք դեռ չեն ցուցադրվում է որոնման.
• «Փայտփորիկ" - պարբերաբար այցելում կայքերը պետք է ստուգել իրենց արդիականությունը եւ արդյունավետությունը.
• Ազգային - զննարկելիս ռեսուրսները գտնվում մեկի երկրի դոմենների (օրինակ, .mobi, կամ .kz .ua):
• Global - ինդեքս բոլոր ազգային կայքերը:

Ռոբոտներ խոշոր որոնման

Կան նաեւ որոշ որոնման spiders. Տեսականորեն, նրանց գործառույթն կարող է տարբեր լինել լայնորեն, բայց գործնականում այն ծրագրերը, որոնք գրեթե նույնական. Հիմնական տարբերությունները ինդեքսավորման ոստայնէջեր: Ռոբոտներ երկու խոշոր որոնման հետեւյալն են.

• Խստությունը փորձարկման. Ենթադրվում է, որ այդ մեխանիզմը ոջիլ «Յանդեքս» որոշ չափով ավելի խիստ հաշվարկները կայքում համապատասխանության չափանիշներին համաշխարհային սարդոստայնում:
• Պահպանումը ամբողջականության կայքում. Google- ի թրթուրավոր ցուցանիշները ամբողջ կայքն (այդ թվում `մեդիա բովանդակության),« Yandex- ը »կարող է նաեւ դիտել բովանդակությունը ընտրողաբար.
• Speed test նոր էջեր: Google- ը ավելացնում է նոր ռեսուրս է որոնման արդյունքների մի քանի օրվա ընթացքում, այն դեպքում, «ըստ Յանդեքս» գործընթացը կարող է տեւել երկու շաբաթ կամ ավելի.
• Հաճախականությունը re-ինդեքսավորման. Սողուն «Յանդեքս» ստուգի թարմացումների շաբաթը երկու անգամ, եւ Google- ը, մեկ յուրաքանչյուր 14 օր:

Ինտերնետ, իհարկե, չի սահմանափակվում երկու որոնման. Այլ որոնման ունեն իրենց ռոբոտներին, ովքեր հետեւում են իրենց սեփական ինդեքսավորման պարամետրերը: Բացի այդ, կան մի քանի «սարդերը», որոնք նախատեսված են ոչ թե խոշոր որոնման ռեսուրսները, եւ անհատ թիմերը կամ վարպետների.

ընդհանուր misconceptions

Հակասում է համաժողովրդական համոզմունքի, «Սարդեր« չեն մշակել այդ տեղեկությունը: Որ ծրագիրը միայն scans եւ խանութների ցանց հայերեն էջերում էջեր եւ հետագա վերամշակման տեւում է մի բոլորովին տարբեր ռոբոտներ.

Բացի այդ, շատ օգտվողները կարծում են, որ որոնման spiders է բացասական ազդեցություն ունենալ, եւ «վնասակար» ինտերնետը: Ի դեպ, որոշ տարբերակները "սարդեր» կարող է զգալիորեն ծանրաբեռնված սերվերը: Կա նաեւ մարդկային գործոնը, - վեբմաստերի, ով ստեղծել է ծրագիր, կարող է անել սխալներ ռոբոտը կազմաձեւման. Դեռ մասը առկա ծրագրերի լավ են մշակված եւ մասնագիտորեն կառավարվում, եւ ցանկացած ծագող հարցերը անհապաղ վերացվեն:

Ինչպես կառավարել ինդեքսավորման

Որոնման ռոբոտներ են ավտոմատացված ծրագրեր, սակայն indexing գործընթացը կարող է մասամբ վերահսկվում է webmaster: Սա մեծապես օգնում է արտաքին եւ ներքին օպտիմալացման է ռեսուրսի: Բացի այդ, դուք կարող եք ձեռքով ավելացնել նոր կայքը է որոնման. Մեծ ռեսուրսներ ունեն հատուկ ձեւ Ոստայնի էջերի գրանցումը: