Yandex axtarış sisteminin necə işlədiyinin ən sadə təsviri. Yandex axtarış sistemi necə işləyir Yandex axtarış motoru haqqında məlumat
Salam əziz dostlar! Bu yazıda biz Yandex axtarış sistemini nəzərdən keçirməyə davam edəcəyik və xatırladığınız kimi, keçmiş məqalələrdə təkcə Rusiyada deyil, həm də rəqiblər arasında birinci yerdə olan bu böyük şirkətin yaradılması tarixi nəzərdən keçirilmişdir.
Bütün bunlar yaxşıdır, lakin yeni başlayanlar və təcrübəli sayt qurucuları, əlbəttə ki, layihələrini TOP nəticələrin ilk yerlərinə necə çatdıracaqları ilə bağlı ən vacib sualla maraqlanırlar.
Buna görə də, Yandex axtarış sisteminin necə işlədiyinə nəzər salaq ki, hansı növ dırmıqla addımlaya biləcəyinizi və rus axtarış sistemindən nə gözləməli olduğunuzu başa düşək.
Son məqalədə sizinlə müzakirə etdik. Mövzu olduqca maraqlı və faydalı oldu. Ona görə də mən onu tamamlamaq, belə demək mümkünsə, dərinləşdirmək qərarına gəldim.
Beləliklə, yəqin ki, "Axtarış mühərriki niyə sənədləri indeksləşdirir" sualı ilə həyəcanlandım - bu, heç bir ağılsızlıqdır. “Necə” sualına aydınlıq gətirmək qalır.
Veb sayt sıralama alqoritmləri
Əvvəlcə hər hansı bir axtarış sistemi üçün əsas olan bəzi alqoritmlərə nəzər salaq:
- Birbaşa axtarış üçün alqoritm.
Bu nədir - kitablardan birində gözəl bir hekayə oxuduğunuzu xatırlayırsınız. Və növbə ilə baxmağa başlayırsan. Bir kitabı götürdülər - vərəqlədilər - tapmadılar, başqasını götürdülər ... Prinsip aydındır, lakin bu üsul son dərəcə uzundur. Bu da başa düşüləndir.
- Əks axtarış alqoritmi.
Bunun üçün alqoritm bloqunuzun hər səhifəsindən yaradılır - mətn faylı yaradılır. Bu fayl istifadə etdiyiniz bütün sözləri əlifba sırası ilə siyahıya alır. Hətta bu sözün mətndəki mövqeyi də göstərilir (mətndə koordinatlar).
Bu kifayətdir sürətli yol, lakin axtarış artıq bir növ xəta ilə aparılır.
Burada əsas şey anlamaqdır ki, bu alqoritm internet axtarışında deyil, blog axtarışı ilə deyil. Və ayrıca alındı mətn faylı, uzun müddət əvvəl yaradılmışdır. Robot sənə gələndə. Və bu fayllar (əks indekslər) Yandex serverlərində saxlanılır.
Beləliklə, bunlar əsas axtarış alqoritmləri idi. Bunlar. Yandex sadəcə ehtiyac duyduğu sənədləri necə tapır. Bununla bağlı heç bir problem olmamalıdır.
Ancaq bütün bunlardan sonra Yandex bir və ya hətta 100 sənədi bilmir, amma mənim mənbələrimdən əldə etdiyim son məlumatlara görə - Yandex 11 milyard sənəd (10.727.736.489 səhifə) bilir.
Və bütün bu kəmiyyət arasında sorğuya uyğun olan sənədləri seçməlisiniz. Və daha da əhəmiyyətlisi, onları bir şəkildə sıralamalısınız. Bunlar. əhəmiyyət dərəcəsinə görə, daha doğrusu, oxucuya faydalılıq dərəcəsinə görə sıralayın.
Riyazi Modelləri axtarın
Bu problemi həll etmək üçün riyazi modellər köməyə gəlir. İndi ən sadə modellər haqqında danışacağıq.
Boolean mat. Model- Əgər söz sənəddə olarsa, sənəd tapılmış sayılır. Sadəcə təsadüf və mürəkkəb heç nə yoxdur.
Amma burada problemlər var. Məsələn, siz istifadəçi kimi hansısa məşhur sözü, daha da yaxşısı rus dilində ən çox yayılmış söz olan və HƏR sənəddə rast gəlinən “v” ön sözünü daxil etsəniz, o zaman sizə o qədər çox nəticə veriləcək ki, belə bir rəqəmin fərqinə varmadım, nə qədər sənəd tapdınız. Beləliklə, aşağıdakı mate modeli ortaya çıxdı.
Vektor döşək modeli- bu model sənədin "çəkisi"ni müəyyən edir. Nəinki təsadüf baş verir, həm də bu söz bir neçə dəfə gəlməlidir. Üstəlik, söz nə qədər çox olarsa, bir o qədər də aktuallıq (yazışma) olur.
BÜTÜN axtarış motorlarının istifadə etdiyi vektor modelidir.
Ehtimal modeli- daha mürəkkəb. Prinsip belədir: axtarış motoru səhifənin istinadını özü tapdı. Məsələn, siz Yandex-in tarixi haqqında məlumat axtarırsınız. Yandex-in bir növ standartı var, deyək ki, bu, Yandex haqqında əvvəlki məqaləm olacaq.
Və bütün digər sənədləri bu məqalə ilə müqayisə edəcək. Və burada məntiq belədir: bloqunuzun bir səhifəsi mənim məqaləmə nə qədər çox bənzəyirsə, blog səhifənizin də oxucu üçün faydalı olacağı və Yandex-in tarixindən bəhs edəcəyi bir o qədər çox ehtimal olunur.
İstifadəçiyə göstərilməli olan sənədlərin sayını azaltmaq üçün aktuallıq anlayışı təqdim edildi, yəni. uyğunluq.
Bloq səhifəniz həqiqətən mövzuya nə qədər uyğun gəlir. Axtarış keyfiyyətinə gəldikdə bu vacib bir mövzudur.
Qiymətləndiricilər - onlar kimlərdir və nəyə görə məsuliyyət daşıyırlar
Bu uyğunluq alqoritmlərin keyfiyyətini qiymətləndirmək üçün də lazımdır.
Bunun üçün xüsusi təyinatlıların qərargahı var - onlara Qiymətləndiricilər deyilir. o xüsusi insanlar axtarış nəticələrini əlləri ilə gözdən keçirənlər.
Onların saytları necə yoxlamaq, necə qiymətləndirmək və s. Və səhifələrinizin axtarış sorğularına uyğun olub-olmadığını əl ilə müəyyən edirlər.
Axtarış alqoritmlərinin keyfiyyəti isə qiymətləndiricilərin rəyindən asılıdır. Bütün qiymətləndiricilər axtarış nəticələrinin sorğulara uyğun gəlmədiyini söyləyirlərsə, sıralama alqoritmi səhvdir və burada yalnız Yandex günahkardır.
Qiymətləndiricilər deyirlər ki, sorğuya yalnız bir sayt uyğun gəlmir, bu o deməkdir ki, sayt harasa uzaqlara uçur və axtarış nəticələrində aşağı düşür. Daha doğrusu, bütün sayt deyil, yalnız bir məqalə, lakin bu, "məqsəd deyil".
Təbii ki, qiymətləndiricilər BÜTÜN məqalələrə əlləri və gözləri ilə baxa və qiymətləndirə bilməzlər. Yaxşı, bu başa düşüləndir.
Və digər parametrlər xilasetmə üçün gəlir, buna görə səhifələrin sıralanması aparılır.
Onların bir çoxu var, məsələn:
- səhifə çəkisi (VIC, PageRank, bardaqlar hamısı ümumi);
- domen səlahiyyəti;
- mətnin sorğuya uyğunluğu;
- mətnlərin aktuallığı xarici linklər sorğu;
- eləcə də bir çox digər sıralama amilləri.
Qiymətləndiricilər şərhlər verir və təyinatdan məsul olan insanlar riyazi model artıq sıralama, öz növbəsində, düsturu redaktə edin, bunun nəticəsində axtarış motoru daha yaxşı işləyir.
Düsturun işini qiymətləndirmək üçün əsas meyarlar:
1. Axtarış sistemlərinin nəticələrinin dəqiqliyi- sorğuya uyğun gələn sənədlərin faizi (müvafiq). Bunlar. sorğuya uyğun gəlməyən səhifələr nə qədər az olsa, bir o qədər yaxşıdır.
2. Axtarış sisteminin nəticələrinin tamlığı müvafiq internet səhifələrinin nisbətidir sorğu verilmişdir kolleksiyadakı müvafiq sənədlərin ümumi sayına (axtarış sistemindəki səhifələr toplusu).
Məsələn, bütün kolleksiyada axtarış nəticələrindən daha çox uyğun səhifələr varsa, bu, axtarış nəticələrinin natamam olması deməkdir. Buna səbəb bəzi müvafiq internet səhifələrinin filtrin altına düşməsi olub.
3. Axtarış sisteminin nəticələrinin aktuallığı- Bu, internet səhifəsinin fraqmentdə yazılanlarla uyğunluğudur. Məsələn, bir sənəd çox fərqli ola bilər və ya ümumiyyətlə mövcud olmaya bilər, lakin SERP-də mövcud ola bilər.
Məsələnin aktuallığı birbaşa axtarış robotunun öz kolleksiyasından sənədləri nə qədər tez-tez skan etməsindən asılıdır.
Kolleksiyanın toplanması (sayt səhifələrinin indeksləşdirilməsi) həyata keçirilir xüsusi proqram- axtarış robotu.
Axtarış robotu indeksləşdirmə üçün ünvanların siyahısını alır, onları kopyalayır, sonra kopyalanan veb-səhifələrin məzmunu onları tərs indekslərə çevirən alqoritmə emal üçün göndərilir.
Yaxşı, burada "qısaca" desəm, axtarış sisteminin prinsiplərini müzakirə etdik.
Ümumiləşdirək:
- Axtarış robotu bloqunuza gəlir.
- Tarayıcı sonradan axtarış üçün səhifənin əks indeksini saxlayır.
- Riyazi modeldən istifadə etməklə sənəd düsturlara uyğun və qiymətləndiricinin rəyi nəzərə alınmaqla işlənir və axtarış nəticələrində göstərilir.
Bu, çox, çox sadələşdirilmişdir. Yalnız Yandex axtarış sisteminin necə işlədiyinə dair əsas anlayışı əldə etmək üçün.
İndi o qədər mətn yazdım və bəlkə də çox şey aydın deyil. Ona görə də bir az sonra bu məqaləyə qayıdıb bu videonu izləməyi təklif edirəm.
Bu, bir vaxtlar oxuduğum əla bələdçidir.
Ümid bu məlumat saytlarınızdan hər hansı birinin niyə axtarışda müvafiq mövqelərdə olduğunu daha yaxşı başa düşməyə və onları yaxşılaşdırmaq üçün hər şeyi etməyə kömək edəcək.
Bununla bağlı sizinlə vidalaşıram, hər hansı bir sualınız varsa, şərhlərdə onlara cavab verməkdən həmişə məmnunam. Və ya bəlkə məqaləni əlavə etmək istəyirsiniz?
Hər halda fikrinizi bildirin. !
Biz düşündüyümüz qədər unikal deyilik: bizdən əvvəl milyonlarla insan çaşqınlıq içində idi və bizdən sonra milyonlarla insan axtarış sistemini demək olar ki, eyni suallarla çaşdıracaq. Digər tərəfdən, biz çox gözlənilməzik: sorğumuzun tərtibinə anlamadığımız çoxlu sayda amillər təsir edir. Və ən azı bu səbəbdən hər birimizin xahişi nə qədər bayağı olsa da, fərdi yanaşma tələb edir.
Əslində, "Yandex" axtarış sisteminin bütün işi ikiyə endirilir sadə şeylər: insanın həqiqətən nəyi bilmək istədiyini anlamaq və bir neçə saniyə ərzində İnternetdəki milyardlarla sənəd arasından ona uyğun sənədləri tapmaq.
İzləri götürün
Axtarış sisteminin sistemi bir qədər Matrix-ə bənzəyir və axtarış robotu (özünə qərar verən mürəkkəb proqram) Agent Smith-ə bənzəyir.
Hər dəfə kiminsə nəyisə tapması lazım olanda bütün İnterneti axtarmamaq üçün axtarış sistemi işin bir hissəsini əvvəlcədən görür - minlərlə axtarış robotunun köməyi ilə İnternetdə nə olduğunu və harada olduğunu yoxlayır. Onlar iki növdür: əsas və sürətli. Əsası bütövlükdə İnternetdən yan keçir və emal edir, sürətli isə bir dəqiqə və ya hətta bir neçə saniyə əvvəl ortaya çıxan sənədlərdir. Robot proqramların vəzifəsi istifadəçilər üçün faydalı və faydalı olan məlumatları seçmək, onu emal etmək, köhnəlmiş və lazımsız olanların hamısını süzgəcdən keçirməkdir. Müəyyən mənada zibilin çeşidlənməsinə bənzəyir: bir qabda kağız, digərində şüşə, üçüncüdə plastik, dördüncüsündə qida tullantıları...
Robotlar tərəfindən toplanan məlumatlar "İnternetin snapshot" adlanan şəklini təşkil edir. O, minlərlə Yandex serverində saxlanılır və daim yenilənir. Snapshot hansı məlumatı haradan tapa biləcəyinizi bildirən siyahı kimidir. Bu siyahıda hər kəs var açar söz bir yox, milyonlarla “səhifə” sadalanır. Nuggetdəki bütün yeniləmələrin istifadəçilər üçün əlçatan olması üçün onlar depodan " əsas axtarış". Əsas robotdan məlumatlar bir neçə gündən bir, sürətli robotdan isə real vaxt rejimində ötürülür.
Təmiz suya gətirin
 İLLUSTRASİYA: EUGENE TONKONOGIY |
cavab axtarır sualı verildi hazırlanmış bir bazada maşın iki əsas çətinliklə üzləşir. Birinci çətinlik dildir. Sualın cavabını axtarmazdan əvvəl maşının bunu hansı dildə edəcəyini anlaması vacibdir. Məsələn, "Knyaz İqorun dəstəsi" sorğusunda rusdilli bir şəxs üçün axtarışda ordu haqqında məlumatlar olan sənədlər tapılacaq, ukraynalı üçün isə "Knyaz İqorun dəstəsi" də həyat yoldaşı Şahzadə Olqanın adı olan sənədlər verəcəkdir. , çünki Ukraynada "arvad" "Squad"dır. Zəngin rus dilində isə eyni söz və ya onun törəmələri müxtəlif mənaları ifadə edə bilər. Məsələn, “polad” sözü “polad” ismini və “olmaq” felinin formalarından biridir. İkinci çətinlik insan psixologiyasıdır. Sorğunu daxil edərkən, əlbəttə ki, sorğunun tərtibinin maşının beyninin işlədiyi riyazi analiz prinsiplərinə uyğunluğundan narahat olmadan tez və dəqiq cavab gözləyirik. Məsələn, daxil etməklə axtarış sətri"napoleon" sözü, insan nə almaq istəyir: tort üçün resept və ya fransız imperatorunun tərcümeyi-halı, brendi almaq və ya ruhi xəstəxananın ünvanını tapmaq?
 |
Belə vəziyyətlərdə bir anda bir neçə texnologiya işə düşür. Sorğunuzu daha da dəqiqləşdirmək üçün axtarış panelinin altında sizə bir neçə ipucu verə bilərsiniz. İstədiyinizi seçin: Napoleon reseptləri və ya Napoleon - Bonapart. Əgər istifadəçi avtomobilin sorğusuna cavab vermirsə və “Napoleon”a sözlər əlavə etmirsə, onda “Spektr” texnologiyası kömək edir: yardıma ümid etmədən maşın dərhal bir neçə kateqoriya üzrə məlumat axtarır (tort haqqında, və imperator haqqında və yak at haqqında ...). Bundan əlavə, fərdiləşdirmə mexanizmləri istifadəçini başa düşməyə kömək edir - bu istifadəçinin bir gün və ya iki və ya üç ay əvvəl kompüterindən nə axtardığı barədə maşının məlumatı: yemək bişirməklə bağlı Yandex-ə tez-tez suallar verirsinizsə, maşın əvvəlcə sizə nəticələri göstərəcəkdir. Napoleonun tort olduğunu deyirdi.
Kombinasiyalar: maraq klubları
Axtarış motorunun vəzifəsi sadəcə söz və ifadələri ehtiva edən sənədləri seçməklə məhdudlaşmır axtarış sorğusu... Maşın başa düşməlidir ki, hansı sənədlər bizim ziddiyyətli tələblərimizə cavab verir və niyə onlara cavab verir. Biz Napoleon haqqında məlumat almaq istəyirik - bir tort, və ya bəlkə biz bir neçə il iddialı adı ilə bir fitness klubu ziyarət etdi, və ya hətta qısa boylu insanların kompleksləri ilə bağlı tamamilə narahatıq. İstənilən halda problemin həlli qeyri-trivial yanaşma tələb edir.
 |
Yandex axtarış proqramının yaradıcıları bu yanaşmanı seçimi maşına həvalə etməklə tapdılar. Bir tərəfdən ruhsuz, lakin çox sürətli və ağıllı maşın fərd olaraq bizim haqqımızda heç nə bilmir və bilmək istəmir, digər tərəfdən isə hər biri haqqında mümkün qədər çox şey öyrənməyə çalışır.
İstifadəçinin coğrafi mövqeyinə və onun sorğularının linqvistik təhlilinə əlavə olaraq Axtarış Motoru insanlar üçün heç də aydın olmayan bir neçə min meyardan istifadə edir.
Məsələ ondadır ki, maşın bu kriteriyaları özü hazırlayır və yeniləyir.
O, sadəcə olaraq milyonlarla insanın üstünlükləri və istifadəçi davranışı haqqında məlumatları götürür və bu “arifmetik orta”nı sorğu tarixçəmizlə əlaqələndirir. Matrisi öz daxilində istiqamətləndirən, onun inkişaf etdirdiyi minlərlə istifadəçi maraqlarını müqayisə edən prinsiplər, çox vaxt “maraqların” prinsipcə nə ola biləcəyi ilə bağlı ənənəvi insan anlayışlarına uyğun gəlmir. Onlardan on minlərlə var. Bir-biri ilə fərqli, bəzən gülməli kombinasiyalar yaradırlar. Məsələn, belə birləşmələrdən biri ola bilər ki, axtarış nəticələri təzə yetişdirən şəxsin maraqlarına uyğun gəlir. Eyni zamanda, bir insan yalnız tritonlarla maraqlanmır, lakin artıq onları yetişdirir, ancaq ilk ildir.
Təxminlər. Kömək əlləri
 |
On minlərlə kriteriya əsasında istifadəçilərə nəyi və hansı ardıcıllıqla göstərilməli olduğunu matris, əlbəttə ki, özü (ali riyaziyyatın köməyi ilə) qərar verir. Lakin Matrix canlı insanlardan da istifadə edir - 1000 Yandex əməkdaşı, qondarma qiymətləndiricilər, müəyyən bir sorğu üçün axtarış nəticələrini qiymətləndirirlər (əlbəttə ki, hər sorğu qiymətləndirilmir və bu real vaxtda həyata keçirilmir) gözləntilərə uyğunluğu üçün daimi istifadəçi: maşın kimi rasional deyil, sözdə dəqiq deyil, ziddiyyətli və emosionaldır.
Onlar çoxdan Rusiya İnternetinin ayrılmaz hissəsinə çevriliblər. Axtarış motorları indi bunlar nəinki məlumat tapmaq üçün alət, həm də biznes üçün cəlbedici sahələri təmsil edən nəhəng və mürəkkəb mexanizmlərdir.
Axtarış sistemlərinin istifadəçilərinin əksəriyyəti axtarış sistemlərinin işləmə prinsipi, istifadəçi sorğularının işlənməsi sxemi, bu sistemlərin nədən ibarət olması və necə fəaliyyət göstərməsi haqqında heç vaxt düşünməyib (və ya düşünməyib, lakin cavab tapmayıb). .
Bu master-klass axtarış sistemlərinin necə işlədiyi sualına cavab vermək üçün nəzərdə tutulub. Ancaq burada sənədlərin sıralanmasına təsir edən amilləri tapa bilməzsiniz. Və daha çox şeyə inanmamalısınız ətraflı izahat Yandex əməliyyat alqoritmi. İlya Seqaloviçin sözlərinə görə, o, "Yandex" axtarış sisteminin texnologiyalar və inkişaf direktorudur, onu yalnız İlya Seqaloviçin özü "işgəncə altında" tanıya bilər ...
2. Axtarış sisteminin konsepsiyası və funksiyaları
Axtarış motoru İnternetdə axtarış aparmaq və istifadəçinin sorğusuna uyğunluq sırasına uyğun olaraq məlumat mənbələrinə keçidlərin siyahısını verməklə mətn ifadəsi (axtarış sorğusu) şəklində cavab vermək üçün nəzərdə tutulmuş proqram-texniki kompleksdir. sorğuya uyğun olaraq). Əsas beynəlxalq axtarış sistemləri: "Google", Yahoo, MSN. Rusiya İnternetində bunlar Yandex, Rambler və Aportdur.
Nümunə olaraq Yandex axtarış motorundan istifadə edərək axtarış sorğusu konsepsiyasına daha yaxından nəzər salaq. Axtarış sorğusu istifadəçi tərəfindən mümkün qədər qısa və sadə şəkildə tapmaq istədiyinə uyğun tərtib edilməlidir. Deyək ki, Yandex-də avtomobilin necə seçiləcəyi ilə bağlı məlumat tapmaq istəyirik. Bunu etmək üçün açın ana səhifə"Yandex" yazın və "avtomobili necə seçmək olar" axtarış sorğusunun mətnini daxil edin. Bundan əlavə, bizim vəzifəmiz sorğumuzla təqdim olunan İnternetdəki məlumat mənbələrinə keçidləri açmaqdır. Bununla belə, bizə lazım olan məlumatı tapmamaq tamamilə mümkündür. Əgər bu baş veribsə, o zaman ya sorğunuzu yenidən ifadə etməlisiniz, ya da axtarış motoru verilənlər bazasında həqiqətən sorğumuzla bağlı heç bir müvafiq məlumat yoxdur (bu, "Arxangelskdə avtomobili necə seçmək" kimi çox "dar" sorğular təyin edərkən ola bilər. ")
Hər hansı bir axtarış sisteminin əsas vəzifəsi insanlara axtardıqları məlumatları dəqiq çatdırmaqdır. Və istifadəçilərə sistemə "düzgün" sorğular etməyi öyrətmək, yəni. axtarış motorlarının prinsiplərinə uyğun gələn sorğular mümkün deyil. Buna görə də tərtibatçılar istifadəçilərə axtardıqları məlumatları tapmağa imkan verən axtarış motorlarının alqoritmləri və prinsiplərini yaradırlar.
Bu o deməkdir ki, axtarış sistemi istifadəçinin məlumat axtararkən düşündüyü kimi “düşünməlidir”. İstifadəçi axtarış sisteminə sorğu göndərəndə ehtiyac duyduğu şeyi mümkün qədər tez və asanlıqla tapmaq istəyir. Nəticəni aldıqdan sonra bir neçə əsas parametri rəhbər tutaraq sistemin işini qiymətləndirir. O, axtardığını tapıb? Əgər yoxsa, o, axtardığını tapmaq üçün sorğunu neçə dəfə təkrar etməli olub? O, nə dərəcədə aktual məlumat tapa bildi? Axtarış motoru sorğunu nə qədər sürətlə emal edirdi? Axtarış nəticələri nə dərəcədə əlverişli idi? İstədiyiniz nəticə birinci idi, yoxsa yüzüncü? Birlikdə nə qədər zibil tapıldı faydalı məlumat? Axtarış sisteminə müraciət etdiyiniz zaman, məsələn, bir həftə, yoxsa bir ay ərzində sizə lazım olan məlumatı tapa bilərsinizmi?
Bütün bu sualları cavablarla təmin etmək üçün axtarış motorlarının tərtibatçıları daim axtarışın alqoritmlərini və prinsiplərini təkmilləşdirir, yeni funksiyalar və imkanlar əlavə edir və sistemin işini sürətləndirməyə hər cür cəhd göstərirlər.
3. Axtarış sisteminin əsas xüsusiyyətləri
Axtarış motorlarının əsas xüsusiyyətlərini təsvir edək:
- Tamlıq
Tamlıq axtarış sisteminin əsas xüsusiyyətlərindən biridir, sorğu əsasında tapılan sənədlərin sayının İnternetdə bu tələbi təmin edən sənədlərin ümumi sayına nisbəti. Məsələn, İnternetdə "avtomobili necə seçmək olar" ifadəsini ehtiva edən 100 səhifə varsa və müvafiq sorğu üçün onlardan yalnız 60-ı tapılıbsa, axtarışın tamlığı 0,6 olacaq. Aydındır ki, nə daha dolğun axtarış, istifadəçinin ümumiyyətlə internetdə olması şərti ilə ona lazım olan sənədi tapmaması ehtimalı bir o qədər azdır.
- Dəqiqlik
Dəqiqlik axtarış sisteminin digər əsas xarakteristikasıdır ki, bu da tapılan sənədlərin istifadəçinin tələbinə nə dərəcədə uyğun olması ilə müəyyən edilir. Məsələn, “maşını necə seçmək olar” sorğusunda 100 sənəd varsa, onlardan 50-də “avtomobili necə seçmək olar” ifadəsi, qalanlarında isə sadəcə olaraq bu sözlər var (“doğru radio maqnitofonu necə seçmək və quraşdırmaq olar” avtomobildə”), onda axtarışın dəqiqliyi 50/100 (= 0,5) hesab olunur. Axtarış nə qədər dəqiq olsa, istifadəçi ona lazım olan sənədləri bir o qədər tez tapacaq, onların arasında müxtəlif növ “zibil”lərə bir o qədər az rast gələcək, tapılan sənədlərin sorğuya uyğun gəlməməsi bir o qədər az olacaq.
- Uyğunluq
Aidiyyət, sənədlərin İnternetdə dərc edildiyi andan axtarış sisteminin indeks bazasına daxil edilməsinə qədər keçən vaxtla xarakterizə olunan axtarışın eyni dərəcədə vacib bir komponentidir. Məsələn, maraqlı xəbərlərin ortaya çıxmasının ertəsi günü çoxlu sayda istifadəçi müvafiq sorğularla axtarış sistemlərinə müraciət edib. Obyektiv olaraq, bu mövzuda xəbər məlumatlarının dərcindən bir gündən az vaxt keçib, lakin əsas sənədlər artıq indeksləşdirilib və böyük axtarış sistemlərində "sürətli baza" adlanan şeyin mövcudluğu sayəsində axtarış üçün əlçatandır. gündə bir neçə dəfə yenilənən.
- Axtarış sürəti
Axtarış sürəti onun stresə qarşı müqaviməti ilə sıx bağlıdır. Məsələn, “Rambler Internet Holding” MMC-nin məlumatına görə, bu gün iş saatları ərzində “Rambler” axtarış sistemi saniyədə 60-a yaxın sorğu qəbul edir. Belə iş yükü fərdi sorğunun işlənmə müddətinin azaldılmasını tələb edir. Burada istifadəçinin və axtarış sisteminin maraqları üst-üstə düşür: ziyarətçi mümkün qədər tez nəticə əldə etmək istəyir və axtarış sistemi aşağıdakı sorğuların hesablanmasını ləngitməmək üçün sorğunu mümkün qədər tez emal etməlidir.
- Görünüş
4. Qısa hekayə axtarış motorunun inkişafı
İnternetin inkişafının ilkin dövründə onun istifadəçilərinin sayı az, mövcud məlumatların həcmi isə nisbətən az idi. Əksər hallarda, yalnız tədqiqatçıların İnternetə çıxışı var idi. Bu zaman İnternetdə məlumat axtarmaq vəzifəsi indiki qədər aktual deyildi.
Girişi təşkil etməyin ilk yollarından biri informasiya resurslarışəbəkə saytların açıq kataloqlarının, mövzulara görə qruplaşdırılan resurslara keçidlərin yaradılması idi. İlk belə layihə 1994-cü ilin yazında açılan Yahoo.com saytı olub. Kataloqdakı saytların sayı əhəmiyyətli dərəcədə artdıqdan sonra axtarış seçimi əlavə edildi sizə lazım olan məlumat kataloqa görə. Tam mənada, bu hələ axtarış sistemi deyildi, çünki axtarış sahəsi bütün İnternet resursları ilə deyil, yalnız kataloqda mövcud olan resurslarla məhdudlaşırdı.
Keçmişdə keçid kataloqları geniş istifadə olunurdu, lakin indiki dövrdə demək olar ki, tamamilə populyarlığını itirmişdir. Həcmi baxımından nəhəng olan müasir kataloqlar belə İnternetin yalnız əhəmiyyətsiz bir hissəsi haqqında məlumat ehtiva etdiyindən. DMOZ şəbəkəsinin ən böyük kataloqu (Açıq Kataloq Layihəsi də adlanır) 5 milyon resurs haqqında məlumat ehtiva edir, axtarış verilənlər bazası isə google sistemləri 8 milyarddan çox sənəddən ibarətdir.
1995-ci ildə Lycos və AltaVista axtarış sistemləri meydana çıxdı. Sonuncu uzun illər İnternetdə məlumat axtarışı sahəsində lider idi.
1997-ci ildə Sergey Brin və Larri Peyc bir hissəsi olaraq Google axtarış sistemini yaratdılar tədqiqat layihəsi Stanford Universitetində. Google hazırda dünyanın ən populyar axtarış motorudur!
1997-ci ilin sentyabrında rusdilli İnternetdə ən populyar olan Yandex axtarış sistemi rəsmi olaraq elan edildi.
Hal-hazırda üç əsas axtarış sistemi (beynəlxalq) mövcuddur - Google, Yahoo və öz verilənlər bazası və axtarış alqoritmləri var. Digər axtarış sistemlərinin əksəriyyəti (bunların çoxu var) sadalanan üçünün nəticələrini bu və ya digər formada istifadə edir. Məsələn, AOL axtarışı (search.aol.com) Google bazasından, AltaVista, Lycos və AllTheWeb isə Yahoo bazasından istifadə edir.
5. Axtarış sisteminin tərkibi və prinsipləri
Rusiyada əsas axtarış mühərriki Yandex, sonra - Rambler.ru, Google.ru, Aport.ru, Mail.ru. Üstəlik, hazırda Mail.ru Yandex axtarış sistemindən və verilənlər bazasından istifadə edir.
Demək olar ki, bütün əsas axtarış motorlarının digərlərindən fərqli olan öz strukturu var. Bununla belə, bütün axtarış sistemləri üçün ümumi olan əsas komponentləri ayırmaq mümkündür. Quruluşdakı fərqlər yalnız bu komponentlərin qarşılıqlı əlaqəsi mexanizmlərinin həyata keçirilməsi şəklində ola bilər.
İndeksləşdirmə modulu
İndeksləşdirmə modulu üç köməkçi proqramdan (robotlardan) ibarətdir:
Hörümçək (hörümçək) - internet səhifələrini yükləmək üçün nəzərdə tutulmuş proqram. Hörümçək səhifəni yükləyir və hər şeyi gətirir daxili bağlantılar bu səhifədən. Hər səhifənin html-kodu endirilir. Robotlar səhifələri yükləmək üçün HTTP protokollarından istifadə edirlər. "Hörümçək" aşağıdakı kimi işləyir. Robot serverə “get / path / document” sorğusunu və bəzi digər HTTP sorğu əmrlərini göndərir. Buna cavab olaraq robot xidmət məlumatı və sənədin özündən ibarət mətn axını alır.
- Səhifə url
- səhifənin endirilmə tarixi
- server cavabı http başlığı
- səhifənin əsas hissəsi (html kodu)
Crawler ("səyahət edən" hörümçək) - səhifədə tapılan bütün bağlantıları avtomatik olaraq tarayan proqram. Səhifədə mövcud olan bütün bağlantıları vurğulayır. Onun vəzifəsi bağlantılara əsaslanaraq və ya əvvəlcədən müəyyən edilmiş ünvan siyahısına əsasən hörümçəyin daha sonra hara getməli olduğunu müəyyən etməkdir. Crawler, tapılan bağlantıları izləyərək, axtarış sisteminə hələ də məlum olmayan yeni sənədləri axtarır.
Indexer hörümçəklərin yüklədiyi veb səhifələri təhlil edən proqramdır. İndeksləyici səhifəni onun tərkib hissələrinə ayırır və öz leksik və morfoloji alqoritmlərindən istifadə edərək təhlil edir. Müxtəlif səhifə elementləri təhlil edilir, məsələn, mətn, başlıqlar, keçidlər, struktur və üslub xüsusiyyətləri, xüsusi xidmət html teqləri və s.
Beləliklə, indeksləşdirmə modulu verilmiş resurslar toplusunu keçidlər üzrə taramaya, rast gəlinən səhifələri yükləməyə, qəbul edilmiş sənədlərdən yeni səhifələrə keçidlər çıxarmağa və bu sənədlərin tam təhlilini aparmağa imkan verir.
Verilənlər bazası
Verilənlər bazası və ya axtarış motoru indeksi məlumatların saxlanması sistemidir, indeksləşdirmə modulu tərəfindən yüklənmiş və emal edilmiş bütün sənədlərin xüsusi olaraq çevrilmiş parametrlərini saxlayan informasiya massividir.
Axtarış serveri
Axtarış serveri bütün sistemin vacib elementidir, çünki axtarışın keyfiyyəti və sürəti birbaşa onun fəaliyyətinin əsasını təşkil edən alqoritmlərdən asılıdır.
Axtarış motoru aşağıdakı kimi işləyir:
- İstifadəçidən alınan sorğu morfoloji təhlilə məruz qalır. Verilənlər bazasında olan hər bir sənədin informasiya mühiti yaradılır (sonradan formada, yəni sorğuya uyğun olaraq göstərilir mətn məlumatı axtarış nəticələri səhifəsində).
- Alınan məlumatlar giriş parametrləri kimi xüsusi diapazon moduluna ötürülür. Bütün sənədlər üçün məlumatlar işlənir, bunun nəticəsində hər bir sənəd üçün istifadəçi tərəfindən daxil edilmiş sorğunun aktuallığını və axtarış motoru indeksində saxlanılan bu sənədin müxtəlif komponentlərini xarakterizə edən öz reytinqi hesablanır.
- İstifadəçinin seçimindən asılı olaraq bu reytinq tənzimlənə bilər əlavə şərtlər(məsələn, sözdə "qabaqcıl axtarış").
- Sonra, bir parça yaradılır, yəni hər tapılmış sənəd üçün başlıq, sorğuya ən yaxşı uyğun gələn qısa annotasiya və sənədin özünə keçid sənəd cədvəlindən çıxarılır və tapılan sözlər vurğulanır.
- Alınan axtarış nəticələri istifadəçiyə SERP (Search Engine Result Page) - axtarış nəticələri səhifəsi şəklində ötürülür.
Gördüyünüz kimi, bütün bu komponentlər bir-biri ilə sıx əlaqəlidir və qarşılıqlı əlaqədə işləyir, axtarış motorunun işləməsi üçün aydın, kifayət qədər mürəkkəb bir mexanizm təşkil edir, bu da çoxlu resursların xərclənməsini tələb edir.
6. Nəticə
İndi yuxarıda göstərilənlərin hamısını ümumiləşdirək.
- İstənilən axtarış sisteminin əsas vəzifəsi insanlara axtardıqları məlumatları dəqiq çatdırmaqdır.
- Axtarış motorlarının əsas xüsusiyyətləri:
- Tamlıq
- Dəqiqlik
- Uyğunluq
- Axtarış sürəti
- Görünüş
- İlk tam hüquqlu axtarış sistemi 1994-cü ildə nəşr olunan WebCrawler layihəsi idi.
- Axtarış motoruna aşağıdakı komponentlər daxildir:
- İndeksləşdirmə modulu
- Verilənlər bazası
- Axtarış serveri
Ümid edirik ki, master-klassımız sizə axtarış sistemləri anlayışı ilə daha yaxından tanış olmağa, axtarış sistemlərinin əsas funksiyalarını, xüsusiyyətlərini və iş prinsipini daha yaxşı bilməyə imkan verəcək.