საიტის სტრუქტურა
კარგად ორგანიზებული საიტი საძიებო სისტემებს საშუალებას აძლევს ეფექტურ “ქრავლინგში” (crawlers-საძიებო სისტემის ბოტები, რომლებიც სწავლობენ საიტის სტრუქტურას და კონტენტს), რაც უზრუნველყოფს ღირებული შინაარსის აღმოჩენას, ინდექსირებას და მაღალ რეიტინგს ძიების შედეგებში.
ამის საპირისპიროდ, რთულ ან ცუდად სტრუქტურირებულ საიტს შეუძლია შეაფერხოს ეს პროცესი, დახარჯოს ვებსაიტზე გამოყოფილი crawl რესურსები (crawl ბიუჯეტი) და შეამციროს საიტის ხილვადობა ძიების შედეგებში.
თქვენი ვებსაიტის არქიტექტურას შეუძლია ხელი შეუწყოს ან შეაფერხოს Google-ის უნარი, ეფექტურად გამოყოს crawl რესურსები.
Crawl-ის ბიუჯეტი, ან crawl-ის რესურსები, ეხება გვერდების რაოდენობას, რომელსაც Google ათვალიერებს განსაზღვრულ ვადებში კონკრეტულ ვებსაიტზე.
ეს ბიუჯეტი არ არის უსასრულო; სწორედ ამიტომ მისი დინამიკის გაგება მნიშვნელოვანია იმის გასაგებად, თუ როგორ აღმოაჩენს Google ან სხვა საძიებო სისტემები ახალ კონტენტს, ბმულებსა და განახლებებს.
ისეთ ფაქტორებს, როგორიცაა საიტის სიჩქარე, ხშირად განახლებადი კონტენტი, მისი ხარისხი და საიტის ავტორიტეტი (DA), შეუძლია გავლენა მოახდინოს იმაზე, თუ როგორ ანაწილებს Google crawl-ის რესურსებს.
ხარისხსა და crawl რესურსებს შორის ურთიერთობა არის SEO-ს ხშირად შეუმჩნეველი და ნაკლებად განხილული სფერო. ჩვენ ვიცით, რომ არესებოს ხარისხის ზღურბლი ინდექსაციისთვის.
მაგალითად Google-ს შეუძლია შეასრულოს „fingerprinting“ მეთოდი ვებსაიტის ბმულების (URL) სტრუქტურებზე და დააიგნოროს ის ბმულები რომლებსაც ნაკლებად მნიშვნელოვნად ჩათვლის. პროცესი სრულად ავტომატიზირებულია და ხორციელდება გუგლის ალგორითმების მიერ.
რა არის URL fingerprinting?
URL fingerprinting არის პროცესი, რომელსაც Google იყენებს ვებ გვერდების ანალიზისა და კატეგორიზაციისთვის მათი URL სტრუქტურის მიხედვით.
ეს მეთოდი საშუალებას აძლევს Google-ს, დაადგინოს შაბლონები, რომლებიც მიუთითებენ კონტენტის პოტენციურ ხარისხზე, შესაბამისობასა და უნიკალურობაზე.
URL-ის სტრუქტურული ელემენტების, მათ შორის დირექტორიების ნავიგაცია, მოთხოვნის პარამეტრებისა და კონვენციების დასახელების შესწავლით, Google-ის ალგორითმებს შეუძლიათ დაადგინონ ალბათობა იმის შესახებ, რომ ვებგვერდი შეიცავს ღირებულ ან დუბლირებულ შინაარსს.
ეს შეფასება გადამწყვეტ როლს თამაშობს იმის დადგენაში, ღირს თუ არა გვერდის გადახედვა (crawling), ინდექსირება და საბოლოოდ ძიების შედეგებში რეიტინგის მინიჭება.
ეს ხშირად ჩანს ვებსაიტებზე, რომლებიც ერთბაშად აქვეყნებენ ბმულების დიდ რაოდენობას, პროგრამების და ალგორითმების მიერ გენერირებული კონტენტით, მაგალითად ხელოვნური ინტელექტის მიერ გენერირებული კონტენტით.
გუგლის მიერ URL fingerprinting-ის გამოყენება
Google-ის მთავარი მიზანი კონტენტის ინდექსირებაში არის მომხმარებლის გამოცდილების გაუმჯობესება შესაბამისი, მაღალი ხარისხის ძიების შედეგების მიწოდებით.
URL fingerprint ემსახურება როგორც ფილტრს ამ მიზნის მისაღწევად, რაც ხელს უწყობს დაბალი ხარისხის კონტენტის სკრინინგს, სანამ ის მოიხმარს ღირებულ crawl რესურსებს.
მაგალითად, Google-ს შეუძლია დაადგინოს URL-ის შაბლონები, რომლებიც დაკავშირებულია დინამიურად გენერირებულ გვერდებთან, რომლებიც, როგორც წესი, გვთავაზობენ მცირე უნიკალურ მნიშვნელობას (მაგ., სესიის ID-ები, თვალთვალის პარამეტრები) და ახდენს მათი “ქრავლინგის” არაპრიორიტეტულად განსაზღვრას.
თუ 2000 URL-იანი ვებსაიტიდან ერთ ღამეში გადახვედით 3000 URL-იან ვებსაიტზე, თქვენ მნიშვნელოვნად გაზრდით საიტის მოცულობას, რომელიც უნდა შეისწავლონ Google-ის ბოტებმა. Google დაიწყებს ამ ახალი URL-ების დათვალიერებას და ალგორითმი დაადგენს, რომ მათი გარკვეული პროცენტი დაბალი ხარისხის ან დუბლირებული კონტენტია.
შემდეგ წინასწარ შეაფასებს და ამოიღებს ალგორითმის მიერ განსაზღვრულ ბმულებს და დაზოგავს crawl-რესურსებს, რათა პრიორიტეტი მიმართოს რესურსებზე რომელიც გაცილებით მაღალი ხარისხის, ღირებულ შინაარსთან და შესაბამისად მომხმარებლისთვის უკეთესი შედეგების მიწოდებასთანაა დაკავშირებული.
ამ სიმპტომის მაგალითებია Google Search Console-ში ინდექსირების ორი საერთო სტატუსის გამოჩენა:
- Crawled – currently not indexed
- Discovered- currently not indexed
Crawled – currently not indexed
ალბათ ხშირად შეგხვედრიათ, როდესაც Google Search Console ანიჭებს სტატუსს URL-ს, როგორც „Crawled – ამჟამად არ არის ინდექსირებული“, ეს მიუთითებს იმაზე, რომ Google-ის crawler-ი (Googlebot) ეწვია და დაათვალიერა ეს კონკრეტული გვერდი, მაგრამ არჩია არ ჩართოს იგი საძიებო ინდექსში. ეს ხშირად გამოწვეულია შემდეგით:
კონტენტის ხარისხი: კონტენტი შესაძლოა არ აკმაყოფილებდეს Google-ის ხარისხის სტანდარტებს. ის შეიძლება ჩაითვალოს როგორც არასრული, დუბლიკატი ან ნაკლებად ღირებული მომხმარებლებისთვის.
ტექნიკური პრობლემები: შეიძლება იყოს ტექნიკური პრობლემები გვერდთან, რომელიც ხელს უშლის მის ინდექსირებას, როგორიცაა noindex თაგების არასათანადო გამოყენება ან სხვა სიგნალებით, მაგალითად როგორიცაა robot.txt ფაილში გაწერილი შეზღუდვები, რომლებიც ხელს უშლის ინდექსირებას.
ხანდაზმულობა: URL-ები შეიძლება გამოვიდეს ინდექსირებიდან, თუ სიახლე/განახლება არის მნიშვნელოვანი ფაქტორი, რასაც Google განსაზღვრავს საძიებო ტერმინებით და მომხმარებლის შესაბამისი საძიებო ფრაზებით, რომლებზეც კონკრეტული URL არის გათვლილი.
Discovered – currently not indexed
ეს სტატუსი მიუთითებს, რომ Google-მა იცის URL-ის შესახებ (იგი აღმოაჩინა, სავარაუდოდ, საიტის რუქების ან სხვა გვერდების ბმულების მეშვეობით), მაგრამ ჯერ არ გაუვლია გვერდი და არ არის ინდექსირებული. გამოცდილებიდან გამომდინარე, ეს გამოწვეულია შემდეგით:
ბიუჯეტის შეზღუდვები: თუ საიტს აქვს გვერდების დიდი რაოდენობა, Google-მა შესაძლოა განსაზღვროს რომელი გვერდების შესწავლაა პრიორიტეტული, ისეთი ფაქტორებიდან გამომდინარე, როგორიცაა საიტის სტრუქტურა, გვერდის მნიშვნელობა ან შინაარსები. შედეგად, ზოგიერთი აღმოჩენილი გვერდი შეიძლება უფრო მეტხანს დაელოდოს ინდექსირებას.
დაბალი პრიორიტეტი: Google-მა შეიძლება შეაფასოს გარკვეული გვერდების crawl პრიორიტეტი სხვებთან შედარებით მეტად მნიშვნელოვნად ან პირიქით, სხვადასხვა სიგნალების საფუძველზე. თუ გვერდი დაბალ პრიორიტეტულად ითვლება, ის შეიძლება დარჩეს „Discovered“ მდგომარეობაში გარკვეული დროის განმავლობაში. ეს შეიძლება იყოს ის, რომ გვერდი დამუშავდა და შეფასდა დაბალ პრიორიტულად, ან URL-ის ნავიგაცია, რომელზეც ის მდებარეობს, შეფასდა დაბალ პრიორიტეტულად.
დროებითი ტექნიკური პრობლემები: ხანდახან, დროებითმა პრობლემებმა (როგორიცაა სერვერის მიუწვდომლობა “ქრავლინგის” დროს ან შეცდომები) შეიძლება შეაფერხოს პროცესი, რის შედეგადაც გვერდები აღმოჩენილ, მაგრამ არა ინდექსირებულ მდგომარეობაში რჩება.
დასკვნა
თქვენი ვებსაიტის არქიტექტურა და ორგანიზება გადამწყვეტ როლს თამაშობს საძიებო სისტემის მიერ თქვენი გვერდების შესწავლის და ინდექსირების სრულ პროცესში.
კარგად დაგეგმილ და სტრუქტურირებულ საიტს შეუძლია მნიშვნელოვნად გააუმჯობესოს crawl რესურსების განაწილება, რაც უზრუნველყოფს ღირებული შინაარსის/გვერდების ადვილად აღმოჩენას, ინდექსირებას და რეიტინგს.
შედარებისთვის, ცუდად ორგანიზებულ საიტს(ტოპ 10 შეცდომა საიტის დამზადებისას) შეუძლია გაფლანგოს ეს რესურსები, რაც გამოიწვევს ონლაინ ხილვადობის შემცირებას.
crawl-ის ბიუჯეტის ან crawl რესურსების — კონცეფციის გაგება და მასზე გავლენის ფაქტორები, როგორიცაა საიტის სიჩქარე, კონტენტის განახლებეი, სტრუქტურის ხარისხი და საიტის ავტორიტეტი (DA) მნიშვნელოვან როლს ასრულებს იმაში, თუ როგორ ხედავს და აფასებს Google თქვენს საიტს მთლიანობაში.
არსებობს ბევრი სხვადასხვა ონლაინ ხელსაწყო, უფასო და ფასიანი სერვისებით, რომლებიც დაგეხმარებათ შეაფასოთ თქვენი გვერდები ბევრი სხვადასხვა მახასიათებლით, აღმოაინოთ და აღმოფხვრათ ხარვეზები.
ჩემი გამოცდილებით ძალიან მარტივი ინტეფრეისი და ბევრი ხელსაწყოა თავმოყრილი Semrush-ზე და Ahrefs-ზე, თუმცა შესაძლოა არსებობს უფრო მძლავრი ტესტირების პლატფორმებიც.
გისურვებთ წარმატებას 
.
