რა არის Googlebot

ავტორი Giorgi Aptsiauri
სტატია განახლდა: 22/08/2026

Googlebot

Googlebot არის საერთო დასახელება Google-ის საძიებო სისტემის ორი ტიპის ვებ-ქრავლერისთვის:

Googlebot Smartphone: მობილური ქრავლერი, რომელიც იმიტირებს მომხმარებელს მობილურ მოწყობილობიდან.
Googlebot Desktop: დესკტოპ ქრავლერი, რომელიც იმიტირებს მომხმარებელს დესკტოპ კომპიუტერიდან.

Googlebot-ის ტიპის დადგენა შესაძლებელია HTTP ჰედერის საშუალებით. ორივე ქრავლერი ერთსა და იმავე robots.txt-ის წესებს ექვემდებარება, ამიტომ შეუძლებელია robots.txt-ის გამოყენებით მხოლოდ Googlebot Smartphone-ის ან მხოლოდ Googlebot Desktop-ის სელექციური დაბლოკვა.

უმეტეს შემთხვევაში Google-ის საძიებო სისტემა ძირითადად აინდექსირებს კონტენტის მობილურ ვერსიას. შესაბამისად, Googlebot-ის მოთხოვნების უმეტესობა მობილური ქრავლერის გამოყენებით ხდება, ხოლო ნაკლები ნაწილი — დესკტოპ ქრავლერით.

როგორ იღებს Googlebot თქვენს საიტზე წვდომას

საიტებზე Googlebot-ის წვდომა საშუალოდ რამდენიმე წამში ერთხელ ხდება. თუმცა, მცირე პერიოდებში შესაძლოა ქრავლინგის სიხშირე გაიზარდოს. თუ თქვენს საიტს უჭირს Google-ის გაზრდილი მოთხოვნების მართვა, შესაძლებელია ქრავლინგის სიხშირის შემცირება.

მნიშვნელოვანი განახლება: 2026 წლის თებერვალში Google-მა მკვეთრად შეამცირა Googlebot-ის მიერ HTML ან სხვა მხარდაჭერილი ტექსტური ფაილიდან წამოღებული მაქსიმალური მონაცემის ზომა — 15MB-დან 2MB-მდე (86.7%-იანი შემცირება). HTML-ში მითითებული თითოეული რესურსი (CSS, JavaScript) ცალკე იტვირთება და მათზეც იგივე 2MB-იანი ლიმიტი მოქმედებს. ამ ზღვარის შემდეგ Googlebot წყვეტს გვერდის შესწავლას და მხოლოდ უკვე წამოღებულ ნაწილს აგზავნის ინდექსირებისთვის. PDF ფაილებისთვის ლიმიტი გაცილებით მაღალია — 64MB. ეს ზომის შეზღუდვა არაკომპრესირებულ მონაცემებზე ვრცელდება. Google-ის სხვა ქრავლერებს (მაგალითად, Googlebot Video ან Googlebot Image) შესაძლოა სხვა ზომის შეზღუდვები ჰქონდეთ.

პრაქტიკული დასკვნა საიტის მფლობელებისთვის: თუ თქვენი გვერდი მძიმე inline სკრიპტებით, დაუმუშავებელი მონაცემებით ან დიდი ზომის ჩაშენებული კოდით არის დატვირთული, Googlebot-მა შეიძლება მისი მხოლოდ ნაწილი წაიკითხოს — რაც კიდევ ერთხელ უსვამს ხაზს სუფთა, ოპტიმიზირებული კოდის მნიშვნელობას.

2026 წლის ივლისში Google-მა ასევე განაახლა crawl budget-ის ოფიციალური დოკუმენტაცია: ყველა საიტი იწყებს ერთნაირი, კონსერვატიული crawl-ლიმიტით, რომელიც საერთოა Google-ის ყველა ქრავლერისთვის — ანუ Googlebot-ის, სურათების ქრავლერისა და სხვა ბოტების მოთხოვნები ერთსა და იმავე “ბიუჯეტს” იზიარებენ.

როდესაც ქრავლინგი აშშ-ში მდებარე IP მისამართებიდან ხდება, Googlebot იყენებს წყნარი ოკეანის დროის ზონას (Pacific Time).

Googlebot-ის სხვა ტექნიკური მახასიათებლები აღწერილია Google-ის ქრავლერების მიმოხილვაში.

Googlebot-ის დაბლოკვა

Googlebot პოულობს ახალ URL-ებს უკვე ნანახ გვერდებზე ჩაშენებული ბმულების დახმარებით. საიტის “საიდუმლოდ” შენახვა თითქმის შეუძლებელია, რადგან თუნდაც ერთი ბმულის დაწკაპუნების შედეგად, URL შეიძლება სხვა საიტის referrer-ტეგში მოხვდეს და იქიდან გავრცელდეს.

თუ გსურთ Googlebot-ის მიერ საიტის ქრაულინგის შეზღუდვა, გამოიყენეთ:

robots.txt — გვერდის ქრავლინგის შესაჩერებლად
noindex — გვერდის ინდექსირების შესაჩერებლად
სხვა მეთოდები (მაგ. პაროლით დაცვა) — სრულად წვდომის დასაბლოკად

Googlebot-ის დაბლოკვა გავლენას ახდენს Google-ის საძიებო სისტემაზე (Discover-ის და სხვა ფუნქციების ჩათვლით), ასევე Google Images, Google Video და Google News სერვისებზე.

ღირს გახსოვდეთ ისიც, რომ Googlebot დღეს აღარ არის ერთადერთი მნიშვნელოვანი ქრავლერი — ისეთი AI-ის ბოტები, როგორიცაა OpenAI-ის GPTBot ან Anthropic-ის ClaudeBot, ცალკე იმართება robots.txt-ის საშუალებით და მათი დაშვება/დაბლოკვა დამოუკიდებელი გადაწყვეტილებაა, რომელიც Googlebot-ის წესებზე არ არის დამოკიდებული.

Googlebot-ის ავთენტიფიკაცია

სანამ Googlebot-ის დაბლოკვას გადაწყვეტთ, მნიშვნელოვანია იცოდეთ, რომ Googlebot-ის user-agent-ი ხშირად სხვა ქრავლერების მიერაც გამოიყენება. დარწმუნდით, რომ პრობლემური მოთხოვნა რეალურად Google-ს ეკუთვნის. Googlebot-ის ავთენტიფიკაციის საუკეთესო გზა არის წყაროს IP მისამართის reverse DNS-ით შემოწმება ან IP მისამართის შედარება Googlebot-ის ოფიციალურ IP დიაპაზონთან.