crawl budget چیست ؟ کراول باجت چه کاری انجام می‌دهد؟ دلیل اهمیت بودجه خزش برای سئو چیست ؟ ممکن شما هم گاهی صفحات جدیدی منتشر کرده باشید و یا اینکه صفحات خود را آپدیت کرده‌اید، اما بعد از مدتی متوجه می‌شوید که گوگل سایت شما را کراول و ایندکس نکرده است.
نکتهای که لازم است در مورد خزنده‌های گوگل به خاطر داشته باشید این است که گوگل همیشه بلافاصله پس از انتشار، صفحات سایت شما را مورد بررسی قرار نمی‌دهد؛ گاهی ممکن است این روند هفته‌ها طول بکشد. ایندکس نشدن به موقع صفحات سایت به ویژه صفحات مهم میتواند باعث بی‌نتیجه ماندن تلاش‌های سئو شما شود. در این مرحله است که بودجه خزش یا crawl budget اهمیت بالایی پیدا میکند. شما باید در اولین فرصت، به بهینه سازی کراول باجت سایت خود اقدام کرده و به بهبود فرآیند سئو کمک کنید.
در این مقاله ما قصد داریم تا به طور کامل بررسی کنیم که کراول باجت چیست ؟ چرا برای سئو و بهینه سازی موتورهای جستجو از اهمیت بالایی برخوردار است و در نهایت اینکه چگونه این بودجه را بهینه کنیم؛ با ما همراه باشید.
آنچه در این مقاله می‌خوانیم:
- سرعت سایت؛ فاکتوری مهم برای موتورهای جستجو
- کراول باجت چیست ؟
- فاکتورهای بودجه خزش برای بررسی صفحات چیست ؟
- چه زمانی کراول باجت به یک مشکل تبدیل میشود؟
- از کجا بفهمیم چه صفحاتی کراول شده‌اند؟
- بهترین راههای بهبود crawl budget چیست ؟
- سخن پایانی
- سوالات متداول
سرعت سایت؛ فاکتوری مهم برای موتورهای جستجو
برای موتورهای جستجو موارد متعددی وجود دارند که براساس آن‌ها تصمیم می‌گیرند هر سایت چه جایگاهی باید داشته باشد. یکی از مهمترین آن‌ها سرعت سایت شماست. جالب است بدانید که براساس تحقیقات، کاربران امروزی، تنها سه ثانیه به وب سایت شما فرصت می‌دهند که به سوالاتشان پاسخ دهید. اگر نتوانید در این مدت زمان، نظر کاربران را جلب کنید، 53٪ کاربران سایتتان را ترک می‌کنند.
بنابراین اگر سایت کندی دارید، همین حالا مشکل آن را بررسی کرده و تلاش کنید که آن را برطرف کنید؛ در غیر اینصورت، شما با دست خودتان، ترافیک سایتتان را به رقبا تحوبل می‌دهید.
یکی از مهمترین مواردی که تاثیر بالایی روی سرعت سایتتان دارد، سرور و هاستی است که از آن استفاده می‌کنید. در زمان خرید هاست، یکی از دغدغه‌های اصلی این است که هاست ایران مناسب‌تر است یا هاست خارج؟ در همین راستا و برای پاسخ به این نیاز ما ما محصول جدیدی را عرضه می‌کنیم تحت عنوان هاست شناور یا هاست سئو.
شما با تهیه هاست شناور، از مزایای هاست خارج و ایران به صورت همزمان بهره می‌برید. سرعت بالا، پینگ پایین، ثبات و پایداری، عدم خطر تحریم، امینت اطلاعات و… از مزایایی است که این سرویس در اختیار شما می‌گذارد. ار قصد خرید هاست شناور ایرانی را دارید، می‌توانید به سایت ابرآراز مراجعه کرده و یا با شماره 86084594-021 تماس بگیرید.
crawl budget چیست ؟
کراول باجت یا بودجه خزش تعداد صفحاتی است که گوگل در مدت زمان مشخصی مثلا یک روز در سایت شما میخزد یا کراول میکند. این عدد متغیر است و میتواند هر روز در مقایسه با روزهای گذشته کاملا متفاوت باشد. گوگل ممکن است روزانه 6 صفحه، 500 صفحه و یا حتی 4،000،000 صفحه از سایت شما را بخزد. تعداد این صفحات با نام crawl budget یا بودجه خزش شناخته میشود.
این که چه میزان بودجه‌ای به سایت شما تعلق گیرد، کاملا به میزان فعالیت، اندازه سایت، لینک‌ها، سلامت و میزان خطاهایی وابسته است که در سایت شما وجود دارد. شما با بهینه سازی بسیاری از این موارد می‌توانید میزان بودجه خود را افزایش دهید تا صفحات بیشتری از سایتتان کراول شده و در نهایت رتبه بهتری در نتایج جستجو داشته باشید.
نگران نباشید! تمامی مواردی که برای بهبود بودجه خزش خود باید انجام دهید را در ادامه بررسی خواهیم کرد.
آشنایی با مهمترین فاکتورهای crawl budget برای بررسی صفحات
حال که دریافتید منظور از crawl budget چیست شاید با این سوال مواجه شوید که اصلا کراولر چگونه کار میکند؟ در قدم اول، خزنده‌ای مانند Googlebot، لیستی از URL های یک سایت را که قابل خزیدن هستند را دریافت میکند؛ پس از آن همه‌چیز به طور سیستماتیک از طریق این لیست ادامه پیدا میکند.
البته هر چند وقت یکبار فایل robots.txt سایت شما بررسی میشود تا تعیین شود که خزنده‌ها از دسترسی به چه صفاتی منع شده‌اند. در نهایت تمام صفحات، یکی پس از دیگری کراول می‌شوند. زمانیکه یک URL و محتویات آن توسط خزنده‌ها بررسی می‌شوند، URL هایی که در آن صفحات وجود دارند مجددا خزیده می‌شوند.
مواردی که باعث میشود تا گوگل متوجه شود که یک صفحه نیاز به crawl شدن مجدد دارد، عبارت‌اند از:
- دریافت لینکهای جدید از محتواهای داخلی سایت
- دریافت لینک جدید از شبکههای اجتماعی
- به روزرسانی نقشه سایت یا site map (اگر میخواهید به شکلی دقیق بدانید که نقشه سایت چیست و چگونه میتوان آن را ساخت، به وبلاگ ابرآراز مراجعه کرده و مقاله سایت مپ چیست را مطالعه کنید.)
البته مواردی که عنوان کردیم تنها گوشه کوچکی از دلایل کروال شدن سایت است و هیچ منبعی از اینکه تمامی دلایل کدامند، وجود ندارد. اما هر کاری را که احساس می‌کنید به شما و سایتتان کمک میکند تا بیشتر و با فاصله زمانی کمتری خزیده شوند، به لیست کارهای خود اضافه کنید.
چه زمانی کراول باجت به یک مشکل تبدیل میشود؟
تصور کنید سایت شما صفحات زیادی دارد و گوگل هم زمان زیادی را در سایت شما میخزد و صفحات متعددی را بررسی میکند. در این زمان، شما از نظر crawl budget ( بودجه خزش )مشکلی نخواهید داشت. اما این موضوع، زمانی به یک مشکل جدی تبدیل میشود که شما 250000 صفحه دارید و گوگل روزانه تنها 2500 صفحه را کراول میکند. در این حالت اگر شما اقدامی انجام ندهید، تقریبا 200 روز طول می‌کشد تا Google متوجه تغییرات صفحات شما بشود.
حال از کجا بفهمیم گوگل چه بودجه‌ای به سایت ما اختصاص داده است؟ این کار بسیار ساده است و تنها باید مراحل زیر را دنبال کنید. (در این مثال، اینگونه در نظر می‌گیریم که سایت شما URL هایی دارد که سایت کروال میکند اما ایندکس نمی‌شوند؛ شاید چون متا تگ noindex اضافه کرده‌اید):
تعیین تعداد صفحات موجود در سایت؛ ویرایش تعداد URL های نقشه سایت XML میتواند شروع خوبی باشد.
- مراجعه به سرچ کنسول گوگل
- ورود به قسمت تنظیمات یا setting
- ورود به قسمت Crawl stats
- بررسی میانگین صفحات خزیده شده در روز
- تقسیم تعداد صفحات بر عدد میانگین خزیدن در روز
- اگر عدد به دست آمده بالاتر از 10 بود بدین معناست که تعداد صفحات شما 10 برابر تعداد صفحات کراول شده توسط گوگل است. در نتیجه باید crawl budget را در نخستین فرصت بهینه کنید.
چه صفحاتی کراول شده‌اند؟
حال که دریافتید بودجه خزش چیست و چه زمانی ممکن است دردسرساز شود، باید بدانیم که اصلا کدام صفحات سایت ما کراول شده‌اند و کدام صفحات نه!
تنها راهی که اطلاعات درستی در این مورد به شما ارائه می‌دهد، گزارش‌های سرور سایت است. بهترین گزینه برای سایت‌های بزرگ، Logstash و Kibana هستند. برای سایت‌های کوچک‌تر نیز Screaming Frog میتواند گزینه مناسبی باشد.
بهترین راههای بهبود crawl budget چیست ؟
حال که با تمامی جوانب کراول باجت یا بودجه خزش آشنا شدید، زمان آن است که با هم بررسی کنیم که چه مواردی سبب بهبود crawl budget می‌شوند.
-
کاهش خطاهای سایت
نخستین مرحله برای افزایش بودجه خزش این است که مطمئن شوید، صفحاتی که کروال می‌شوند، کدهای درستی را بازمی‌گردانند:
- کد 200 به معنی OK و مناسب بودن همه چی
- کد 301 به معنای ریدایرکت و انتقال یک صفحه به صفحه دیگر (اگر میخواهید بدانید که ریدایرکت 301 چیست و چه تفاوتی با دیگر انواع ریدایرکت دارد، با مراجعه به وبلاگ ابرآراز مقاله ریدایرکت 301 چیست را مطالعه کنید.)
هر کد برگشتی دیگری به جز این دو مورد به معنای این است که سایت شما از بخشهای مختلف دچار مشکل است. برای دستیابی به این صفحات مي‌توانید از گزارش سرور و یا ابزارهایی مانند سرچ کنسول استفاده کنید.
-
مسدود سازی بخشهای غیر ضروری در سایت
در تمامی سایت‌ها صفحاتی وجود دارند که نیازی نیست توسط گوگل کراول و ایندکس شوند. نیاز است که شما این صفحات را با استفاده از robots.txt مسدود کنید. شما با این کار بودجه خزش یا کراول باجت ( crawl budget ) خود را برای صفحاتی صرف می‌کنید که از اهمیت بالاتری برخوردارند.
-
تاثیر استفاده کمتر از ریدایرکت 301 در crawl budget چیست ؟
برای اینکه بدانید چرا کاهش تعداد ریدایرکت 301 در بودجه خزش شما تاثیر دارد، بهتر است با روش کار آن آشنا شوید. زمانی که یک صفحه به صفحه دیگری ریدایرکت میشود، گوگل آن URL جدید را به لیست صفحاتی که باید کراول شود، اضافه میکند. برای مثال، زمانیکه ریدایرکت‌های زنجیه‌ای انجام می‌دهید، در تمام صفحات، دو تغییر مسیر دارید؛ در نتیجه کراول کردن زمان ییشتری طول می‌کشد.
-
دریافت لینکهای بیشتر
بیان کردن این موضوع آسان است اما انجام دادن آن دشوار. منظور از به دست آوردن لینکهای بیشتر (بک لینک در off page) این است که دیگران بدانند شما به عنوان یک مرجع می‌توانید شناخته شوید و به همین دلیل شما را باید به دیگران معرفی کرد. علاوه‌بر دیگر سایت‌ها، شبکههای اجتماعی می‌توانند بهترین انتخاب برای دریافت بک لینک باشند.
سخن پایانی
بهینه سازی crawl budget دشوار است. به زمان زیاد، گاهی تغییر استراتژی و رفع مشکلات فنی سایت نیاز دارد. با این حال از اهمیت بالایی برخوردار است که باید در سریع‌ترین زمان ممکن آن را بررسی کرده و در جهت بهبود آن اقدام کنید.
امیدواریم که این مقاله برای شما مفید بوده و به درستی دریافته باشید که منظور از crawl budget چیست و چگونه میتوان آن را بهبود داد. اگر در مورد موارد گفته شده به مشکلی برخوردید و یا اینکه علاقه داشتید در مورد موضوع خاصی اطلاعات کسب کنید، در قسمت کامنت با ما به اشتراک بگذارید تا در سریع‌ترین زمان ممکن، پاسخگوی نیازهای شما باشیم.
همچنین اگر میخواهید از جدیدترین اخبار حوزه تکنولوژی و فناوری باخبر شوید، خوشحال می‌شویم ما در لینکدین ابرآراز دنبال کنید.
