در ماه مه، گری ایلیز گوگل در کنفرانس SERP Conf 2024 در بلغارستان برای مصاحبه شرکت کرد و به سؤالی در مورد علل خزیدن اما فهرست (ایندکس) نشدن یا همان Crawled Not Indexed پاسخ داد و دلایل متعددی را ارائه کرد که برای اشکال زدایی و رفع این خطا مفید هستند.
اگرچه این مصاحبه در ماه مه اتفاق افتاد، ویدیوی مصاحبه کمتر گزارش شد و افراد زیادی آن را تماشا نکرده‌اند. من فقط در مورد آن شنیدم زیرا Olesia Korobka (@Giridja) همیشه فوق العاده اخیراً در یک پست فیس بوک توجه را به این مصاحبه جلب کرد.
بنابراین با وجود اینکه مصاحبه در ماه می انجام شد، اطلاعات هنوز به موقع و مفید است.
- پیشنهاد ویژه: دوره سرچ کنسول گوگل
دلایل خزیده شدن صفحه اما در حال حاضر ایندکس نشدن (Crawled Not Indexed)
Crawled Currently Not Indexed اشاره‌ای به گزارش خطا در گزارش نمایه سازی صفحه کنسول جستجوی گوگل است که هشدار می دهد صفحه‌ای توسط Google خزیده شده است اما ایندکس نشده است.
شباهت صفحه به سایر موارد قبلا ایندکس شده
در طول یک مصاحبه زنده شخصی سؤالی را ارسال کرد و از او پرسید:
«آیا خزیده شده اما نمایه نشده (Crawled Not Indexed) می تواند نتیجه شباهت بیش از حد یک صفحه به سایر مواردی باشد که قبلاً ایندکس شده‌اند؟ بنابراین آیا گوگل به شما پیشنهاد می کند که موارد دیگر به اندازه کافی وجود دارد و چیزهای شما به اندازه کافی منحصر به فرد نیستند؟
اسناد کنسول جستجوی گوگل پاسخی به این موضوع نمی دهد که چرا ممکن است گوگل یک صفحه را بخزد و آن را فهرست نکند، بنابراین این یک سوال قانونی است.
گری ایلیس پاسخ داد که بله، یکی از دلایل می تواند این باشد که قبلاً محتوای دیگری مشابه وجود دارد. اما او همچنین می گوید که دلایل دیگری نیز وجود دارد.
او جواب داد:
“بله، این می تواند یک چیزی باشد که می تواند معنی داشته باشد. Crawled Not Indexed، در حالت ایده‌آل ما آن دسته را به بخش‌های دانه‌دارتر تقسیم می‌کنیم، اما به دلیل نحوه وجود داده‌ها در داخل، بسیار سخت است.
این می تواند یک سری چیزها باشد، حذف فریب یکی از آن چیزهایی است که در آن صفحه را می خزیم و سپس تصمیم می گیریم آن را ایندکس نکنیم زیرا قبلاً نسخه‌ای از آن یا نسخه بسیار مشابه آن محتوا در فهرست ما موجود است و آن سیگنال های بهتری دارد
اما بله، اما این می تواند چندین چیز باشد.”
کیفیت عمومی سایت می تواند بر ایندکس شدن تأثیر بگذارد
گری سپس توجه خود را به دلیل دیگری جلب کرد که چرا گوگل ممکن است بخزد اما تصمیم بگیرد یک سایت را ایندکس نکند و گفت که این ممکن است یک مشکل کیفیت سایت باشد.
ایلیز سپس پاسخ خود را ادامه داد:
«و کیفیت کلی سایت، می‌تواند بسیار مهم باشد که چه تعداد از این موارد خزیده شده اما فهرست نشده در کنسول جستجو می‌بینید. اگر تعداد این URL ها بسیار زیاد باشد، می تواند به مشکلات کلی کیفیت اشاره کند.
و من این را از فوریه بسیار دیده‌ام، جایی که ناگهان تصمیم گرفتیم تعداد زیادی از URLها را در یک سایت فهرست‌بندی کنیم، فقط به این دلیل که … درک ما از سایت تغییر کرده است.
دلایل دیگر برای Crawled Not Indexed
گری در ادامه دلایل دیگری را برای اینکه چرا URL ها ممکن است خزیده شوند اما ایندکس نمی شوند ارائه کرد و گفت که ممکن است تصور گوگل از سایت تغییر کرده باشد اما ممکن است یک مشکل فنی باشد.
گری توضیح داد:
«…و یک احتمال این است که وقتی می‌بینید که این تعداد افزایش می‌یابد، درک… تصور Google از سایت تغییر کرده است، این می‌تواند یک چیز باشد.
اما پس از آن ممکن است خطایی وجود داشته باشد، برای مثال در سایت و سپس همان صفحه دقیقاً به هر URL در سایت ارائه شود. این نیز می تواند یکی از دلایلی باشد که شما آن عدد را بالا می بینید.
بنابراین بله، ممکن است چیزهای زیادی وجود داشته باشد.»
خلاصه و جمع بندی دلایل Crawled Not Indexed
گری پاسخ هایی ارائه کرد که باید به رفع اشکال Crawled Not Indexed کمک کند که چرا یک صفحه وب ممکن است خزیده شود اما توسط گوگل ایندکس نشود. این خلاصه دلایل کرال شدن اما ایندکس نشدن صفحه سایت توسط گوگل است:
- محتوا مشابه محتوایی است که قبلاً در صفحات نتایج موتور جستجو (SERP) رتبه بندی شده است.
- دقیقاً همان محتوا در سایت دیگری وجود دارد که سیگنال های بهتری دارد
- مشکلات کلی کیفیت سایت
- مسائل فنی
