گوگل باعث قطع شدن ابزارهای SEO جهانی می شود

گوگل حذف نتایج جستجو را مسدود می‌کند و باعث قطعی ابزارهای سئو در خدمات ردیابی رتبه و کلمات کلیدی می‌شود.

گوگل اسکراپرهای وب را که داده‌های نتایج جستجو را جمع‌آوری می‌کنند، سرکوب کرد و باعث قطعی جهانی در بسیاری از ابزارهای محبوب ردیابی رتبه مانند Semrush شد که به ارائه داده‌های تازه از صفحات نتایج جستجو بستگی دارد.

اگر SERP های گوگل به طور کامل مسدود شوند چه اتفاقی می افتد؟ مقدار معینی از داده‌های ارائه شده توسط خدمات ردیابی مدت‌هاست که توسط الگوریتم‌هایی از منابع مختلف داده برون‌یابی شده است. ممکن است یکی از راه‌های دور زدن بلاک فعلی، برون‌یابی داده‌ها از منابع دیگر باشد.

قطعی ابزارهای SEO و مسدودی آنها

کاری که گوگل انجام می دهد هنوز هم تاثیر زیادی بر تازگی داده هایی دارد که ابزارهای SEO قادر به ارائه آن هستند. بسیاری از ابزارهای SEO وجود دارند که با قطعی داده‌هایی مواجه می‌شوند که معمولاً می‌توان از طریق حذف صفحات نتایج موتور جستجوی Google (SERP) به دست آورد.

@RyanJones، که چندین ابزار را اداره می کند، امروز در توییتی به روز رسانی کرد:

قطعاً ابزارهای من را نیز تحت تأثیر قرار می دهد – زیرا ما از یک تأمین کننده داده شخص ثالث استفاده می کنیم و همه ابزارهای اصلی دیروز مسدود شدند. خیلی ها هنوز هستند”

@seovision مشاهداتی را به زبان اسپانیایی (ترجمه شده در زیر) با استفاده از زبان محاوره‌ای اسپانیایی برای توصیف گوگل به عنوان سگی که نگهبان سبزیجاتی است که نمی‌خورد، مسدود می‌کند، باغبانی را که آنها را می‌خواهد مسدود می‌کند و منبع را برای همه غیرقابل دسترس می‌کند.

از دیروز به نظر می رسد که آنها یک سیستم ضد داده‌کاوی جدید را نیز در SERP ها راه اندازی کرده اند که سختگیرانه تر است. آنها در داده‌کاوی بسیار سخت می شوند. … مانند سگ باغبان، من داده ها را به شما نمی فروشم یا به شما اجازه نمی دهم آن را دریافت کنید.

Semrush احتمالاً پر استفاده ترین ابزاری است که داده های آن به روز نشده اند (طبق پست های آنلاین). گفتنی است، یکی از سمروش با من تماس گرفت و گفت که هیچ چیز غیرعادی در کار نیست و هیچ مشکل گسترده ای وجود ندارد.

ابزار محبوب سئو، رتبه بندی SE، سرویس دیگری است که داده های تازه را از دست می دهد.

@LauraChiocciora یک اسکرین شات از پیام دریافتی از ابزار رتبه‌بندی SE منتشر کرد که نشان می‌دهد ردیابی موقعیت، آنلاین و بی مشکل است اما ویژگی‌های SERP هنوز به دلیل «مشکلات فنی» وجود ندارد.

پیام کامل این است:

«ردیابی موقعیت دوباره آنلاین شده است. ردیابی ویژگی های SERP به دلیل مشکلات فنی هنوز در دسترس نیست. تیم ما در حال حاضر روی حل مشکل و ارائه داده‌ها در اسرع وقت کار می‌کند.»

داده‌کاوی SERP توسط Google ممنوع شده است

دستورالعمل‌های گوگل مدت‌هاست که بررسی خودکار رتبه در نتایج جستجو را ممنوع کرده است، اما ظاهراً گوگل به بسیاری از شرکت‌ها اجازه داده است که نتایج جستجوی خود را حذف کنند و برای دسترسی به داده‌های رتبه‌بندی به منظور ردیابی کلمات کلیدی و رتبه‌بندی هزینه دریافت کنند.

طبق دستورالعمل های گوگل:

«ترافیک تولید شده توسط ماشین (که به آن ترافیک خودکار نیز می‌گویند) به تمرین ارسال پرسش‌های خودکار به Google اشاره دارد. این شامل حذف نتایج برای اهداف بررسی رتبه یا انواع دیگر دسترسی خودکار به جستجوی Google است که بدون اجازه صریح انجام می شود. ترافیک تولید شده توسط ماشین منابع را مصرف می کند و در توانایی ما برای بهترین خدمات رسانی به کاربران اختلال ایجاد می کند. چنین فعالیت‌هایی خط‌مشی‌های هرزنامه و شرایط خدمات Google را نقض می‌کنند.»

مسدود کردن اسکراپرها پیچیده است

برای مسدود کردن اسکراپرها و قطعی ابزارهای SEO، بسیار نیاز به منابع دارد، به خصوص به این دلیل که آنها می توانند با انجام کارهایی مانند تغییر آدرس IP و عامل کاربر برای دریافت هر بلاکی به بلوک ها پاسخ دهند. راه دیگر برای مسدود کردن اسکراپرها از طریق هدف قرار دادن رفتارهای خاص مانند تعداد صفحات درخواست شده توسط کاربر است. تعداد بیش از حد درخواست های صفحه می تواند باعث ایجاد یک بلاک شود. مشکل این رویکرد این است که می‌تواند برای ردیابی تمام آدرس‌های IP مسدود شده که به سرعت به میلیون‌ها عدد می‌رسد، به منابع فشرده تبدیل شود.

گزارش ها در شبکه های اجتماعی

یک پست در گروه فیس بوک آزمایشگاه سیگنال های سئو خصوصی اعلام کرد که گوگل به شدت علیه وب اسکرپینگ ها ضربه می زند، به طوری که یکی از اعضا اظهار داشت که ابزار Scrape Owl برای آنها کار نمی کند در حالی که دیگران ذکر کردند که داده های Semrush به روز نشده است.

یک پست دیگر، این بار در لینکدین، به ابزارهای متعددی اشاره کرد که محتوای خود را به روز نمی‌کردند، اما همچنین اشاره کرد که مسدود کردن همه ارائه‌دهندگان داده را تحت تأثیر قرار نداده است، و اشاره کرد که Sistrix و MonitorRank هنوز کار می‌کنند. شخصی از شرکتی به نام HaloScan گزارش داد که تنظیماتی را برای از سرگیری داده‌کاوی داده ها از Google انجام داده و بازیابی کرده اند و شخص دیگری گزارش داده است که ابزار دیگری به نام MyRankingMetrics هنوز داده ها را گزارش می کند.

بنابراین، هر کاری که گوگل انجام می دهد، در حال حاضر بر همه اسکراپرها تأثیر نمی گذارد. ممکن است گوگل رفتار داده‌کاوی دادن خاصی را هدف قرار دهد، از پاسخ‌ها درس گرفته و توانایی مسدود کردن آن‌ها را بهبود بخشد. هفته‌های آینده ممکن است نشان دهد که گوگل در حال بهبود توانایی خود برای مسدود کردن داده‌کاوی ها است یا تنها بزرگترین آنها را هدف قرار می‌دهد.

پست دیگری در لینکدین بینش هایی در مورد تأثیر آن ارائه کرد، از جمله حدس و گمان اینکه چگونه مسدود شدن می تواند در نهایت منجر به منابع و هزینه های بالاتری شود که از کاربران نهایی ابزارهای سئوی SaaS دریافت می شود.

Natalia Witczyk (نمایه LinkedIn) بینش های زیر را از طریق LinkedIn ارائه کرد:

“تازه: Google شروع به تشدید اقدامات ضد داده‌کاوی خود می کند و محافظت های سخت گیرانه تری مانند مسدود کردن IP و CAPTCHA ها را معرفی می کند. ابزارهای محبوب سئو مانند Semrush، SE Ranking تحت تاثیر قرار گرفته اند.”

این حرکت گوگل استخراج داده ها را چالش برانگیزتر و پرهزینه تر می کند. در نتیجه، کاربران ممکن است با هزینه های اشتراک بالاتری مواجه شوند.

آیا هیچ یک از شما مشکلات داده را در ابزارهای SEO خود مشاهده می کنید؟

ویرایش: Ahrefs ادعا می کند که هیچ قطعی ابزارهای SEO وجود ندارد، بنابراین من نام آنها را از پاراگراف اول حذف کردم، با این حال برخی از کاربران تاخیر داده را گزارش کردند. به نظر می رسد Sistrix تحت تاثیر قرار نگرفته است.

رایان جونز در توییتی نوشت:

به نظر می رسد گوگل شب گذشته به روز رسانی را انجام داده است که اکثر اسکراپرها و بسیاری از API ها را مسدود می کند.

گوگل، فقط یک API پولی برای نتایج جستجو به ما بدهید. به جای آن به شما پول می دهیم.»