یکی از ابزارهای اصلی سئو سایت برای بهبود شرایط وبسایت‌ها در فضای اینترنت، Webmaster tools یا همان Search Console است. متخصصان سئو وب سایت با استفاده از این ابزار می‌توانند شرایط کلی سایت، انواع خطاهای موجود در آن، وضعیت کلمات کلیدی، بک لینک‌ها و… را بررسی کنند.
از مهمترین بخش‌هایی که گوگل طی چند سال گذشته آن را در سرچ کنسول کامل و کامل‌تر کرده، نحوه نمایش خطاهای گوگل وبمستر تولز است. در حال حاضر، گوگل خطاهای موجود در سرچ کنسول را به دو بخش اصلی Site Errors یا خطاهای سایت و URL Errors یا خطاهای URL تقسیم کرده است.
این روش دسته بندی خطاهای Search Console بسیار هوشمندانه انتخاب شده است. چرا که بین خطاهای موجود در سایت و خطاهای صفحات که روی سئو و بهینه سازی سایت و بهبود رتبه الکسا تاثیر می‌گذارد، تفاوت بسیار زیادی وجود دارد. خطاهای سطح سایت، به مراتب جدی‌تر بوده و می‌تواند آسیب‌های بسیار زیادی به سایت وارد کند. به عبارت دیگر می‌توان گفت خطاهای سایت پتانسیل بسیار بالایی برای آسیب به Usability یا کاربردپذیری سایت دارند؛ این درحالی است که خطاهای URL به دلیل آنکه برای یک صفحه مشخص هستند، فقط برای همان صفحه آسیب‌زا بوده و طبیعتا اولویت پایین‌تری نسبت به خطاهای سایت دارند.
سریع‌ترین راه برای دسترسی به Crawl Errors از مسیر Dashboard است. داشبورد یک پیش نمایش و دید کلی از شرایط سایت را در اختیار شما قرار خواهد داد. این قسمت مهمترین بخش‌های سرچ کنسول و به ویژه خطاهای گوگل وبمستر تولز را برای درک بهتر وضعیت کلی سایت به شما نمایش خواهد داد که در سه بخش قرار می‌گیرند:
- Crawl Errors
- Search Analytics
- Sitemaps
بنابراین شما می‌توانید در این قسمت، نگاهی سریع به همه پیغام‌های خطا و ارور سایت داشته باشید. اگر شما روزانه فقط همین بخش از Search Console را بررسی کنید، از اغلب مدیران سایت‌ها جلوتر خواهید بود.
-
خطاهای سطح سایت یا Site Errors
بخش Site Errors به طور کلی خطاهای سایت را به شما نمایش خواهد داد. ارورهای این بخش، خطاهای سطح بالایی هستند که می‌توانند روی شرایط کلی سئو سایت تاثیر بگذارند. بنابراین از این خطاها ساده نگذرید. البته در نظر داشته باشید، گوگل در داشبورد خطاهای ۹۰ روز گذشته را به شما نمایش خواهد داد.
اگر در ۹۰ روز گذشته، فعالیتی روی سایت خود داشته‌اید، احتمالا باید با چنین پیغامی مواجه شوید:
همچنین اگر در ۹۰ روز گذشته خطایی روی سایت شما رخ نداده باشد، حالت نمایش Site Errors به صورت زیر خواهد بود:
این حالت، بهترین شرایط موجود است. می‌توانید آن را به منزله دریافت کارت تشویق از جانب گوگل بدانید. از آنجا که ما به عنوان متخصصین سئو سایت، هرگز تاییدیه‌ای از گوگل دریافت نخواهیم کرد، از این لحظه ناب لذت ببرید!
چند وقت یک بار باید خطاهای سایت را بررسی کنیم؟
در یک دنیای ایده‌آل، شما باید هر روز به سرچ کنسول سر بزنید و آن را بررسی کنید تا مشکلی وجود نداشته باشد. با توجه به اینکه اغلب اوقات مشکل خاصی وجود ندارد، ممکن است بررسی روزانه سایت کمی یکنواخت و کسل کننده باشد. اما تصور کنید با عدم بررسی روزانه، یک پیغام خطای بسیار مهم و بحرانی را از دست بدهید!
در دیرترین حالت، باید هر ۹۰ روز شرایط خطاهای سایت را بررسی کنید. به این ترتیب می‌توانید پیغام‌های خطای ۹۰ روز گذشته را ببینید. اما توصیه همیشگی ما، بررسی مرتب ارورهای سایت است. در حالت کلی باید بدانید این بخش، حساس‌ترین و مهمترین بخش سرچ کنسول محسوب می‌شود و باید هر روز آن را بررسی کنید تا مطمئن باشید سایت از هر خطا و اروری مصون مانده است و بهینه سازی وب سایت به درستی انجام می‌شود.
دسته اول) خطاهای DNS
پیغام‌های خطای DNS(Domain Name System) اولین و برجسته‌ترین خطاهای سایت هستند. چرا که اولین قدم گوگل برای بررسی محتوا و سئو سایت شما دسترسی به آن است. بنابراین اگر بات گوگل مشکلات DNS داشته باشد، نمی‌تواند به دامنه سایت شما متصل شود. عدم اتصال خزنده گوگل با دامنه سایت به دلیل مشکلات timeout یا مشکلات lookup خواهد بود.
DNS Timeout یعنی گوگل نمی‌تواند به سایت دسترسی داشته باشد، چرا که دی‌ان‌اس سرور شما پاسخگو نیست.
DNS Lookup یعنی گوگل قادر به دسترسی به سایت نیست، زیرا DNS سرور با دامنه سایت ارتباط برقرار نمی‌کند.
همچنین ممکن است خطاهای DNS به دلیل بالا بودن زمان تاخیر برای بارگذاری سایت باشد. در این حالت، گرچه گوگل به خزنده‌های خود اجازه اتصال به سایت را می‌دهد؛ اما با تاخیر بالا در بارگذاری صفحات، تجربه کاربری بسیار ضعیفی برای کاربران سایت فراهم خواهد شد.
خطاهای DNS چقدر اهمیت دارند؟
خطای DNS باعث می‌شود خزنده گوگل هیچ نوع دسترسی به سایت شما نداشته باشد. بنابراین هیچ یک از فعالیت‌های سایت شما برای گوگل بات تعریف شده نخواهد بود. پس اگر در سرچ کنسول ارورهای مربوط به DNS داشتید، باید خیلی سریع اقدام کرده و از اتصال بین گوگل بات وسایت، در برابر هرآنچه که آن را تهدید می‌کند حفاظت کنید.
چگونه خطاهای DNS را برطرف کنیم؟
- در درجه اول، گوگل توصیه می‌کند از ابزار Fetch as Google استفاده کنید. با استفاده از آن می‌توانید متوجه شوید خزنده گوگل چگونه صفحات شما را می‌پیماید؟
در صورتی که فقط به دنبال برطرف کردن سریع خطای DNS و اصلاح وضعیت اتصال هستید، می‌توانید از Fetch بدون Render استفاده کنید. با این حال فرآیند کندتر Fetch and Render مفیدتر خواهد بود. با استفاده از این گزینه می‌توانید مقایسه کنید گوگل سایت شما را در مقایسه با یک کاربر چگونه مشاهده می‌کند؟
- در صورتی که گوگل نمی‌تواند فرایند Fetch and Render را به درستی انجام دهد، با تامین کننده DNS خود یعنی شرکت هاستینگ و زیرساختی که DNS شما را تامین می‌کند، تماس بگیرید. در این مرحله شما باید با شرکت مورد نظر، DNS خود را بررسی کنید تا بفهمید مشکل از کجاست؟ ممکن است مشکل از DNS باشد که در این صورت برطرف خواهد شد.
ابزار دیگری که برای بررسی اتصال سایت مورد استفاده قرار می‌گیرد، سایت ISUP.me نام دارد. در صورتی که اتصال DNS سایت شما قطع است، می‌توانید آدرس سایت را در این سایت وارد کنید تا مطمئن شوید سایت به طور کامل و برای همه قطع است یا فقط برای شما قطع شده است؟
دسته دوم) خطاهای Server
خطاهای سرور اغلب به این معنا هستند که سایت برای پاسخگویی به یک درخواست زمان بسیار زیادی را صرف می‌کند. در نهایت این زمان به قدری طولانی می‌شود که مدت زمان تعیین شده برای ارتباط با سایت به اتمام می‌رسد. هنگامی که گوگل بات می‌خواهد سایت شما را crawl کند، مدت زمان مشخصی منتظر می‌ماند تا صفحات سایت شما بارگذاری شوند. در صورتی که زمان تعیین شده بیش از حد طول بکشد، خزنده گوگل از تلاش برای خزش روی سایت شما دست می‌کشد و خطای سرور رخ می‌دهد. این خطا روی سئو سایت و بجربه کاربری اثر منفی بسیار جدی دارد.
ارورهای سرور با خطاهای DNS فرق دارند. ارورهای DNS به آن معنا هستند که خزنده گوگل حتی نمی‌تواند سایت را پیدا کرده و به آن دسترسی پیدا کند. اما ارورهای Server زمانی رخ می‌دهد که علی‌رغم دسترسی گوگل بات به سایت، صفحات سایت نتوانند بارگذاری شوند. در این حالت خزنده گوگل نتوانسته هیچ صفحه یا محتوایی را پیدا و آن را پیمایش کند.
یکی از دلایل رایجی که باعث وقوع خطای سرور می‌شود، جریان ترافیک بسیار زیاد در یک زمان روی سایت است. در چنین شرایطی، معمولا سرور نمی‌تواند حجم ترافیک ورودی را تحمل کند. برای جلوگیری از وقوع چنین خطایی، بهتر است مطمئن شوید هاستینگ شما که خدمات میزبانی سایت را ارائه می‌دهد، می‌تواند جابه‌جایی ناگهانی حجم زیادی از ترافیک را پشتیبانی کند.
ارورهای سرور مهم هستند؟
نظیر ارورهای DNS، خطاهای سرور هم از اهمیت بسیار بالایی برخوردار هستند. این ارورها نقش بسیار اساسی داشته و می‌توانند به شرایط کلی و سئو سایت شما آسیب بزنند. بنابراین در صورتی که ارورهای سرور را روی سایت خود مشاهده کردید، باید در اسرع وقت برای رفع آن‌ها اقدام کنید.
بنابراین، اولین قدم شما این است که اطمینان پیدا کنید خزنده گوگل می‌تواند به DNS سایت شما وصل شود. اما در صورتی که پس از اتصال به سایت، گوگل بات نتواند صفحات سایت شما را پیدا کند عملا فرقی برای شما نخواهد داشت.
چطور خطاهای Server را برطرف کنیم؟
ممکن است در لحظه‌ای که سایت شما به خوبی در حال فعالیت بوده و همه درخواست‌ها را به موقع پاسخ می‌دهد، روی وبمستر تولز با خطای سرور مواجه شوید. این حالت به آن معناست که احتمالا در گذشته مشکلی در سرور وجود داشته که باعث بروز این خطا شده؛ اما در حال حاضر مشکل برطرف شده است. با وجود اینکه در این لحظه مشکلی روی سایت نیست، شما باید اطمینان پیدا کنید در آینده مجددا با چنین پیغام‌هایی روبه‌رو نخواهید شد.
این نقل رسمی گوگل برای برطرف کردن خطاهای سرور است:
“در صورتی که با خطای سرور مواجه شده‌اید، از Fetch as Google استفاده کنید تا مطمئن شوید در حال حاضر گوگل بات می‌تواند به خوبی سایت شما را crawl کند. اگر خزنده گوگل محتوای سایت را به درستی به شما برگرداند، می‌توانید فرض کنید در حالت کلی گوگل به طور صحیح به سایت شما دسترسی دارد.”
باتوجه به اینکه خطاهای مختلفی برای سرور وجود دارد، باید هریک را بشناسید و متناسب با نوع خطا برای اصلاح آن اقدام کنید. انواع خطاهای سرور عبارت هستند از:
Timeout
Truncated headers
Connection reset
Truncated response
Connection refused
Connect failed
Connect timeout
No response
بررسی جداگانه هریک از این خطاها، فراتر از این مقاله است. اما برای آشنایی با این خطاها، می‌توانید به مقالات پشتیبانی گوگل درباره خطاهای سرور در بخش سئو و بهینه سازی سایت مراجعه کنید.
دسته سوم) خطاهای Robots
پیغام‌های ارور مربوط به Robots به آن معناست که گوگل بات نتوانسته است به فایل robots.txt سایت واقع در [yourdomain.com]/robots.txt دسترسی پیدا کند. یکی از ویژگی‌های جالب فایل robots.txt این است که تعریف آن برای همه سایت‌ها الزامی نیست. در واقع استفاده از آن فقط زمانی ضرورت پیدا می‌کند که شما نخواهید خزنده گوگل به صفحات خاصی از سایت شما دسترسی پیدا کند.
گوگل درباره فایل robots.txt اینطور نوشته است:
“استفاده از فایل robots.txt فقط زمانی برای شما الزامی خواهد بود که نخواهید خزنده گوگل به صفحات خاصی از سایت شما دسترسی پیدا کرده و آن را ایندکس کند. بنابراین در صورتی که تمایل داشته باشید گوگل بات همه صفحات و محتواهای موجود در سایت شما را پیمایش و ایندکس کند، نیازی به استفاده از این فایل نخواهید داشت. در صورتی که سایت شما فایل robots.txt نداشته باشد، خزنده گوگل درخواست مشاهده این فایل را به سرور سایت می‌فرستد و در جواب یک پیغام ۴۰۴ دریافت خواهد کرد. پس از آن گوگل بات همه صفحات سایت را بدون هیچ مشکلی ایندکس خواهد کرد.”
خطاهای robots چه میزان اهمیت دارند؟
خطاهای robots.txt نسبتا مهم هستند. برای مثال در مورد سایت‌های کوچکی که صفحات جدیدی ندارند و اخیرا تغییراتی روی آن‌ها صورت نگرفته است، رفع این ارور خیلی فوری و مهم نیست. اما در هر حال باید به این خطا رسیدگی شود. از طرفی در صورتی که محتوای سایت خود را روزانه تغییر می‌دهید یا محتوای جدید به آن اضافه می‌کنید، این موضوع برای شما اهمیت بالایی پیدا خواهد کرد. چرا که گوگل بات در صورت دسترسی نادرست به این فایل و تشخیص خطا روی آن، صفحات شما را پیمایش نکرده و در نتیجه صفحات جدید را ایندکس نخواهد کرد.
چگونه خطاهای مربوط به robots.txt را اصلاح کنیم؟
اول باید اطمینان پیدا کنید فایل robots.txt شما به درستی تنظیم شده است. دومرتبه بررسی کنید که دقیقا چه صفحاتی را در این فایل قرار داده‌اید؟ دسترسی گوگل بات را از چه صفحاتی حذف کرده‌اید؟ همچنین بررسی کنید آیا همه صفحاتی که Disallow کرده‌اید، به درستی انتخاب شده‌اند؟ گاهی به اشتباه صفحات مهمی که باید ایندکس شوند، در این فایل قرار می‌گیرند.
اگر فایل robots.txt شما کاملا صحیح به نظر می‌رسد و همچنان خطاهای مربوط به این فایل را دریافت می‌کنید، از یک ابزار چک کننده server header استفاده کنید تا ببینید آیا فایل شما خطاهای ۴۰۴ یا ۲۰۰ ندارد؟
در حالت کلی در نظر داشته باشید عدم تنظیم چنین فایلی برای سایت، بسیار بهتر از تنظیم نادرست آن است. بنابراین در صورتی که نمی‌توانید فایل robots.txt را به درستی تنظیم کنید آن را از روی سایت حذف کنید تا دردسرهای کمتری داشته باشید. چرا که در صورت عدم تنظیم چنین فایلی روی سایت، گوگل بات به صورت معمول همه صفحات سایت را کراول خواهد کرد. اما با تنظیم نادرست سایت، باعث می‌شوید گوگل به طور کل از پیمایش صفحات شما دست بکشد تا زمانی که خطاهای فایل robots.txt برطرف شود. به همین دلیل، باید از عملکرد صحیح فایل robots.txt مطمئن باشید. در غیر این صورت عواقب فاجعه‌باری برای سایت شما خواهد داشت.
-
خطاهای سطح آدرس یا URL Errors
مهمترین ویژگی خطاهای سطح URL این است که تاثیر آن‌ها فقط روی یک صفحه مشخص از سایت خواهد بود نه همه سایت. بنابراین شرایط بحرانی برای سایت به وجود نخواهند آورد.
گوگل سرچ کنسول مهمترین خطاهای موجود در صفحات را به تفکیک دسته‌بندی desktop, smartphone, feature phone آن به شما نمایش خواهد داد. برای برخی سایت‌ها که مقیاس بسیار بزرگی دارند، ممکن است داده کافی برای نمایش همه خطاهای موجود در صفحات وجود نداشته باشد. اما برای اکثر سایت‌ها همه خطاهای URL به طور کامل نمایش داده خواهد شد.
اگر شما هم از آن دسته افرادی هستید که دیدن اعلان‌های مربوط به خطاهای سئو و بهینه سازی سایت و مشاهده تعداد بالای پیغام‌های Error برایتان ناراحت کننده است و باعث افزایش استرس‌تان می‌شود، بد نیست بدانید:
اولا) گوگل مهمترین خطاها را اولویت‌بندی کرده و آن‌ها در اولین رتبه‌ها نمایش می‌دهد. بنابراین با اصلاح خطاهایی که در رتبه‌های بالا قرار دارند، شرایط صفحات تا حد قابل توجهی اصلاح خواهد شد.
دوما) برخی از این خطاها ممکن است قبلا اصلاح شده باشند و فقط اعلان آن‌ها باقی مانده باشد. پس نگران نباشید!
در این حالت اگر مطمئن هستید بسیاری از این خطاها قبلا اصلاح شده یا دیگر رخ نخواهد داد، می‌توانید همه اعلان‌ها را mark all کنید و پس از انتخاب همه آن‌ها گزینه mark as fixed را انتخاب کنید. با انجام این کار، همه خطاها از قسمت Dashboard پاک خواهند شد؛ اما خزنده گوگل در چند روز آینده دو مرتبه سایت را بررسی کرده و Errors را دو مرتبه برمی‌گرداند.
بنابراین آن دسته از پیغام‌های خطا که قبلا برطرف شده بودند و فقط اعلان آن‌ها باقی مانده بود دیگر نمایش داده نمی‌شوند. از طرفی اگر خطایی که نمایش داده شود به آن معناست که این خطا و تاثیرات آن همچنان روی سایت وجود دارد. در ادامه این خطاها را معرفی خواهیم کرد.
دسته اول) خطاهای Soft 404
یکی دیگر از انواع خطاهای گوگل وبمستر تولز برای سئو سایت، خطای Soft 404 نام دارد. این ارور زمانی رخ می‌دهد که یک صفحه به اشتباه در گروه صفحات موجود (کد ۲۰۰) نمایش داده می‌شود؛ در حالی که باید به عنوان صفحه ناموجود (کد ۴۰۴) نمایش داده شود.
وقتی با خطای Soft 404 مواجه می‌شوید، یعنی محتوای صفحه مورد نظر به هر دلیلی پیدا نشده است. در این حالت به جای نمایش صفحه محتوا، یک پیام به شما نمایش داده می‌شود که می‌گوید این صفحه یافت نشد. صاحبان سایت‌ها عموما برای محتوای پیغام خطای ۴۰۴ یک پیام جالب یا لیستی از صفحات و آدرس‌های مفید را برای کاربر نمایش می‌دهند. این مشکل به آن دلیل پیش می‌آید که گوگل نمی‌تواند تشخیص دهد محتوای صفحه مورد نظر موجود نیست.
در این حالت header HTTP باید کد ۴۰۴ به معنای “پیدا نشد” یا کد ۴۱۰ به معنای “رد شده” را نمایش دهد. در تصویر زیر نحوه ارسال درخواست و دریافت پاسخ از سرور را مشاهده می‌کنید.
گوگل درباره خطاهای گوگل وبمستر تولز نوع Soft 404 می‌گوید:
“شما باید برای صفحاتی که وجود ندارند از کد ۴۰۴ به معنای یافت نشد یا کد ۴۱۰ به معنای رد شده استفاده کنید. بازگرداندن یک کد به غیر از ۴۰۴ و ۴۱۰ برای صفحاتی که موجود نیستند یا هدایت کاربر به یک صفحه دیگر نظیر صفحه اصلی سایت به جای بازگرداندن ۴۰۴، می‌تواند مشکل‌ساز باشد. ” این در حالی است که سایت‌ها عموما برای چنین صفحاتی، کاربر را به یک صفحه موجود (کد ۲۰۰) منتقل می‌کنند. این صفحه اغلب محتوایی در حد چند جمله دارد که محتوای تایید شده‌ای از نظر گوگل سئو و بهینه‌سازی سایت محسوب نمی‌شود. به همین دلیل گوگل با چنین راه حل‌هایی موافق نیست.
یکی دیگر از مواردی که یباعث ایجاد خطای Sof 404 می‌شود، زمانی است که شما یک صفحه ناموجود را به یک صفحه موجود اما غیر مرتبط نظیر صفحه اصلی سایت ریدایرکت ۳۰۱ کرده باشید. البته اینطور به نظر می‌رسد که گوگل به صراحت اعلام نکرده در چنین شرایطی خطای Sof 404 رخ می‌دهد، بلکه به طور ضمنی به آن اشاره کرده است.
گرچه هدایت صفحه ناموجود به یک صفحه موجود مسیری جدید پیش روی کاربر قرار می‌دهد و ممکن است فرد زمان بیشتری روی سایت باقی بماند، اما هدایت کاربر از یک صفحه منسوخ به یک صفحه موجود غیر مرتبط شیوه مناسبی نیست.
همچنین، طبق تجربه شخصی خودم وقتی تعداد قابل توجهی صفحه ناموجود ۴۰۴ را به صفحه اصلی سایت ریدایرکت کنید، گوگل می‌تواند از آن‌ها به جای redirection 301 به عنوان خطای Soft 404 تعبیر کند. برعکس، هنگامی که شما صفحه منسوخ و ناموجود را به یک صفحه مشابه با محتوای مرتبط به صفحه ۴۰۴ ریدایرکت ۳۰۱ کنید، بعید است با خطای Soft 404 مواجه شوید.
آیا این خطا اهمیت بالایی دارد؟
اگر صفحاتی که دچار خطای Soft 404 شده‌اند، در گروه صفحات مهم و حیاتی سایت محسوب نمی‌شوند، می‌توان گفت این نوع خطا محدودیت خاصی ایجاد نکرده و مشکلی برای سایت ایجاد نخواهد کرد. بنابراین به نسبت سایر خطاهای موجود روی سایت، این مورد حساسیت و اولویت کمتری دارد.
اما هنگامی که صفحات مهم شما دچار خطای Soft 404 شده باشند، باید سعی کنید در اولین فرصت ارورهای آن‌ها را برطرف کنید. صفحات مهم شامل صفحه محصولات، دسته‌بندی‌ها و… هستند که نباید دچار چنین خطایی بشوند. در یک قاعده کلی هر صفحه‌ای که در کسب و کار شما اهمیت بالایی دارد، نباید ارور Soft 404 داشته باشد.
در صورتی که تعداد قابل توجهی خطای Soft 404 روی صفحات سایت خود دارید، نمی‌توانید باز هم آن را بی‌اهمیت در نظر بگیرید و باید هرچه زودتر برای اصلاح آن اقدام کنید.
چطور می‌توان خطاهای Soft 404 را برطرف کرد؟
برای صفحاتی که دیگر وجود ندارند:
- اجازه دهید صفحه با کد ۴۰۴ با ۴۱۰ نمایش داده شود. اطمینان پیدا کنید هدر سرور آن را با کد ۲۰۰ نمایش نمی‌دهد. طبیعتا پس از مدتی همه لینک‌ها و ترافیک‌های موجود روی این صفحه حذف خواهند شد.
- صفحات قدیمی ناموجود را به صفحه موجود و مرتبط به آن ریدایرکت ۳۰۱ کنید.
- پس صفحات ناموجود را به صفحات دیگر نظیر صفحه اصلی سایت ریدایرکت نکنید. اجازه دهید با کد ۴۰۴ نمایش داده شوند یا آن‌ها را به صفحات مرتبط و مشابه جدید ریدایرکت ۳۰۱ کنید.
برای صفحاتی که وجود دارند و نمی‌خواهید کد ۴۰۴ داشته باشند:
- مطمئن شوید که محتوای موجود روی این صفحات، محتوایی غنی، صحیح، کامل و مبتنی بر اصول سئو سایت باشد. چرا که محتوای کم (معمولا کمتر از ۳۰۰ الی ۵۰۰ کلمه) و بی‌کیفیت باعث بروز خطای Soft 404 خواهد شد.
- اطمینان حاصل کنید محتوای موجود در صفحه مورد نظر با کد ۲۰۰ نمایش داده می‌شود و به اشتباه کد Soft 404 را برنمی‌گرداند.
در مجموع باید گفت خطای Soft 404، ارور عجیبی است که به سردرگمی شما منجر خواهد شد. چرا که این خطا ترکیبی از خطای ۴۰۴ و صفحات عادی سایت محسوب می‌شود و ماهیت شفافی ندارد. اگر بتوانید صفحات مهم سایت خود را از نظر نحوه عملکرد بررسی کنید، مسیر خوبی در بهبود شرایط سایت خود خواهید داشت.
دسته دوم) خطاهای ۴۰۴
خطای ۴۰۴ هم از دیگر دسته‌های خطاهای گوگل وبمستر تولز هستند. ارورهای ۴۰۴ هنگامی پیش می‌آیند که خزنده گوگل سعی کند صفحه‌ای را که در سایت موجود نیست، crawl کند. گوگل خطای ۴۰۴ را زمانی پیدا می‌کند که متوجه شود سایر سایت‌ها و صفحات به یک صفحه ناموجود لینک داده‌اند.
خطاهای ۴۰۴ را احتمالا می‌توان بدترین نوع خطاهای خزنده گوگل در نظر گرفت. چرا که احساس بسیار بدی در کاربران ایجاد می‌کنند. با وجود این گوگل به صراحت اعلام کرده است:
“خطاهای ۴۰۴ هیچ تاثیری روی رتبه‌بندی سایت شما در گوگل نخواهند داشت. بنابراین با خیال راحت آن‌ها را نادیده بگیرید.”
این یک اعلامیه گمراه‌کننده برای سئوکاران مبتدی است. چرا که ممکن است بلافاصله بگویند: نه در صورتی که خطای ۴۰۴ برای صفحات مهم سایت باشند، نمی‌توانید آن را نادیده بگیرید.
اما زمانی که ما درباره خطاهای گوگل وبمستر تولز نوع ۴۰۴ صحبت می‌کنیم، عموما درباره صفحاتی که واقعا وجود ندارند حرف می‌زنیم. برای مثال وقتی شما آدرس google.com/searchconsole را جستجو می‌کنید به جای آن که به صفحه google.com/webmaster هدایت شوید، با خطای ۴۰۴ مواجه می‌شوید.
بنابراین در یک فرمول کلی باید گفت تشخیص اینکه چه زمانی خطای ۴۰۴ را نادیده بگیرید یا به آن توجه کنید بستگی به بررسی سایت مورد نظر و تجربه شخصی شما دارد.
با این حال Rand در سال ۲۰۰۹ قاعده مشخص و دقیقی برای تعیین نوع رفتار با خطای ۴۰۴ ارائه کرده است.
او گفت “من یک صفحه را گروه صفحات ۴۰۴ بی‌اهمیت قرار خواهم داد. مگر آنکه:
- از منابع خارجی (یعنی سایت‌های دیگر) لینک‌های مهمی به این صفحه داده شده باشد.
- مقدار قابل توجهی ترافیک و بازدید کننده واقعی داشته باشد.
- از لینک‌ها و صفحات مهم و ارزشمند سایت محسوب شود.”
به این ترتیب تصمیم‌گیری درباره اینکه چه لینک‌هایی از منابع خارجی بااهمیت یا ارزشمند محسوب می‌شوند و چه میزان بازدیدکننده یا ترافیک روی یک صفحه قابل قبول است، به عهده خود شما خواهد بود.
آیا خطاهای ۴۰۴ مهم هستند؟
پیغام‌های ارور ۴۰۴ یکی از پیچیده‌ترین و در عین حال ساده‌ترین انواع خطاهای سرچ کنسول هستند. برای مثال تعداد قابل توجهی از خطاهای ۴۰۴ روی سایت‌هایی با اندازه متوسط یا بزرگ، می‌تواند در عملکرد کلی سایت اختلالات جدی ایجاد کند.
اما در حالت کلی، در صورتی که خطاهای ۴۰۴ روی صفحات مهم سایت شما رخ بدهند، بسیار مهم و ضروری خواهند بود و در صورتی که صفحات بی‌اهمیت دچار این خطا شوند، همانطور که گوگل گفت می‌توانید آن را نادیده بگیرید. همیشه این احتمال وجود دارد که خطاهای متعددی روی سرچ کنسول شما نمایش داده شود. شما باید تا زمانی که به ریشه مشکل نرسیده‌اید آن‌ها را نادیده بگیرید.
چگونه خطاهای ۴۰۴ را اصلاح کنیم؟
اگر صفحات مهم و ارزشمند سایت شما دچار خطای ۴۰۴ شدند، طبیعتا شما نمی‌توانید آن‌ها را نادیده بگیرید. در چنین شرایطی اقدامات زیر را انجام دهید:
- بررسی کنید صفحه مورد نظر در سیستم مدیریت محتوای شما در حالت نمایش یا انتشار قرار دارد. گاهی صفحات به اشتباه در حالت ذخیره و پیش نمایش قرار می‌گیرند یا حتی به دلیل خطاهای انسانی از روی سایت حذف می‌شوند.
- مطمئن شوید نوع خطای این صفحه دقیقا ۴۰۴ است. ممکن است ارور صفحه را اشتباه تشخیص داده باشید.
- چک کنید خطای ۴۰۴ روی کدام نسخه از سایت شما صورت گرفته است؟ نسخه https آن موجود نیست یا نسخه http آن دچار خطا شده است؟ سایت با www باز شده است یا بدون آن؟
- اگر نمی‌خواهید صفحه را احیا کنید و قصد هدایت آن به صفحات دیگر را دارید، بررسی کنید صفحه مورد نظر از نظر محتوا و موضوع کاملا به صفحه ۴۰۴ مرتبط بوده و برای آن مناسب است.
به طور خلاصه، اگر صفحه شما به هر دلیلی از بین رفته است؛ دوباره آن را احیا کنید. در صورتی که نمی‌خواهید صفحه را مجددا زنده کنید، مطمئن شوید آن را به صفحه مرتبط و مناسبی ریدایرکت ۳۰۱ می‌کنید.
چطور از نمایش خطاهای ۴۰۴ قدیمی روی گزارش‌های سرچ کنسول جلوگیری کنیم؟
بر اساس توصیه گوگل درباره خطاهای گوگل وبمستر تولز بهتر است ارورهای ۴۰۴ را نادیده بگیرید. اما در صورتی که می‌خواهید از نمایش خطاهای ۴۰۴ قدیمی در سرچ کنسول جلوگیری کنید، باید به شیوه دیگری اقدام کنید.
در صورتی که کاربری آدرس سایت شما را با یک لینک نادرست و ناموجود جستجو کند با خطای ۴۰۴ مواجه می‌شود. اما در داشبور سرچ کنسول شما خطایی ثبت نخواهد شد. اما هنگامی که کاربر از سایت خود با لینک ناموجود به سایت شما بک لینک بدهد، خطای ۴۰۴ برای شما ثبت می‌شود.
برای مشاهده خطاهای ۴۰۴ سایت، مسیر Crawl Errors > URL Errors section را طی کنید:
روی URL که قصد اصلاح آن را دارید، کلیک کنید:
در صفحه مورد نظر دنبال لینک‌ها باشید. این روش اغلب سریع‌تر از جستجو در کدهای صفحه است.
گرچه کار سختی است؛ اما در صورتی که قصد دارید خطاهای ۴۰۴ قدیمی را به طور کامل از گزارش‌های سرچ کنسول حذف کنید، باید همه لینک‌های موجود به صفحه را حذف کنید. حتی لینک‌هایی که در سایت‌های دیگر وجود دارد. اگر در site map قدیمی‌تان صفحات ۴۰۴ وجود دارد، می‌توانید در site map جدید خود همه آن صفحات را حذف کنید.
دسته سوم) خطاهای Access denied
گروه دیگر ارورهای مربوط به URL با نام Access denied شناخته شده و مانع از دسترسی گوگل بات به صفحه مورد نظر می‌شود. در این حالت برخلاف خطای ۴۰۴، خزنده گوگل به طور کل اجازه دسترسی و خزش روی صفحه را ندارد. هنگامی که ارور Access denied رخ می‌دهد، دسترسی خزنده گوگل به صفحه مورد نظر از یکی روش‌های زیر مسدود خواهد شد:
- گاهی به اشتباه روی یکی از صفحات مهم سایت شرطی قرار می‌دهید که کاربران برای دسترسی به محتوای آن روی سایت login شوند یعنی وارد سایت شوند. در این حالت گوگل بات نمی‌تواند صفحه مورد نظر را مشاهده کرده و به آن دسترسی داشته باشد.
- ممکن است فایل txt اجازه دسترسی خزنده گوگل به برخی صفحات، فایل‌ها یا حتی کل سایت را به طور کامل مسدود کرده باشد.
- احتمال دارد شرکت هاستینگ دسترسی گوگل بات را به سایت شما را بلاک کرده باشد.
آیا خطاهای Access denied مهم هستند؟
نظیر خطاهای ۴۰۴ و Soft 404 اگر صفحات مهمی از سایت شما درگیر خطای Access denied هستند، باید دراولین فرصت برای برطرف کردن این خطاها اقدام کنید. اما در صورتی که صفحات بی‌اهمیتی با این خطا درگیر هستند می‌توانید این ارورها را نادیده بگیرید.
برای رفع خطای Access denied چه روشی را پیش بگیریم؟
برای اصلاح این خطا باید عنصری را که باعث مسدود شدن دسترسی گوگل بات به سایت شده است، حذف کنید:
- شرط ورود به سایت را برای صفحات مهم سایت که می‌خواهید خزنده گوگل به آن‌ها دسترسی داشته باشد، حذف کنید.
- فایل txt را بررسی کنید. ممکن است صفحات مورد نظر را به اشتباه در این فایل قرار داده و دسترسی گوگل بات را به آن‌ها مسدود کرده باشید.
- می‌توانید از txt tester استفاده کنید. با بررسی این فایل می‌توانید هشدارهای موجود روی فایل robots.txt را دریافت کرده و آن‌ها را برطرف کنید.
- از گزینه Fetch as Google استفاده کنید تا ببینید گوگل بات سایت شما را چگونه مشاهده می‌کند.
در کل در نظر داشته باشید مسدود شدن دسترسی گوگل بات به صفحات سایت شما، به ویژه اگر این اتفاق برای صفحات زیادی رخ دهد می‌تواند بر رتبه و سئوی سایت شما اثر منفی بگذارد. پس ساده از این خطاها نگذرید و آن‌ها را مورد بررسی قرار دهید.
دسته چهارم) خطاهای Not followed
مواظب باشید این خطاها را با لینک‌های nofollow اشتباه نگیرید. ارور Not Follow یا عدم پیگیری از انواع خطاهای گوگل وبمستر تولز بوده و به این معناست که خزنده گوگل نمی‌تواند URL مورد نظر را پیگیری کند. اغلب این خطاها به دلیل وجود اشکالاتی در ساختار Flash, Javascript یا ریدایرکت‌ها رخ می‌دهد.
خطاهای Not Follow چقدر اهمیت دارند؟
اگر شما این خطا را روی URLهایی داشته باشید که در گروه صفحات مهم سایت‌تان محسوب می‌شوند، قطعا موضوع اولویت و اهمیت بالایی پیدا خواهد کرد. طبیعتا در صورتی که خطای Not Follow روی صفحات کم اهمیت و قدیمی سایت بروز کند، اهمیت و فوریت کمتری خواهد داشت. با وجود این باید این خطاها نیز نظیر هر ارور دیگری برطرف شوند.
خطاهای مربوط به Not Follow را چطور برطرف کنیم؟
گوگل موارد زیر را به عنوان گزینه‌هایی که احتمالا گوگل بات و سایر موتورهای جستجو را دچار ارور Not Follow خواهد کرد، معرفی کرده است:
JavaScript
Cookies
Session IDs
Frames
DHTML
Flash
برای بررسی شرایط سایت و رفع این خطا می‌توانید از ابزار Fetch and Render استفاده کنید. با این کار به شرایط سایت خود از دید گوگل نگاه خواهید کرد و احتمالا درک مشکل آن آسان‌تر خواهد شد. علاوه براین بعضی با نصب بعضی افزونه‌های گوگل نظیر User-Agent Switcher، می‌توانید برای مرور صفحات خود از گوگل بات تقلید کرده و از دید او به صفحات سایت نگاه کنید.
اگر به عنوان خزنده گوگل نمی‌توانید صفحات سایت یا محتوای مهم موجود در صفحات را به دلیل استفاده از بعضی تکنولوژی‌ها مشاهده کنید، پس مشکل موجود در صفحات را پیدا کرده‌اید. گاهی هم بعضی از URLها به دلایلی نظیر عدم داشتن لینک بهینه برای خزش گوگل بات یا کمبود محتوای قابل توجه از طریق خزنده گوگل Follow نخواهند شد.
دسته پنجم) خطاهای Server errors & DNS errors
گوگل در زیر مجموعه خطاهای گوگل وبمستر تولز برای URL، مجددا ارورهای مربوط به Server و DNS را آورده است. این ارورها در صفحات هم مشابه حالت Site است. بنابراین برای درک بهتر این دو خطا به بخش خطاهای Server و DNS سایت مراجعه کنید. تنها تفاوت این خطا در Site و URL این است که تاثیر خطای مورد نظر روی کل سایت یا فقط روی URL مورد نظر خواهد بود. بنابراین اگر تنظیمات و پیکربندی‌های مختلفی برای صفحات مختلف سایت ایجاد کرده‌اید، در این بخش ممکن است خطاهایی دریافت کنید.
خطاهای Server errors & DNS errors چقدر اهمیت دارند؟
در کل درباره خطاهای گوگل وبمستر تولز در بخش URL، با فوریت و اولویت کمتری روبه‌رو هستیم. چرا که مشکلات این نوع خطاها محدود به همان صفحاتی هستند که درگیر ارور مربوطه شده‌اند. بنابراین در صورتی که خطای سرور یا DNS روی صفحات مهم و ارزشمندی از سایت ایجاد نشده است، می‌توانید با اولویت پایین‌تری برای اصلاح آن‌ها اقدام کنید. برعکس هنگامی که این خطاها روی صفحات ارزشمند سایت ایجاد شده باشند، باید در اولین فرصت برای رفع آن‌ها اقدام کرد.
در یک جمع‌بندی کلی ارورها و خطاهای URL را می‌توان در شکل زیر خلاصه کرد:
در صورتی که برای بهینه سازی و سئو سایت خود مشکلی دارید، خدمات سئو تیم لابراتوار رسانه به شما کمک خواهد کرد.
واقعا مقاله عالی و کاملی بود. خیلی تخصصی دارید جلو میرید . ممنونم ازتون