همانطور که در فصل 1 مشاهده کرید موتور های جستجو ماشین های پاسخگو هستند.

انها وجود دارند برای کشف کردن ، فهمیدن ودسته بندی تمام محتوا های موجود در اینترنت به منظور پاسخ  دهی به سوالاتی که جستجوگران میپرسند.

برای نشان دادن محتوا در نتایج جستجو ، ابتدا باید محتوای شما برای موتورهای جستجو قابل مشاهده باشد.

این شاید مهم ترین بحث در سئو باشد:

اگر سایت شما توسط کرول ها پیدا نشود هیچ راهی برای نمایش در SERP وجود ندارد.

موتور های جستجو چگونه کار میکنند؟

موتور های جستجو سه عملکرد اصلی دارند.

1.کراول ها: اینترنت را برای پیدا کردن محتوا جستجو میکنند و به دنبال محتوا برای هر لینک هستند

2.ایندکس: محتوا هایی که توسط کراول ها پیدا شده را ذخیره و مرتب سازی میکنند.

3.رتبه بندی: نمایش بهترین محتوایی که مرتبط با سوال جستجوگران باشد.

کراول های موتور جستجو چیست؟

کراول فرایندی است که طی آن موتورهای جستجو تیمی از روبات ها (معروف به کراول  یا اسپایدر) را برای یافتن مطالب جدید و به روز ارسال می کنند.

محتوا میتواند متفاوت باشد(صفحه وب ، عکس ، ویدئو وpdf و ….) اما صرف نظر از فرمت تمامی محتوا ها توسط لینک ها پیدا میشوند.

ربات های گوگل کار را با پیدا کردن چند صفحه شروع میکنند و لینک های جدید دنبال میکنند.

با جستجو در لینک ها بعد از پیدا کردن محتوای جدید انها را به فهرستی به نام Caffeine اضافه میکنند.

یک پایگاه داده بزرگ از لینک های پیدا شده.

بعد از اینکه کاربر سوالی را جستجو کرد اگر محتوا میتوانست پاسخ خوبی برای سوال باشد لینک مورد نظر از لیست بازیابی و به کاربر نشان داده میشود.

فهرست موتور های جستجو چیست؟

موتور های جستجو پس از فرایند یافتن و جمع اوردی اطلاعات انها را در فهرستی ذخیره میکنند.

یک پایگاه داده بزرگ از اطلاعات پیدا شده که برای نمایش به کاربران به اندازه کافی خوب باشند.

رتبه بندی موتور های جستجو

هنگامی که فردی جستجو انجام میدهد. موتورهای جستجو فهرست خود را برای مطالب مناسب جستجو می کنند

سپس به امید حل سوال جستجوگر ، آنها را نمایش می دهند.

این ترتیب نتایج جستجو بر اساس اهمیت ، به عنوان رتبه بندی شناخته می شود.

به طور کلی ، می توانید فرض کنید هرچه وب سایت رتبه بالاتری داشته باشد ، موتور جستجو معتقد است که سایت مطالب مرتبط تری با پرسش جستجوگر دارد.

می توان دسترسی کراول موتور جستجو را از بخشی یا تمام سایت مسدود کرد

یا به موتورهای جستجو دستور داد که از ذخیره صفحات خاص در فهرست خود جلوگیری کنند.

اگر میخواهید محتوای شما توسط جستجوگر ها پیدا شود باید اطمینان حاصل کنید که صفحات وبسایتتان برای کراول ها قابل دسترس است، در غیر اینصورت سایت شما به همان اندازه نامرئی است.

کرولینگ: آیا موتورهای جستجو می توانند صفحات شما را پیدا کنند؟

کرولینگ: آیا موتورهای جستجو می توانند صفحات شما را پیدا کنند؟

همانطور که یادگرفته اید، اطمینان از این که سایت شما توسط کراول ها جستجو شود و ایندکس شود پیش نیاز نمایش در SERP میباشد.

اگر شما یک وبسایت دارید ایده خوبی است ببینید چه تعداد از صفحات وبسایتتان در فهرست وجود دارد.

با این کار میتوانید بفهمید ایا تمام صفحات توسط کراول ها جستجو میشود؟

یکی از راه های چک کردن صفحات فهرست شده استفاده از یک اپراتور جستجو پیشرفته است.

در قسمت بالای سرچ گوگل اینچنین تایپ کنید”site:yourdomain.com” با این کار نتایج موجود در فهرست گوگل برای شما نشان داده میشود.

ممکن است اعداد نشان داده شده در گوگل دقیق نباشد ولی میتوانید متوجه شوید که کدام یک از صفحات سایت شما در فهرست گوگل وجود دارند و چگونه در نتایج نشان داده میشوند.

برای دریافت نتایج دقیق تر میتوانید از گزارشهای موجود در Google Search Console استفاده کنید.

اگر در حال حاضر اکانت ندارید میتوانید رایگان ثبت نام کنید.با این ابزار میتوانید نقشه سایت را برای سایتتان ارسال کنید و همچنین بر صفحاتی که در گوگل اضافه شده نظارت کنید

اگر سایتتان در هیچ کجای نتایج جستجو نشان داده نشد ممکن است چند دلیل وجود داشته باشد:

  • سایتتان جدید است و هنوز توسط کراول ها جستجو نشده.
  • سایتتان به هیچ وبسایت خارجی لینک نشده.
  • سایت شما دارای کد هایی است که به کراول ها اجازه معرفی به موتور های جستجو را نمیدهد.
  • سایت شما به دلیل استفاده از تکنیک های نامناسب توسط گوگل جریمه شده.

اکثرا فکر میکنند گوگل میتواند صفحات مهم را پیدا کند ،  اما به راحتی فراموش میکنند که احتمال این هم وجود دارد که ربات های گوگل صفحاتی که نمیخواهید را نیز پیدا کنند.

این ها ممکن است شامل صفحات قدیمی با محتوای ضعیف ، ادرس های تکراری صفحات ، صحاتی که کد تبلیغاتی دارند ، صفحاتی که برای تست ایجاد شده اند و ….

میتوانید برای هدایت ربات های گوگل به صفحات یا بخش های خاص سایتتان از robots.txt استفاده کنید.

Robots.txt

این فایل درقسمت روت ( ریشه )  سایتتان ( به عنوان مثال yourdomain.com/robots.txt ) قرار میگیرد

راهنمایی است برای موتور های جستجو که کدامیک از بخش های ساییتان را باید کراول کنند کنند و کدام بخش را نباید. و همچنین سرعتی که سایت شما را کراول میکنند.

ربات های گوگل چگونه با فایل  robots.txt رفتار میکنند.

  • اگر ربات ها نتوانند فایل txt را پیدا کنند ، کل سایت را جستجو میکنند.
  • اگر بتوانند این فایل را پیدا کنند ، معمولا از طبق راهنمای موجود در سایت پیش رفته و سایت را جستجو میکنند.
  • اگر ربات ها با اروری برخورد کنند و نتوانند به این فایل دسترسی پیدا کنند و تعیین کنند که این فایل وجود دارد یا نه ، در نتیجه سایت را جستجو نمیشود.

همه ربات های وب از فایل robots.txt پیروی نمیکنند به این دلیل که ممکن است بعضی افراد سود جو از این فایل برای دستیابی به محتوای خصوصی استفاده کنند.

شاید منطقی به نظر برسد که دسترسی کراول ها را به صفحاتی مانند مدیریت و ورود به سیستم مسدود کنید که در فهرست گوگل نشان داده نشود با قرار دادن این ادرس ها در فایل robot.txt هکر ها میتوانند به راحتی به انها دسترسی داشته باشند.

بهترین راه برای فهرست نشدن این صفحات این است که صفحه ورودی انها قبل از فایل robot.txt قرار دهید به جای اینکه ادرس را درون آن بگذارید.

شما میتوانید اطلاعات بیشتری راجع به robot.txt در قسمت اموزش مربوط به این فایل بخوانید.

 تعریف پارامتر های آدرس در GSC

بعضی از سایت ها ( رایج تر در سایت های فروشگاهی ) با ادرس مختلف توسط اضافه کردن پارامترهای خاص به ادرس ایجاد میکنند.

اگر خرید اینترنتی انجام داده باشید احتمالا برای جستجوی اسان تر از فیلتر استفاده کرده اید. به عنوان مثال شما میتوانید کفش را در امازون جستجو کنید و سپس با توجا به سایز،رنگ و مدل جستجوی خود را فیلتر کنید با این کار ادرس کمی متفاوت میشود.

https://www.example.com/products/women/dresses/green.htmhttps://www.example.com/products/women?category=dresses&color=greenhttps://example.com/shopindex.php?product_id=32&highlight=green+dress&cat_id=1&sessionid=123$affid=43

 

چگونه گوگل میتواند دریابد که کدام یک از ادرس های وبسایت شما برای نمایش به جستجوگران است؟

گوگل به بهترین شکل آدرس ها را تشخیص میدهد ولی شما میتوانید پارامتر های مربوط به ادرس دهی را در Google Search Console تعریف کنید تا بتوانید به گوگل بگویید چگونه صفحاتتان ادرسی شده

 

ایا کراول ها میتوانند تمام محتوا های مهم سایتتان را پیدا کنند؟

 

تا الان یاد گرفته اید که چگونه کراول های موتور جستجو را از محتوا های بی اهمیت دور نگه دارید.

حالا وقت این است که یاد بگیرید که چگونه بهینه سازی به ربات های گوگل برای دسترسی به محتوای مهم کمک کنید.

گاها موتور های جستجو میتوانند قسمت هایی از سایتتان را با کراول کردن پیدا کنند اما صفحات یا بخش هایی ممکن است به دلایلی پنهان شوند

این بسیار مهم است که اطمینان پیدا کنید که تمام صفحات سایتتان فهرست میشوند و نه فقط صفحه اصلی.

آیا محتوای شما در پشت فرم های ورود به سیستم پنهان است؟

 

اگر کاربران نیاز به ورود ، پر کردن فرم و یا جواب به نظرسنجی قبل از دسترسی به محتوای اصلی داشته باشند.موتور های جستجو نمیتونند این محتوای حفاظت شده را ببینند.کراول ها قطعا قصد ورود ندارند

 

آیا به فرمهای جستجو تکیه می کنید؟

ربات ها نمیتوانند از فرم های جستجو استفاده کنند.برخی بر این باورند درصورت قرار دادن جستجو در سایت موتور های جستجو میتوانند هر انچه بازدیدکنندگان جستجو کرده اند را پیدا کنند.

 

ایا موتور های جستجو میتوانند مسیر های سایت شما را دنبال کنند؟

دقیقاً همانطور که یک خزنده باید سایت شما را از طریق لینک های سایت های دیگر کشف کند ، به یک مسیر پیوند در سایت خود نیز نیاز دارد تا آن را از صفحه به صفحه دیگر راهنمایی کند.

اگر صفحه ای دارید که می خواهید موتورهای جستجو ان را پیدا کنند ، اما به هیچ یک از صفحات دیگر پیوندی ندارد ، باید بانید که این صفحه کاملا نامرئی است.

برخی سایت ها اشتباهات فراوانی در ساختار مسیرهای سایت انجام میدهند که باعث میشود دسترسی به انها برای موتور های جستجو امکان پذیر نباشد و مانع لیست شدن انها در نتایج جستجو میشوند.

ایا موتور های جستجو میتوانند مسیر های سایت شما را دنبال کنند؟

 

ایا معماری اطلاعات شما واضح است؟

معماری اطلاعات ، عملی برای سازماندهی و برچسب زدن مطالب در وب سایت برای بهبود کارآیی و یافتن کاربران است.

بهترین معماری اطلاعات بصری است ، به این معنی که کاربران لازم نیست خیلی سخت فکر کنند تا بتوانند از طریق وب سایت شما یا چیزی پیدا کنند.

سایت مپایا از سایت مپ استفاده میکنید؟

نقشه سایت یک لیست شامل تمام ادرس های وبسایت شماست که کراول ها میتوانند از ان برای پیدا کردن و فهرست کردن محتوای سایتتان استفاده کنند

.یکی از اسان ترین راه ها برای اینکه مطمئن شوید گوگل میتواند صفحات با اهمیت بالای وبسایتتان پیدا کند این است که یک فایل با استاندارد های گوگل ایجاد کرده و ان را در کنسول جستجوی گوگل قرار دهید.

هنگامی که نقشه سایت را بارگذاری کردید نیاز به اپدیت مجدد ان برای مسیر یابی بهتر نیست این فایل قطعا میتواند به کراول ها برای دنبال کردن صفحات مهم شما کمک کند.

اگر سایت شما هیچگونه لینک خارجی ندارد میتوانید با قرار دادن نقشه سایت در کنسول جستجوی گوگل سایتتان را در فهرست جستجو قرار دهید.

آیا خزندگان هنگام تلاش برای دسترسی به آدرسهای اینترنتی شما دچار خطا می شوند؟

در فرآیند کراول کردن آدرس های اینترنتی در سایت شما،ممکن است با ارور مواجه شوند.

شما میتوانید در کنسول جستجوی گوگل و در قسمت “ارور های کراول ” گزارش لینک هایی که ممکن است دارای ارور باشند را مشاهده کنید

فایل های لاگ موجود در سرور همچنین میتواند اطلاعات دیگری مانند فرکانس کروال ها نیز در اختیارتان قرار دهد،اما از آنجا که دسترسی و جدا کردن لاگ فایل های سرور یک تاکتیک پیشرفته تر است ، ما در راهنمای مبتدی این موضوع را بررسی نمیکنیم.

قبل از اینکه بخواهید کار مفیدی با ارور کراول ها انجام دهید نیاز هست ارور سرور و ارور”پیدا نشد” را در کنید.

اروکد 4XX :هنگامی که کراول های موتور جستجو نمیتوانند به دلیل ارور های کلاینت به محتوا دسترسی پیدا کنند

ارور 4XX از جمله ارور مربوط به کاربران است،این به این معناست که لینک دیخواست شده حاوی سینتکس های بدی است.

یکی از رایج ترین ارور های 4xx ارور “404- پیدا نشد” است.

این ها ممکن است به دلیل پاک شدن صفحه یا شکسته شدن لینک انتقال دهنده باشد.

وقتی موتور جستجو به ارور 404 برخورد میکند نمیتواند به لینک دسترسی داشته باشد،وقتی کاربران با این ارور موتجه شوند انها ممکن است نا امید شوند و صفحه را ترک کنند.

کد 5XX : هنگامی که کراول های موتور جستجو به دلیل خطای سرور نمی توانند به محتوای شما دسترسی پیدا کنند

ارور های  5XX مربوط به ارور های سرور هستند.به این معنی است که سروری که سایت در ان قرار دارد نتواسته درخواست جستجوگران یا موتور های جستجو را برای دسترسی به صفحه براورده ند.

در گزارش های موجود در کنسول جستجوی گوگل در قسمت ” ارور کراول ها ” یک تب مخصوص برای اینگونه ارور ها وجود دارد.

این ارور معمولا برای این رخ میدهد که زمان درخواست برای لینک مورد نظر به پایان رسیده پس ربات های گوگل این درخواست را رها میکنند.

برای یاد گیری بیشتر در مورد اینکه چگونه میتوانید خطاهای اتصال به سرور را رفع کنید میتوانید مستندات گوگل را مشاهده کنید.

خوشبختانه راهی وجود دارد که به جستجوگرها و موتورهای جستجو بگویید که صفحه شما تغییر کرده است

تغییر مسیر 301 (دائمی)

کد 301 به معنی این است که صفحه کاملا به ادرس جدید منتقل شده، بنابراین از هدایت آدرس های اینترنتی به صفحات بی ربط خودداری کنید.

کد 301 به خودی خود بدان معنی است که این صفحه به طور دائم به یک مکان جدید منتقل شده است

بنابراین از هدایت آدرس های اینترنتی به صفحات نامربوط خودداری کنید

شما همچنین میتوانید از کد 302 برای هدایت صفحات استفاده کنید

اما باید در نظر داشته باشید که این کد برای انتقال صفحات به صورت موقت استفاده میشود

فهرست سازی: موتورهای جستجو چگونه صفحات شما را تفسیر و ذخیره می کنند؟

پس از اطمینان از بهینه سازی سایت برای کراول ها نوبت به این میرسد که مطمئن شوید ساییتان در فهرست قرار میگیرد.

درست است ولی تنها به این دلیل که سایت شما میتواند توسط کروال های موتور های جستجو پیدا شود لزوما به این معنی نیست که میتواند در فهرست نیز ذخیره شود.

در فصل قبل در قسمت کراول ها در رابطه با اینکه موتور های جستجو چگونه صفحات سایتتان را پیدا میکنند بحث کردیم.

این فهرست جایی است که صفحات کشف شده شما ذخیره می شوند.

بعد از اینکه یک خزنده یک صفحه پیدا کرد ، موتور جستجو دقیقاً مانند مرورگر ، آن را ارائه می دهد.

در فرآیند انجام این کار ، موتور جستجو محتوای آن صفحه را تحلیل می کند. تمام این اطلاعات در فهرست آن ذخیره می شود.

آیا می توانیم ببینم چگونه یک کراول ربات گوگل صفحات وبسایتمان را مشاهده می کند؟

بله، نسخه ذخیره شده صفحه شما میتواند نشان دهنده این باشد که اخرین بار چه زمانی ربات های گوگل ان را جستجو کردند.

برای مشاهده صفحات ذخیره شده کافیست در صفحه جستجوی گوگل از قسمت کشویی گزینه ی cached را انتخاب کنید.

 

ایا صفحات شما تا به حال از فهرست حذف شده؟

بله صفحات ممکن است از فهرست حذف شوند ! بری از دلایل اصلی یک لینک عبارتند از:

  • پیدا نکردن صفحه با ارور ” پیدا نشد ” (4XX) یا ارور سرور (5XX) این میتواند تصادفی باشد
  • لینک دارای تگ noindex باشد

این برچسب را می توان توسط صاحبان سایت برای آموزش موتور جستجو برای حذف صفحه از فهرست آن افزود.

  • دسترسی کراول ها با اضافه کردن پسوورد قبل از دسترسی بازدیدکنندگان به صفحه مسدود شده.

اگر فکر میکنید صفحه ای در وبسایت خود دارید که قبلا در فهرست گوگل بوده و دیگر نشان داده نمیشود ، میتوانید با استفاده از ابزار بازرسی گوگل میتوانید وضعیت صفحه را بفهمید.

به موتورهای جستجو بگویید چگونه سایتتان را فهرست بندی کنند

دستورالعمل های متا ربات ها

متا تگ ها دستورالعمل هایی هستند که میتوانید در مورد نحوه برخورد با صفه وب خود به موتور های جستجو ارائه دهید.

شما میتوانید برای کراول های موتور های جستجو مشخص کنید “این صفحه را در فهرست نتایج موتور جستجو قرار نده”.

این دستورالعمل ها توسط متا تگ های موجود در قسمت <head> در صفحه HTML و یا یا از طریق X-Robots-Tag در هدر HTTP شما اجرا میشوند.

ربات های متا تگ

متا تگ ربات ها می توانند در تگ <head> صفحه وب شما استفاده شوند. این می تواند تمام یا موتورهای جستجو خاص را حذف کند. در زیر متداول ترین متا تگ ها ، همراه با موقعیت های انها نوشته شده که شما می توانید از آنها استفاده کنید.

index/noindex:

میتوانید به موتور های جستجو بگویید کدام صفحات باید کراول شوند و در فهرست موتور های جستجو نمایش داده شوند.

ولی اگر شما از no index انتخاب کنید به این معنی است که میخواهید صفحه مورد نظر در نتایج جستجو نشان داده نشود .

در حالت پیش فرض موتور های جستجو تمام صفحات را فهرست خواند کرد پس استفاده از index  الزامی نیست.

اگر بخواهید صفحه ای را از فهرست گوگل بردارید باید آن را no index کنید.( به طور مثال صفحات پروفایل کاربران ) ولی همچنان بخواهید که کاربران به ان دسترسی داشته باشند.

follow/nofollow:

به موتورهای جستجو می گوید که آیا پیوندهای موجود در صفحه باید دنبال شوند یا نه.

Follow:

ربات ها تمام لینک های موجود در صفحه را بدون در نظر گرفتن صحت ان دنبال میکنند.

Nofollow:

با برگزیدن این مورد موتور های جستجو لینک های درو صفحه را دنبال نمیکنند.

به طور پیش فرض تمتم صفحات Follow هستند.

Nofollow اغلب با noindex استفاده میشود. زمانی که شما میخواهید صفحه و لینک های ان در فهرست موتور جستجو نمایش داده نشود میبایست از این قابلیت استفاده کنید.

Noarchive :

موتور جستجو اعلام می کند این صفحه را از حافظه قدیمی لود نکند و نسخه بروز آنرا نمایش دهد.

اگر یک سایت تجارت الکترونیکی را راه اندازی کرده اید و به طور مرتب قیمت های خود را تغییر می دهید

ممکن است برچسب noarchive را در نظر بگیرید تا از مراجعه کنندگان برای دیدن قیمت های قدیمی خودداری شود..