سلام همراهان عزیز
وقت بخیر
در این مطلب می خواهم شما را با یک متا تگ خیلی مهم آشنا کنم.
متا تگ robots که اصطلاحا به آن متا تگ ربات های جستجو هم گفته می شود.وظیفه این متا تگ آنست که فعالیت خزنده های موتورهای جستجو در همان صفحه ای که قرار گرفته است را کنترل کند و به نحوی به این فعالیت ها ساماندهی دهد.
نحوه کلی شکل قرار گیری این متا تگ را در صفحه وب می توانید در بخش زیر ببینید:
<html>
<head>
<title>...</title>
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
</head>
همان طور که می بینید متا تگ robots در head قرار می گیرد.
برای استفاده از انواع متا تگ های robots کافی است که قسمت content آن را مقدار دهی کنیم.
انواع مقادیر برای متا تگ robots وجود دارد که چند مورد مهم را خدمت شما عرض می کنیم.
1-index/noindex:
شما می توانید در صفحه خود در content متا تگ robots مقدار index یا noindex بگذارید. اگر noindex بگذارید، به خزنده های موتور های جستجو اطلاع می دهید که این صفحه را index نکنند و اگر مقدار content را index قرار دهید و یا اصلا مقداری مربوط به index یا noindex قرار ندهید، موتورهای جستجو صفحه را به طور پیش فرض index خواهند کرد.
2-Follow/nofollow :
این مقدار اگر در صفحه ای به صورت follow باشد به خزنده های موتورهای جستجو اعلام می کند، که لینک های موجود در این صفحه را باید دنبال کنند و اگر مقدار nofollow باشد به خزنده های موتور های جستجو می گوید که لینک های موجود در این صفحه را دنبال نکند. نکته ای که هست اگر مقداری قرار داده نشود به طور پیش فرض همه این صفحات تگ follow دارند و لینک ها توسط خزنده ها دنبال می شوند.
3-nosnippet :
ما با استفاده از مقدارnosnippet به موتورهای جستجو می گوییم که باید از نمایش متن در کنار عنوان صفحه و url در نتایج جستجو خودداری کند.
فقط نکته ای که می خواهم بگویم طبق مثالی که بالا می بینید ما می توانیم در این متا تگ به صورت ترکیبی از مقادیر استفاده کنیم، یعنی مثلا noindex و nofollow یا حتی مقادیر بیشتری را همزمان در متا تگrobots بگذاریم.
linkedin.com/in/jamal1364
t.me/jamaldev
jamal13647850@
instagram.com/jamal13647850
#متا_تگ
#سئو
#robots
#بهینهسازی
#بهینه_سازی
#دیجیتالمارکتینگ
#دیجیتال_مارکتینگ
وقت بخیر
در این مطلب می خواهم شما را با یک متا تگ خیلی مهم آشنا کنم.
متا تگ robots که اصطلاحا به آن متا تگ ربات های جستجو هم گفته می شود.وظیفه این متا تگ آنست که فعالیت خزنده های موتورهای جستجو در همان صفحه ای که قرار گرفته است را کنترل کند و به نحوی به این فعالیت ها ساماندهی دهد.
نحوه کلی شکل قرار گیری این متا تگ را در صفحه وب می توانید در بخش زیر ببینید:
<html>
<head>
<title>...</title>
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
</head>
همان طور که می بینید متا تگ robots در head قرار می گیرد.
برای استفاده از انواع متا تگ های robots کافی است که قسمت content آن را مقدار دهی کنیم.
انواع مقادیر برای متا تگ robots وجود دارد که چند مورد مهم را خدمت شما عرض می کنیم.
1-index/noindex:
شما می توانید در صفحه خود در content متا تگ robots مقدار index یا noindex بگذارید. اگر noindex بگذارید، به خزنده های موتور های جستجو اطلاع می دهید که این صفحه را index نکنند و اگر مقدار content را index قرار دهید و یا اصلا مقداری مربوط به index یا noindex قرار ندهید، موتورهای جستجو صفحه را به طور پیش فرض index خواهند کرد.
2-Follow/nofollow :
این مقدار اگر در صفحه ای به صورت follow باشد به خزنده های موتورهای جستجو اعلام می کند، که لینک های موجود در این صفحه را باید دنبال کنند و اگر مقدار nofollow باشد به خزنده های موتور های جستجو می گوید که لینک های موجود در این صفحه را دنبال نکند. نکته ای که هست اگر مقداری قرار داده نشود به طور پیش فرض همه این صفحات تگ follow دارند و لینک ها توسط خزنده ها دنبال می شوند.
3-nosnippet :
ما با استفاده از مقدارnosnippet به موتورهای جستجو می گوییم که باید از نمایش متن در کنار عنوان صفحه و url در نتایج جستجو خودداری کند.
فقط نکته ای که می خواهم بگویم طبق مثالی که بالا می بینید ما می توانیم در این متا تگ به صورت ترکیبی از مقادیر استفاده کنیم، یعنی مثلا noindex و nofollow یا حتی مقادیر بیشتری را همزمان در متا تگrobots بگذاریم.
linkedin.com/in/jamal1364
t.me/jamaldev
jamal13647850@
instagram.com/jamal13647850
#متا_تگ
#سئو
#robots
#بهینهسازی
#بهینه_سازی
#دیجیتالمارکتینگ
#دیجیتال_مارکتینگ
سلام
✨بخش اول مطلب آشنایی و تسلط حرفه ای بر robots.txt
🔴فایل robots.txt یک فایل متنی است که معمولا مدیرهای وب از آن استفاده می کنند تا به موتورهای جستجو بگویند که سایت را به چه صورت crawl کنند.
به کمک این فایل در کنار دیگر راهکارهایی که برای راهنمایی موتورهای جستجو وجود دارد ، نظمی بیشتری به خزیدن موتورهای جستجو و index شدن صفحات می دهد.
✅در ساده ترین حالت محتوای یک فایل robots.txt به صورت زیر می باشد:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
🔵در این حالت User-agent بات هایی است که قرار است دستورات پایین User-agent در مورد آن ها اعمال شود ، معمولا در این قسمت یک ستاره می گذارند و دستورات زیر به همه ربات هایی که به سایت وارد می شوند اعمال می شود ولی می توان برای ربات های مختلف دستورات مختلفی استفاده کرد.مثلا به حالت زیر توجه کنید:
User-agent: Googlebot
Disallow: /no-index-for-google/your-page.html
User-agent: Bingbot
Disallow: /no-index-for-bing/your-page.html
در دستور بالا ابتدا مسیری از دسترس بات موتور جستجو گوگل خارج کرده ام و گفته ام این را index نکند و در ادامه مسیری دیگری را از دسترس بات موتور جستجو bing خارج کرده ام و گفته ام که index نکند.
✅حالا به مثال های زیر دقت کنید تا بیشتر با دستور پایه ای robots.txt آشنا شوید:
1️⃣محدود سازی دسترسی همه خزنده های وب از همه محتوای وب سایت.
User-agent: *
Disallow: /
2️⃣اجازه دسترسی به همه خزنده های وب به همه محتوای وب سایت
User-agent: *
Allow: /
3️⃣محدود سازی دسترسی یک خزنده وب خاص به یک پوشه خاص در وب سایت
User-agent: Googlebot
Disallow: /example-subfolder/
در مثال بالا می گویم که خزنده گوگل که اسم آن Googlebot می باشد اجازه دسترسی به صفحه خاص ما که در این مثال example-subfolder می باشد را ندارد.
4️⃣محدود سازی دسترسی یک خزنده خاص به یک صفحه خاص
User-agent: Bingbot
Disallow: /example-subfolder/blocked-page.html
در مثال بالا می گویم که فقط خزنده bing که اسم آن Bingbot می باشد ، اجازه دسترسی به مسیر و صفحه blocked-page.html را ندارد ولی دسترسی به مابقی سایت را دارد.
✅چند نکته در مورد robots.txt:
1️⃣فایل robots.txt باید در بالاترین سطح سایت یا اصطلاحا root سایت قرار داشته باشد تا به راحتی توسط crawler ها یا خزنده های وب پیدا شود.
2️⃣نام و پسوند فایل robots.txt اصطلاحا case sensitive است یعنی به حروف بزرگ و کوچک حساس می باشد و باید به شکل robots.txt نوشته شود.
3️⃣بعضی از User-agent ها یا crawler ها ممکن است محتوای robots.txt را نادیده بگیرند ، معمولا این اتفاق توسط malware robots ها یا email address scrapers ها می افتد.
4️⃣با توجه به اینکه robots.txt وب سایت در root سایت قرار دارد با وارد کردن نام دامنه و بعد اسلش و بعد از اسلش robots.txt قرار می گیرد مثلا example.com/robots.txt
همه به این فایل دسترسی دارند و محتویات آن را می توانند ببینند بنابراین برای مخفی سازی صفحات شخصی و صفحاتی که اطلاعات کاربرها در آن قرار دارد از این فایل استفاده نکنید.
5️⃣دقت کنید که subdomain و domain اصلی یا اصطلاحا root domain هر کدام robots.txt خود را دارند بنابراین اگر یک robots.txt در root domain می گذارید باید برای subdomain هم robots.txt را بگذارید.
مثلا فرض کنید یک subdomain به نام blog داریم بنابراین هم subdomain باید robots.txt داشته باشد و اگر دامنه اصلی هم example می باشد باید این دامنه هم robots.txt داشته باشد.
لطفا به دو خط زیر توجه کنید تا مفهوم را بهتر درک کنید.
blog.example.com/robots.txt
example.com/robots.txt
6️⃣حتما آدرس sitemap های خود را در robots.txt قرار دهید تا crawler های موتورهای جستجو بتوانند به راحتی به آن ها دسترسی داشته باشند ، البته راهکار دیگری هم دارید مثلا اگر در robots.txt قرار ندهید و صرفا می خواهید با گوگل کار کنید می توانید از پنل سرچ کنسول هم مسیر sitemap را ارائه دهید ولی اگر می خواهید sitemap را در robots.txt معرفی کنید به می توانید از روش زیر استفاده کنید.
Sitemap: https://www.digikala.com/sitemap.xml
در مثال بالا همان طور که می بینید سایت دیجی کالا در robots.txt خود توسط دستور sitemap مسیر sitemap خود را به موتورهای جستجو اعلام کرده است.
حتما در مطلبی به صورت جزئی تر به مبحث sitemap و انواع sitemap خواهم پرداخت.
اگر این مطلب برای شما مفید بود با دوستان و آشنایانتان نیز به اشتراک بگذارید.
linkedin.com/in/jamal1364
t.me/jamaldev
@jamal13647850
instagram.com/jamal13647850
#سئو
#seo
#robots
#بهینه_سازی
✨بخش اول مطلب آشنایی و تسلط حرفه ای بر robots.txt
🔴فایل robots.txt یک فایل متنی است که معمولا مدیرهای وب از آن استفاده می کنند تا به موتورهای جستجو بگویند که سایت را به چه صورت crawl کنند.
به کمک این فایل در کنار دیگر راهکارهایی که برای راهنمایی موتورهای جستجو وجود دارد ، نظمی بیشتری به خزیدن موتورهای جستجو و index شدن صفحات می دهد.
✅در ساده ترین حالت محتوای یک فایل robots.txt به صورت زیر می باشد:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
🔵در این حالت User-agent بات هایی است که قرار است دستورات پایین User-agent در مورد آن ها اعمال شود ، معمولا در این قسمت یک ستاره می گذارند و دستورات زیر به همه ربات هایی که به سایت وارد می شوند اعمال می شود ولی می توان برای ربات های مختلف دستورات مختلفی استفاده کرد.مثلا به حالت زیر توجه کنید:
User-agent: Googlebot
Disallow: /no-index-for-google/your-page.html
User-agent: Bingbot
Disallow: /no-index-for-bing/your-page.html
در دستور بالا ابتدا مسیری از دسترس بات موتور جستجو گوگل خارج کرده ام و گفته ام این را index نکند و در ادامه مسیری دیگری را از دسترس بات موتور جستجو bing خارج کرده ام و گفته ام که index نکند.
✅حالا به مثال های زیر دقت کنید تا بیشتر با دستور پایه ای robots.txt آشنا شوید:
1️⃣محدود سازی دسترسی همه خزنده های وب از همه محتوای وب سایت.
User-agent: *
Disallow: /
2️⃣اجازه دسترسی به همه خزنده های وب به همه محتوای وب سایت
User-agent: *
Allow: /
3️⃣محدود سازی دسترسی یک خزنده وب خاص به یک پوشه خاص در وب سایت
User-agent: Googlebot
Disallow: /example-subfolder/
در مثال بالا می گویم که خزنده گوگل که اسم آن Googlebot می باشد اجازه دسترسی به صفحه خاص ما که در این مثال example-subfolder می باشد را ندارد.
4️⃣محدود سازی دسترسی یک خزنده خاص به یک صفحه خاص
User-agent: Bingbot
Disallow: /example-subfolder/blocked-page.html
در مثال بالا می گویم که فقط خزنده bing که اسم آن Bingbot می باشد ، اجازه دسترسی به مسیر و صفحه blocked-page.html را ندارد ولی دسترسی به مابقی سایت را دارد.
✅چند نکته در مورد robots.txt:
1️⃣فایل robots.txt باید در بالاترین سطح سایت یا اصطلاحا root سایت قرار داشته باشد تا به راحتی توسط crawler ها یا خزنده های وب پیدا شود.
2️⃣نام و پسوند فایل robots.txt اصطلاحا case sensitive است یعنی به حروف بزرگ و کوچک حساس می باشد و باید به شکل robots.txt نوشته شود.
3️⃣بعضی از User-agent ها یا crawler ها ممکن است محتوای robots.txt را نادیده بگیرند ، معمولا این اتفاق توسط malware robots ها یا email address scrapers ها می افتد.
4️⃣با توجه به اینکه robots.txt وب سایت در root سایت قرار دارد با وارد کردن نام دامنه و بعد اسلش و بعد از اسلش robots.txt قرار می گیرد مثلا example.com/robots.txt
همه به این فایل دسترسی دارند و محتویات آن را می توانند ببینند بنابراین برای مخفی سازی صفحات شخصی و صفحاتی که اطلاعات کاربرها در آن قرار دارد از این فایل استفاده نکنید.
5️⃣دقت کنید که subdomain و domain اصلی یا اصطلاحا root domain هر کدام robots.txt خود را دارند بنابراین اگر یک robots.txt در root domain می گذارید باید برای subdomain هم robots.txt را بگذارید.
مثلا فرض کنید یک subdomain به نام blog داریم بنابراین هم subdomain باید robots.txt داشته باشد و اگر دامنه اصلی هم example می باشد باید این دامنه هم robots.txt داشته باشد.
لطفا به دو خط زیر توجه کنید تا مفهوم را بهتر درک کنید.
blog.example.com/robots.txt
example.com/robots.txt
6️⃣حتما آدرس sitemap های خود را در robots.txt قرار دهید تا crawler های موتورهای جستجو بتوانند به راحتی به آن ها دسترسی داشته باشند ، البته راهکار دیگری هم دارید مثلا اگر در robots.txt قرار ندهید و صرفا می خواهید با گوگل کار کنید می توانید از پنل سرچ کنسول هم مسیر sitemap را ارائه دهید ولی اگر می خواهید sitemap را در robots.txt معرفی کنید به می توانید از روش زیر استفاده کنید.
Sitemap: https://www.digikala.com/sitemap.xml
در مثال بالا همان طور که می بینید سایت دیجی کالا در robots.txt خود توسط دستور sitemap مسیر sitemap خود را به موتورهای جستجو اعلام کرده است.
حتما در مطلبی به صورت جزئی تر به مبحث sitemap و انواع sitemap خواهم پرداخت.
اگر این مطلب برای شما مفید بود با دوستان و آشنایانتان نیز به اشتراک بگذارید.
linkedin.com/in/jamal1364
t.me/jamaldev
@jamal13647850
instagram.com/jamal13647850
#سئو
#seo
#robots
#بهینه_سازی
