طرز تولید پوشه Robot.txt
درحال حاضر که راجعبه دلایل ماهیت فولدر Robot.txt آشنا گردیده اید، می بایست بدانید چهطور این فولدر را ساخت فرمایید. پوشه Robot.txt یک پوشه متنی معمولی میباشد و تصحیح کردن آن خیلی مشقت بار وجود ندارد؛ البته بایستی با اشکال دستورهایی که دراین فولدر قرار میگیرد شناخت داشته باشید. کلاً دو نوع امر درین فولدر طراحی اپلیکیشن در مشهد قرار میگیرد.
دستورهایی که موتور کاوش را برای کراول کردن هدایت می نماید و دستورهایی که بازدارنده از کراول کردن ربات ها میشود. برای تولید فولدر Robot.txt میتوانید از اوامر ذیل به کارگیری نمائید:
User-agent: *
آرم * سبب میشود که کل ربات های گوگل فراخوانده خواهد شد و برای اینکه ممکن میباشد شما نام تک تک ربات ها را ندانید با گذاشتم آرم "*" آحاد ربات های گوگل فراخوانده میشوند. تنها کافی میباشد پیش از امر User-agent نشانه * را قرار دهید.
امر Disallow
همان گونه که بدیهی میباشد این فرمان برای ایندکس نکردن صفحه های به عمل می رود. با این فرمان شما رباهای گوگل را برای کراول کردن و یا این که خزیدن در صفحه های مشخصی بازداشتن میکنید. از این فرمان بایستی به صورت پایین به کار گیری نمائید:
user-agent:*
Disallow: /contact/
فرمان Allow
این امر دقیقاً خلاف فرمان Disallow میباشد و به گوگل میگوید چه صفحاتی را کراول و ایندکس نماید. این فرمان هنگامی ایفا میگردد که صفحه های شما از حیث فنی و سئویی مشکلی ندارد. به کارگیری از این امر به صورت ذیل میباشد:
فرمان Crawl-delay
این فرمان به ربات های گوگل فرمان میدهد که صفحه ها را با تأخیر ایندکس نمایند و هنگامی گزینه به کار گیری قرار میگیرد که تارنما شما مشکلی داراست و در حالا برطرف کردن آن می باشید. درواقع کاربرد این فرمان این سیرتکامل میباشد که در شرایطیکه Crawl-delay=100 باشد، یعنی به گوگل میگویید که صفحه ها را با مسافت ۱۰۰ ثانیه از هم ایندکس نماید. استعمال از این امر به صورت ذیل میباشد:
Crawl-delay: 100
امر Sitemap
یکیاز مهمترین مباحث بهینه سازی، نقشه وبسایت یا این که Sitemap میباشد. این امر برای معرفی کردن نقشه وب سایت به ربات های گوگل میباشد. همانگونه که در نوشته ی علمی Sitemap چیست و چه تأثیری در بهینه سازی داراست ذکر شد، نقشه وبسایت یک فولدر xml میباشد که دربرگیرنده اطلاعاتی مرتبط با هر url میباشد. نقشه تارنما به موتورهای کاوش این اذن را میدهد که در فهرستی از کل صفحه های تارنما شما کراول نمایند. فرمان استعمال از آن این چنین میباشد:
امر به کار گیری از عبارت با قاعده
عبارت با قاعده فن هایی از عملیات میباشند که برای انطباق و اجرا عملیات آیتم به کار گیری قرار میگیرد. مانند غربال کردن تولید ها مطابق رنگ، بها و ... که دراینصورت از فرمان تحت برای ربات های گوگل به کارگیری میشود:
هم اکنون که با اوامر آشنا گردیده اید می بایست بدانید از آنها به چه ترتیبی به کارگیری نمایید. به دلیل آنکه رعایت ترتیب بسیار اساسی میباشد. آغاز می بایست تک تک ربات های گوگل را فرا بخوانید پس می بایست از امر User-agent: * به کار گیری فرمایید. آن گاه می بایست امر محدودیت را تولید نمائید که بایستی از امر Disallow استعمال نمائید و بعد دستوری که به ربات ها اذن خزش میدهد یعنی allow را تولید فرمائید.
برای مثال هنگامی از فرمان "Disallow: /" به کار گیری میکنید؛ یعنی ربات های گوگل هیچ برگه وبسایت را خزش نکند و یا این که زمانی از امر "Allow: /" استعمال میکنید؛ یعنی همگی صفحه ها را خزش نماید. همینطور شما میتوانید نام فولدر ها، نشانی ها، مسیر و صفحه های مشخص و معلوم را برای خزش یا این که بازداشتن کردن ربات ها از خزش آنان به کار گیری فرمائید.
طرز تولید پوشه Robot.txt
درحال حاضر که راجعبه دلایل ماهیت فولدر Robot.txt آشنا گردیده اید، می بایست بدانید چهطور این فولدر را ساخت فرمایید. پوشه Robot.txt یک پوشه متنی معمولی میباشد و تصحیح کردن آن خیلی مشقت بار وجود ندارد؛ البته بایستی با اشکال دستورهایی که دراین فولدر قرار میگیرد شناخت داشته باشید. کلاً دو نوع امر درین فولدر طراحی اپلیکیشن در مشهد قرار میگیرد.
دستورهایی که موتور کاوش را برای کراول کردن هدایت می نماید و دستورهایی که بازدارنده از کراول کردن ربات ها میشود. برای تولید فولدر Robot.txt میتوانید از اوامر ذیل به کارگیری نمائید:
User-agent: *
آرم * سبب میشود که کل ربات های گوگل فراخوانده خواهد شد و برای اینکه ممکن میباشد شما نام تک تک ربات ها را ندانید با گذاشتم آرم "*" آحاد ربات های گوگل فراخوانده میشوند. تنها کافی میباشد پیش از امر User-agent نشانه * را قرار دهید.
امر Disallow
همان گونه که بدیهی میباشد این فرمان برای ایندکس نکردن صفحه های به عمل می رود. با این فرمان شما رباهای گوگل را برای کراول کردن و یا این که خزیدن در صفحه های مشخصی بازداشتن میکنید. از این فرمان بایستی به صورت پایین به کار گیری نمائید:
user-agent:*
Disallow: /contact/
فرمان Allow
این امر دقیقاً خلاف فرمان Disallow میباشد و به گوگل میگوید چه صفحاتی را کراول و ایندکس نماید. این فرمان هنگامی ایفا میگردد که صفحه های شما از حیث فنی و سئویی مشکلی ندارد. به کارگیری از این امر به صورت ذیل میباشد:
فرمان Crawl-delay
این فرمان به ربات های گوگل فرمان میدهد که صفحه ها را با تأخیر ایندکس نمایند و هنگامی گزینه به کار گیری قرار میگیرد که تارنما شما مشکلی داراست و در حالا برطرف کردن آن می باشید. درواقع کاربرد این فرمان این سیرتکامل میباشد که در شرایطیکه Crawl-delay=100 باشد، یعنی به گوگل میگویید که صفحه ها را با مسافت ۱۰۰ ثانیه از هم ایندکس نماید. استعمال از این امر به صورت ذیل میباشد:
Crawl-delay: 100
امر Sitemap
یکیاز مهمترین مباحث بهینه سازی، نقشه وبسایت یا این که Sitemap میباشد. این امر برای معرفی کردن نقشه وب سایت به ربات های گوگل میباشد. همانگونه که در نوشته ی علمی Sitemap چیست و چه تأثیری در بهینه سازی داراست ذکر شد، نقشه وبسایت یک فولدر xml میباشد که دربرگیرنده اطلاعاتی مرتبط با هر url میباشد. نقشه تارنما به موتورهای کاوش این اذن را میدهد که در فهرستی از کل صفحه های تارنما شما کراول نمایند. فرمان استعمال از آن این چنین میباشد:
امر به کار گیری از عبارت با قاعده
عبارت با قاعده فن هایی از عملیات میباشند که برای انطباق و اجرا عملیات آیتم به کار گیری قرار میگیرد. مانند غربال کردن تولید ها مطابق رنگ، بها و ... که دراینصورت از فرمان تحت برای ربات های گوگل به کارگیری میشود:
هم اکنون که با اوامر آشنا گردیده اید می بایست بدانید از آنها به چه ترتیبی به کارگیری نمایید. به دلیل آنکه رعایت ترتیب بسیار اساسی میباشد. آغاز می بایست تک تک ربات های گوگل را فرا بخوانید پس می بایست از امر User-agent: * به کار گیری فرمایید. آن گاه می بایست امر محدودیت را تولید نمائید که بایستی از امر Disallow استعمال نمائید و بعد دستوری که به ربات ها اذن خزش میدهد یعنی allow را تولید فرمائید.
برای مثال هنگامی از فرمان "Disallow: /" به کار گیری میکنید؛ یعنی ربات های گوگل هیچ برگه وبسایت را خزش نکند و یا این که زمانی از امر "Allow: /" استعمال میکنید؛ یعنی همگی صفحه ها را خزش نماید. همینطور شما میتوانید نام فولدر ها، نشانی ها، مسیر و صفحه های مشخص و معلوم را برای خزش یا این که بازداشتن کردن ربات ها از خزش آنان به کار گیری فرمائید.

راهکارهای کاهش CPC در کمپینها