מהי סריקה של האתר?

איך מונעים מהמתחרים לרגל אחריכם?

בקידום אורגני חשוב לדעת מה עושים המתחרים שלכם למילות מפתח מסויימות או בכלל.

קיימות כמה אופציות כדי לדעת מה עושים המתחרים לטובת הקידום האורגני שלהם , להלן כמה דרכים\הצעות :

1. לבדוק דף דף ולנסות להסתכל גם בקוד , בדיקה זו נקראת ידנית.

2. באמצעות תוכנות קידום למשל screaming frog או Ahref או semrush ויש עוד מלא , תוכנות אלו מבצעות סריקה עם בוטים שהם סוג של מבקרים “טבעיים” באתר והמבקרים עוברים דף דף ועל רוב הקוד האפשרי ומנסים וגם מצליחים לשלוף מידע על האתר וגם על הקידום.

3. דרך נוספת היא באמצעי סייבר , לא ניתן לפרט על טכניקות אלו.

הפרת פרטיות כתוצאה מחולשת אבטחה ב ROBOTS.TXT באתר תקדין

איך מונעים מהמתחרים לבדוק מה אתם עושים לטובת הקידום האורגני?

לא ניתן , אבל למה שנעשה למתחרים חיים קלים?

ניתן לחסום את התוכנות האוטומטיות לסריקה או יותר נכון לריגול אחרי האתר שלכם .

את גוגל אנחנו לא רוצים לחסום!!!

את כל השאר אנחנו מאוד רוצים.

קובץ הrobots.txt

זו הסיבה שקיים קובץ הrobots.txt

מדובר בקובץ טקסט פשוט וקל לעריכה שנמצא בכל אתר כמעט.

דוג’ לחסימות של סריקות או ריגול של מתחרים שאותם מכניסים לקובץ

				
					RewriteCond %{HTTP_USER_AGENT} \

12soso|\

192\.comagent|\

1noonbot|\

1on1searchbot|\

3de\_search2|\ [NC,OR]

Or:

RewriteCond %{HTTP_USER_AGENT} ^[Ww]eb[Bb]andit [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^$ [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^Acunetix [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^binlar [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [NC,OR]

הסבר בקצרה על הקובץ והפקודות בו

הקובץ הוא סוג של שומר , שומר סף , שוטר והוא בודק ועושה סלקציה למי מותר ולמי אסור לעבור ולראות תוכן באתר .

לא מדובר בפעולת אבטחת מידע או אחרת .

מדובר פשוט בסינון מבקרים באתר \ בוטים.

חסימות בהיבט של אבטחת מידע וסייבר נעשות ברמת קובץ אחר שנקרא htaccess

קובץ זה מתפקד באותה צורה של שומר \ שוטר ואומר איזה פעולות ייעשו ברמה טכנית ועוסק יותר בבעיות טכניות או דליפת מידע ועוד..

אם מדובר באתר וורדפרס אז קיים תוסף שכותב המאמר ממליץ עליו בחום והוא wordfence בגרסה החינמית שלו.

להלן דוג’ להתקפת בוטים שיכולה להימנע עם קובץ הrobots.txt

חסימה של בוטים ותוכנות לסריקה דרך הhtaccess

• PetalBot
• MJ12bot
• DotBot
• SeznamBot
• 8LEGS
• Nimbostratus-Bot
• Semrush
• Ahrefs
• AspiegelBot
• AhrefsBot
• MauiBot
• BLEXBot
• Sogou

				
					#Example blocking by user-agent in htaccess


RewriteEngine On RewriteCond %{HTTP_USER_AGENT} (BadBot|EmailGrabber|NaughtyBot) [NC] RewriteRule (.*) - [F,L]

#Block some by IP addresses



RewriteCond %{REMOTE_ADDR} ^999\.999\.999\.999 [OR] RewriteCond %{REMOTE_ADDR} ^911\.911\.911\.911 [OR] RewriteCond %{REMOTE_ADDR} ^111\.222\.333\.444 RewriteRule (.*) - [F,L]

				
					AddType text/x-component .htc

RewriteCond %{HTTP_USER_AGENT} Wget [OR]

RewriteCond %{HTTP_USER_AGENT} CherryPickerSE [OR]

RewriteCond %{HTTP_USER_AGENT} CherryPickerElite [OR]

RewriteCond %{HTTP_USER_AGENT} EmailCollector [OR]

RewriteCond %{HTTP_USER_AGENT} EmailSiphon [OR]

RewriteCond %{HTTP_USER_AGENT} EmailWolf [OR]

RewriteCond %{HTTP_USER_AGENT} ExtractorPro

RewriteRule ^.*$ X.html

				
					#היי גוגל לכי רק למה שאני רוצה שתלכי

User-agent: Googlebot

Allow: /SomeFolder/

Disallow: /

#בוטים מנוולים רעים רעים לכו מכאן
User-agent: *

Disallow: /

several methods to block

Blocking via Request URI
Blocking via User-Agent
Blocking via Referrer
Blocking via IP Address

				
					https://www.example.com/asdf-crawl/request/?scanx=123
https://wwww.example2.net/sflkjfglkj-crawl/request/?scanx123445

				
					# Block via Request URI
<IfModule mod_alias.c>
	RedirectMatch 403 /crawl/
</IfModule>

				
					# Block via Request URI
<IfModule mod_alias.c>
	RedirectMatch 403 /(crawl|scanx)/
</IfModule>

				
					# Block via Query String
<IfModule mod_rewrite.c>
	RewriteEngine On
	RewriteCond %{QUERY_STRING} (crawl|scanx) [NC]
	RewriteRule (.*) - [F,L]
</IfModule>

				
					# Block via User Agent
<IfModule mod_rewrite.c>
	RewriteEngine On
	RewriteCond %{HTTP_USER_AGENT} (EvilBotHere|SpamSpewer|SecretAgentAgent) [NC]
	RewriteRule (.*) - [F,L]
</IfModule>

				
					# Block via Referrer
<IfModule mod_rewrite.c>
	RewriteEngine On
	RewriteCond %{HTTP_REFERER} ^http://(.*)spamreferrer1\.org [NC,OR]
	RewriteCond %{HTTP_REFERER} ^http://(.*)bandwidthleech\.com [NC,OR]
	RewriteCond %{HTTP_REFERER} ^http://(.*)contentthieves\.ru [NC]
	RewriteRule (.*) - [F,L]
</IfModule>

				
					# Block via IP Address
<IfModule mod_rewrite.c>
	RewriteEngine On
	RewriteCond %{REMOTE_ADDR} ^123\.456\.789\.000
	RewriteRule (.*) - [F,L]
</IfModule>

				
					# Block via IP Address
<IfModule mod_rewrite.c>
	RewriteEngine On
	RewriteCond %{REMOTE_ADDR} ^123\.456\.789\.000 [OR]
	RewriteCond %{REMOTE_ADDR} ^123\.456\.789\.000 [OR]
	RewriteCond %{REMOTE_ADDR} ^123\.456\.789\.000
	RewriteRule (.*) - [F,L]
</IfModule>

				
					# Block via IP Address
<IfModule mod_rewrite.c>
	RewriteEngine On
	RewriteCond %{REMOTE_ADDR} ^123\.           [OR]
	RewriteCond %{REMOTE_ADDR} ^111\.222\.      [OR]
	RewriteCond %{REMOTE_ADDR} ^444\.555\.777\.
	RewriteRule (.*) - [F,L]
</IfModule>

איך להגדיר נכון את וורדפנס לאתרי וורדפרס

תוייג robots.txt איך חוסמים סריקה ובוטים לא רצויים שמגיעים לאתר בלי הזמנה ?חסימה של מתחרים לקידום אורגני