mirror of
https://github.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker.git
synced 2025-09-11 07:44:42 +00:00
[GHA] Copy scripts to new dev-tools
Test generate-files.sh
This commit is contained in:
parent
8fc4a3d669
commit
17f99ffdc0
446 changed files with 336799 additions and 1 deletions
250
dev-tools/test_units/random-bots-for-whitelist-test.list
Normal file
250
dev-tools/test_units/random-bots-for-whitelist-test.list
Normal file
|
@ -0,0 +1,250 @@
|
|||
404enemy
|
||||
80legs
|
||||
Aboundex
|
||||
Acunetix
|
||||
ADmantX
|
||||
AIBOT
|
||||
AiHitBot
|
||||
Alexibot
|
||||
AllSubmitter
|
||||
AlphaBot
|
||||
Anarchy99
|
||||
Ankit
|
||||
Anthill
|
||||
archive.org_bot
|
||||
arquivo.pt
|
||||
Backlink-Ceck
|
||||
Barkrowler
|
||||
BatchFTP
|
||||
BetaBot
|
||||
Bitacle
|
||||
Blow
|
||||
BlowFish
|
||||
BotALot
|
||||
Buck
|
||||
BuiltBotTough
|
||||
BunnySlippers
|
||||
Calculon
|
||||
CATExplorador
|
||||
CensysInspect
|
||||
CheeseBot
|
||||
CheTeam
|
||||
ChinaClaw
|
||||
Chlooe
|
||||
CODE87
|
||||
Cogentbot
|
||||
Copier
|
||||
Cosmos
|
||||
Craftbot
|
||||
Custo
|
||||
CyotekWebCopy
|
||||
DatabaseDriverMysqli
|
||||
DataCha0s
|
||||
DBLBot
|
||||
Deusu
|
||||
DigitalPebble
|
||||
Dirbuster
|
||||
Disco
|
||||
Discobot
|
||||
DittoSpyder
|
||||
DomainAppender
|
||||
DomainSigmaCrawler
|
||||
DomainStatsBot
|
||||
DomCopBot
|
||||
Dotbot
|
||||
Dragonfly
|
||||
DSearch
|
||||
EasyDL
|
||||
Ebingbong
|
||||
EirGrabber
|
||||
EMail Wolf
|
||||
Exabot
|
||||
Express WebPictures
|
||||
Extreme Picture Finder
|
||||
EyeNetIE
|
||||
FDM
|
||||
FemtosearchBot
|
||||
FlashGet
|
||||
Foobot
|
||||
Fuzz
|
||||
Gigablast
|
||||
Go-Ahead-Got-It
|
||||
gopher
|
||||
GoZilla
|
||||
GT::WWW
|
||||
Havij
|
||||
HEADMasterSEO
|
||||
heritrix
|
||||
Hloader
|
||||
HMView
|
||||
HTMLparser
|
||||
HTTP::Lite
|
||||
HTTrack
|
||||
Iblog
|
||||
Id-search
|
||||
Image Sucker
|
||||
InfoTekies
|
||||
Intelliseek
|
||||
InterGET
|
||||
internetVista monitor
|
||||
Iria
|
||||
IRLbot
|
||||
IstellaBot
|
||||
JamesBOT
|
||||
JikeSpider
|
||||
JOC Web Spider
|
||||
Joomla
|
||||
JustView
|
||||
Kenjin Spider
|
||||
Larbin
|
||||
Libwhisker
|
||||
Lightspeedsystems
|
||||
Linkdexbot
|
||||
LinkScan
|
||||
LinqiaMetadataDownloaderBot
|
||||
LinqiaScrapeBot
|
||||
Lipperhey
|
||||
Litemage_walker
|
||||
lwp-trivial
|
||||
Magnet
|
||||
magpie-crawler
|
||||
Mail.RU_Bot
|
||||
Majestic SEO
|
||||
Majestic-SEO
|
||||
MarkMonitor
|
||||
Mata Hari
|
||||
MauiBot
|
||||
meanpathbot
|
||||
Meanpathbot
|
||||
MegaIndex.ru
|
||||
MFC_Tear_Sample
|
||||
MQQBrowser
|
||||
Mr.4x3
|
||||
Name Intelligence
|
||||
Navroad
|
||||
NearSite
|
||||
Netcraft
|
||||
netEstate NE Crawler
|
||||
NetLyzer
|
||||
NetSpider
|
||||
Netvibes
|
||||
NextGenSearchBot
|
||||
Ninja
|
||||
Nmap
|
||||
NPbot
|
||||
Nutch
|
||||
oBot
|
||||
Octopus
|
||||
Offline Explorer
|
||||
Offline Navigator
|
||||
OnCrawl
|
||||
Openfind
|
||||
OpenLinkProfiler
|
||||
OrangeBot
|
||||
OrangeSpider
|
||||
OutclicksBot
|
||||
Page Analyzer
|
||||
PageGrabber
|
||||
page scorer
|
||||
Papa Foto
|
||||
PECL::HTTP
|
||||
Picsearch
|
||||
Piepmatz
|
||||
Pixray
|
||||
POE-Component-Client-HTTP
|
||||
probe-image-size
|
||||
Probethenet
|
||||
Pump
|
||||
PyCurl
|
||||
QueryN Metasearch
|
||||
RankActiveLinkBot
|
||||
RankFlex
|
||||
RankingBot2
|
||||
Rankivabot
|
||||
Reaper
|
||||
RebelMouse
|
||||
Recorder
|
||||
RedesScrapy
|
||||
RepoMonkey
|
||||
Re-re
|
||||
Ripper
|
||||
ripz
|
||||
RocketCrawler
|
||||
Rogerbot
|
||||
RSSingBot
|
||||
s1z.ru
|
||||
satoristudio.net
|
||||
SBIder
|
||||
scalaj-http
|
||||
Scrapy
|
||||
Screaming
|
||||
Searchestate
|
||||
SentiBot
|
||||
seobility
|
||||
SEOkicks-Robot
|
||||
SEOlyticsCrawler
|
||||
SEOprofiler
|
||||
SeoSiteCheckup
|
||||
serpstatbot
|
||||
sexsearcher
|
||||
Shodan
|
||||
Siphon
|
||||
SiteExplorer
|
||||
siteripz
|
||||
SiteSnagger
|
||||
Sitevigil
|
||||
SMTBot
|
||||
Snapbot
|
||||
Sogou web spider
|
||||
Sottopop
|
||||
SpaceBison
|
||||
Spanner
|
||||
Spbot
|
||||
Spinn3r
|
||||
Sucker
|
||||
SuperHTTP
|
||||
Surfbot
|
||||
tAkeOut
|
||||
Telesphorep
|
||||
Toweyabot
|
||||
Trendiction
|
||||
Trendictionbot
|
||||
trendiction.com
|
||||
trendiction.de
|
||||
Turnitin
|
||||
TwengaBot
|
||||
URLy Warning
|
||||
URLy.Warning
|
||||
V-BOT
|
||||
Voltron
|
||||
voyagerx.com
|
||||
Wallpapers/3.0
|
||||
WASALive-Bot
|
||||
WBSearchBot
|
||||
WebAuto
|
||||
Web Auto
|
||||
WebCollage
|
||||
WebEnhancer
|
||||
WebFetch
|
||||
WebFuck
|
||||
WebImageCollector
|
||||
WebLeacher
|
||||
WebPix
|
||||
WebSauger
|
||||
Webshag
|
||||
WebsiteExtractor
|
||||
Website Quester
|
||||
Webster
|
||||
WebStripper
|
||||
WebSucker
|
||||
Web Sucker
|
||||
WeSEE
|
||||
WiseGuys Robot
|
||||
Wonderbot
|
||||
WWWOFFLE
|
||||
x22Mozilla
|
||||
xpymep1.exe
|
||||
zauba.io
|
||||
Zermelo
|
||||
Zitebot
|
||||
ZyBorg
|
Loading…
Add table
Add a link
Reference in a new issue