From 975ac45840da81237ed19fc45dddd84e0124f8bf Mon Sep 17 00:00:00 2001 From: Mitchell Krog Date: Mon, 21 Aug 2017 11:34:24 +0200 Subject: [PATCH] Fix Duplicate Cyveillance Ranges Issue. --- .dev-tools/deploy-package.sh | 21 +++++++------- .dev-tools/generate-blacklist.sh | 21 +++++++------- .dev-tools/generate-files.sh | 21 +++++++------- .dev-tools/generate-google-disavow.sh | 21 +++++++------- .dev-tools/generate-robots.sh | 21 +++++++------- .dev-tools/globalblacklist.template | 2 +- .dev-tools/install-nginx-1.sh | 21 +++++++------- .dev-tools/install-nginx-2.sh | 21 +++++++------- .dev-tools/modify-config-readme-files.sh | 21 +++++++------- .dev-tools/modify-files-and-commit.sh | 21 +++++++------- .dev-tools/prepare-robots-input.sh | 36 +++++++++++++++--------- .dev-tools/run-curl-tests-1.sh | 21 +++++++------- .dev-tools/run-curl-tests-2.sh | 21 +++++++------- bots.d/bad-referrer-words.conf | 12 ++++++++ bots.d/blacklist-ips.conf | 15 ++++++++-- bots.d/blacklist-user-agents.conf | 12 ++++++++ bots.d/blockbots.conf | 14 +++++++-- bots.d/custom-bad-referrers.conf | 12 ++++++++ bots.d/ddos.conf | 12 ++++++++ bots.d/whitelist-domains.conf | 12 ++++++++ bots.d/whitelist-ips.conf | 12 ++++++++ conf.d/botblocker-nginx-settings.conf | 13 +++++++++ 22 files changed, 254 insertions(+), 129 deletions(-) diff --git a/.dev-tools/deploy-package.sh b/.dev-tools/deploy-package.sh index 94aacb501..81c577a5d 100755 --- a/.dev-tools/deploy-package.sh +++ b/.dev-tools/deploy-package.sh @@ -4,16 +4,17 @@ # Copyright: Mitchell Krog - https://github.com/mitchellkrogza # Repo Url: https://github.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker -######################################################################### -# _ __ _ # -# / |/ /__ _(_)__ __ __ # -# / / _ `/ / _ \\ \ / # -# /_/|_/\_, /_/_//_/_\_\ # -# __/___/ __ ___ __ ___ __ __ # -# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # -# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # -# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # -######################################################################### +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## # MIT License diff --git a/.dev-tools/generate-blacklist.sh b/.dev-tools/generate-blacklist.sh index 9e03b0e1f..25f6bbeb3 100755 --- a/.dev-tools/generate-blacklist.sh +++ b/.dev-tools/generate-blacklist.sh @@ -4,16 +4,17 @@ # Copyright: Mitchell Krog - https://github.com/mitchellkrogza # Repo Url: https://github.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker -######################################################################### -# _ __ _ # -# / |/ /__ _(_)__ __ __ # -# / / _ `/ / _ \\ \ / # -# /_/|_/\_, /_/_//_/_\_\ # -# __/___/ __ ___ __ ___ __ __ # -# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # -# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # -# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # -######################################################################### +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## # MIT License diff --git a/.dev-tools/generate-files.sh b/.dev-tools/generate-files.sh index a96815248..343845acc 100755 --- a/.dev-tools/generate-files.sh +++ b/.dev-tools/generate-files.sh @@ -4,16 +4,17 @@ # Copyright: Mitchell Krog - https://github.com/mitchellkrogza # Repo Url: https://github.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker -######################################################################### -# _ __ _ # -# / |/ /__ _(_)__ __ __ # -# / / _ `/ / _ \\ \ / # -# /_/|_/\_, /_/_//_/_\_\ # -# __/___/ __ ___ __ ___ __ __ # -# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # -# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # -# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # -######################################################################### +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## # MIT License diff --git a/.dev-tools/generate-google-disavow.sh b/.dev-tools/generate-google-disavow.sh index d339bb9cf..fd55e4be6 100755 --- a/.dev-tools/generate-google-disavow.sh +++ b/.dev-tools/generate-google-disavow.sh @@ -4,16 +4,17 @@ # Copyright: Mitchell Krog - https://github.com/mitchellkrogza # Repo Url: https://github.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker -######################################################################### -# _ __ _ # -# / |/ /__ _(_)__ __ __ # -# / / _ `/ / _ \\ \ / # -# /_/|_/\_, /_/_//_/_\_\ # -# __/___/ __ ___ __ ___ __ __ # -# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # -# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # -# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # -######################################################################### +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## # MIT License diff --git a/.dev-tools/generate-robots.sh b/.dev-tools/generate-robots.sh index 87beebd79..7f171ba3b 100755 --- a/.dev-tools/generate-robots.sh +++ b/.dev-tools/generate-robots.sh @@ -6,16 +6,17 @@ # Generate a robots.txt file for those unable to use the full Nginx Ultimate Bad Bot Blocker -######################################################################### -# _ __ _ # -# / |/ /__ _(_)__ __ __ # -# / / _ `/ / _ \\ \ / # -# /_/|_/\_, /_/_//_/_\_\ # -# __/___/ __ ___ __ ___ __ __ # -# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # -# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # -# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # -######################################################################### +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## # MIT License diff --git a/.dev-tools/globalblacklist.template b/.dev-tools/globalblacklist.template index 57d097fde..512566532 100755 --- a/.dev-tools/globalblacklist.template +++ b/.dev-tools/globalblacklist.template @@ -12,7 +12,7 @@ # / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # # /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # # # -############################################################################## +############################################################################## ### VERSION INFORMATION # ################################################### diff --git a/.dev-tools/install-nginx-1.sh b/.dev-tools/install-nginx-1.sh index 1d48b992c..9dd6357b5 100755 --- a/.dev-tools/install-nginx-1.sh +++ b/.dev-tools/install-nginx-1.sh @@ -4,16 +4,17 @@ # Copyright: Mitchell Krog - https://github.com/mitchellkrogza # Repo Url: https://github.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker -######################################################################### -# _ __ _ # -# / |/ /__ _(_)__ __ __ # -# / / _ `/ / _ \\ \ / # -# /_/|_/\_, /_/_//_/_\_\ # -# __/___/ __ ___ __ ___ __ __ # -# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # -# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # -# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # -######################################################################### +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## # MIT License diff --git a/.dev-tools/install-nginx-2.sh b/.dev-tools/install-nginx-2.sh index 01447afe5..8d439c62a 100755 --- a/.dev-tools/install-nginx-2.sh +++ b/.dev-tools/install-nginx-2.sh @@ -4,16 +4,17 @@ # Copyright: Mitchell Krog - https://github.com/mitchellkrogza # Repo Url: https://github.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker -######################################################################### -# _ __ _ # -# / |/ /__ _(_)__ __ __ # -# / / _ `/ / _ \\ \ / # -# /_/|_/\_, /_/_//_/_\_\ # -# __/___/ __ ___ __ ___ __ __ # -# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # -# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # -# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # -######################################################################### +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## # MIT License diff --git a/.dev-tools/modify-config-readme-files.sh b/.dev-tools/modify-config-readme-files.sh index 6eb2e6c8c..f9220e4bb 100755 --- a/.dev-tools/modify-config-readme-files.sh +++ b/.dev-tools/modify-config-readme-files.sh @@ -4,16 +4,17 @@ # Copyright: Mitchell Krog - https://github.com/mitchellkrogza # Repo Url: https://github.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker -######################################################################### -# _ __ _ # -# / |/ /__ _(_)__ __ __ # -# / / _ `/ / _ \\ \ / # -# /_/|_/\_, /_/_//_/_\_\ # -# __/___/ __ ___ __ ___ __ __ # -# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # -# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # -# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # -######################################################################### +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## # MIT License diff --git a/.dev-tools/modify-files-and-commit.sh b/.dev-tools/modify-files-and-commit.sh index cea2ed453..3093c9625 100755 --- a/.dev-tools/modify-files-and-commit.sh +++ b/.dev-tools/modify-files-and-commit.sh @@ -4,16 +4,17 @@ # Copyright: Mitchell Krog - https://github.com/mitchellkrogza # Repo Url: https://github.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker -######################################################################### -# _ __ _ # -# / |/ /__ _(_)__ __ __ # -# / / _ `/ / _ \\ \ / # -# /_/|_/\_, /_/_//_/_\_\ # -# __/___/ __ ___ __ ___ __ __ # -# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # -# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # -# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # -######################################################################### +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## # MIT License diff --git a/.dev-tools/prepare-robots-input.sh b/.dev-tools/prepare-robots-input.sh index b5abc5f07..8ad198bac 100755 --- a/.dev-tools/prepare-robots-input.sh +++ b/.dev-tools/prepare-robots-input.sh @@ -4,34 +4,44 @@ # Copyright: Mitchell Krog - https://github.com/mitchellkrogza # Repo Url: https://github.com/mitchellkrogza/The-Big-List-of-Hacked-Malware-Web-Sites -######################################################################### -# _ __ _ # -# / |/ /__ _(_)__ __ __ # -# / / _ `/ / _ \\ \ / # -# /_/|_/\_, /_/_//_/_\_\ # -# __/___/ __ ___ __ ___ __ __ # -# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # -# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # -# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # -######################################################################### +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## + +# ****************************** +# Specify Input and Output Files +# ****************************** -#Specify Input and Output File -# **************************** _input=$TRAVIS_BUILD_DIR/_generator_lists/bad-user-agents.list _output=$TRAVIS_BUILD_DIR/.dev-tools/_robots_input/robots-input.txt +# ***************** # Truncate our file # ***************** + sudo truncate -s 0 $_output +# ******************************************** # Use sed to strip the \ out of the input file -# *************************************************** +# ******************************************** + sed 's/\\ / /g' $_input > $_output +# *************************************************** # Use cut to strip the domains out of the url strings # *************************************************** #cut -d'\' -f3 $_input > $_output +# ************************************* # Sort our output file and remove dupes # ************************************* + sort -u $_output -o $_output diff --git a/.dev-tools/run-curl-tests-1.sh b/.dev-tools/run-curl-tests-1.sh index 76bcfa276..87ab976de 100755 --- a/.dev-tools/run-curl-tests-1.sh +++ b/.dev-tools/run-curl-tests-1.sh @@ -4,16 +4,17 @@ # Copyright: Mitchell Krog - https://github.com/mitchellkrogza # Repo Url: https://github.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker -######################################################################### -# _ __ _ # -# / |/ /__ _(_)__ __ __ # -# / / _ `/ / _ \\ \ / # -# /_/|_/\_, /_/_//_/_\_\ # -# __/___/ __ ___ __ ___ __ __ # -# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # -# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # -# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # -######################################################################### +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## # ******************************************* # Set Location of our Curl Test Results Files diff --git a/.dev-tools/run-curl-tests-2.sh b/.dev-tools/run-curl-tests-2.sh index 27655f7a2..76bcab628 100755 --- a/.dev-tools/run-curl-tests-2.sh +++ b/.dev-tools/run-curl-tests-2.sh @@ -4,16 +4,17 @@ # Copyright: Mitchell Krog - https://github.com/mitchellkrogza # Repo Url: https://github.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker -######################################################################### -# _ __ _ # -# / |/ /__ _(_)__ __ __ # -# / / _ `/ / _ \\ \ / # -# /_/|_/\_, /_/_//_/_\_\ # -# __/___/ __ ___ __ ___ __ __ # -# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # -# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # -# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # -######################################################################### +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## # ******************************************* # Set Location of our Curl Test Results Files diff --git a/bots.d/bad-referrer-words.conf b/bots.d/bad-referrer-words.conf index faba0c1e5..75b7d7871 100644 --- a/bots.d/bad-referrer-words.conf +++ b/bots.d/bad-referrer-words.conf @@ -1,5 +1,17 @@ # EDIT THIS FILE AS YOU LIKE TO ADD OR REMOVE ANY BAD WORDS YOU WANT TO SCAN FOR ### +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## + # This is merely an example and gets auto included as since Version 2.2017.07 introduced on 2017-04-20 # This file must exist on your system or Nginx will fail a reload due to a missing file # For all intensive purpose you can delete everything inside this file and leave it diff --git a/bots.d/blacklist-ips.conf b/bots.d/blacklist-ips.conf index 0d3c82991..70c25f8a1 100644 --- a/bots.d/blacklist-ips.conf +++ b/bots.d/blacklist-ips.conf @@ -1,5 +1,17 @@ # EDIT THIS FILE AS YOU LIKE TO ADD OR REMOVE ANY BAD IP ADDRESSES OR IP RANGES YOU WANT TO BLOCK ### +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## + # This is merely an example and gets auto included as since Version 2.2017.07 introduced on 2017-04-20 # This file must exist on your system or Nginx will fail a reload due to a missing file # For all intensive purpose you can delete everything inside this file and leave it @@ -157,15 +169,12 @@ 38.100.19.8/29 0; 38.100.21.0/24 0; - 38.100.21.0/24 0; 38.100.41.64/26 0; 38.105.71.0/25 0; 38.105.83.0/27 0; 38.112.21.140/30 0; 38.118.42.32/29 0; 63.144.0.0/13 0; - 63.144.0.0/13 0; - 65.112.0.0/12 0; 65.112.0.0/12 0; 65.213.208.128/27 0; 65.222.176.96/27 0; diff --git a/bots.d/blacklist-user-agents.conf b/bots.d/blacklist-user-agents.conf index e11bdae0c..bf6e57211 100644 --- a/bots.d/blacklist-user-agents.conf +++ b/bots.d/blacklist-user-agents.conf @@ -1,6 +1,18 @@ # EDIT THIS FILE AS YOU LIKE TO BLACKLIST OR WHITELIST ANY BAD USER-AGENT STRINGS YOU WANT TO SCAN FOR # **************************************************************************************************** +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## + # Add One Entry Per Line - List all the extra bad User-Agents you want to permanently block or whitelist. # This is for User-Agents that are not included in the main list of the bot blocker diff --git a/bots.d/blockbots.conf b/bots.d/blockbots.conf index d09b05c73..4f5ed79ce 100644 --- a/bots.d/blockbots.conf +++ b/bots.d/blockbots.conf @@ -1,7 +1,17 @@ -####################################################################### - # Author: Mitchell Krog - https://github.com/mitchellkrogza/ +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## + # Include this in a vhost file within a server {} block using and include statement like below # server { diff --git a/bots.d/custom-bad-referrers.conf b/bots.d/custom-bad-referrers.conf index 75b78f0b6..4f1dbb773 100644 --- a/bots.d/custom-bad-referrers.conf +++ b/bots.d/custom-bad-referrers.conf @@ -1,5 +1,17 @@ # EDIT THIS FILE AS YOU LIKE TO ADD ANY ADDITIONAL BAD REFERRER DOMAINS YOU WANT TO SCAN FOR ### +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## + # This is merely an example and gets auto included as since Version 2.2017.07 introduced on 2017-04-20 # This file must exist on your system or Nginx will fail a reload due to a missing file # Only add one entry per line diff --git a/bots.d/ddos.conf b/bots.d/ddos.conf index d8e057ae4..8055dcf14 100644 --- a/bots.d/ddos.conf +++ b/bots.d/ddos.conf @@ -2,6 +2,18 @@ # Author: Mitchell Krog - https://github.com/mitchellkrogza/ +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## + # Include this in a vhost file within a server {} block using and include statement like below # server { diff --git a/bots.d/whitelist-domains.conf b/bots.d/whitelist-domains.conf index e0a25ed8b..fcb8985db 100644 --- a/bots.d/whitelist-domains.conf +++ b/bots.d/whitelist-domains.conf @@ -1,5 +1,17 @@ # EDIT THIS FILE AS YOU LIKE TO WHITELIST YOUR OWN DOMAIN NAMES AND SPARE THEM FROM ANY REFERRER CHECKING ### +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## + # Add One Entry Per Line - List all your own domains of the sites you host on the server # This file must exist on your system or Nginx will fail a reload due to a missing file # Automatic updates will never be able to remove this custom list of yours diff --git a/bots.d/whitelist-ips.conf b/bots.d/whitelist-ips.conf index e5bb0338f..cc93f49f7 100644 --- a/bots.d/whitelist-ips.conf +++ b/bots.d/whitelist-ips.conf @@ -1,5 +1,17 @@ # EDIT THIS FILE AS YOU LIKE TO WHITELIST ALL YOUR IP ADDRESSES AND IP RANGES ### +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## + # Add One Entry Per Line - List all your IP's and IP Ranges you want to whitelist # This file must exist on your system or Nginx will fail a reload due to a missing file # Automatic updates will never be able to remove this custom list of yours diff --git a/conf.d/botblocker-nginx-settings.conf b/conf.d/botblocker-nginx-settings.conf index f775af218..6f7052bf5 100644 --- a/conf.d/botblocker-nginx-settings.conf +++ b/conf.d/botblocker-nginx-settings.conf @@ -1,3 +1,16 @@ +############################################################################## +# _ __ _ # +# / |/ /__ _(_)__ __ __ # +# / / _ `/ / _ \\ \ / # +# /_/|_/\_, /_/_//_/_\_\ # +# __/___/ __ ___ __ ___ __ __ # +# / _ )___ ____/ / / _ )___ / /_ / _ )/ /__ ____/ /_____ ____ # +# / _ / _ `/ _ / / _ / _ \/ __/ / _ / / _ \/ __/ '_/ -_) __/ # +# /____/\_,_/\_,_/ /____/\___/\__/ /____/_/\___/\__/_/\_\\__/_/ # +# # +############################################################################## + + server_names_hash_bucket_size 64; server_names_hash_max_size 4096; limit_req_zone $binary_remote_addr zone=flood:50m rate=90r/s;