133 commits

This branch

This branch

All branches

Author	SHA1	Message	Date
Renan Bernordi	5fbd39786d	mudanca para selenium	2024-12-08 13:48:01 -03:00
Renan Bernordi	288d1f3e45	documentação para selenium	2024-12-07 11:13:31 -03:00
Renan Bernordi	44de79eaca	novas regras e suportes	2024-12-07 11:05:51 -03:00
Renan Bernordi	a822bf5b0b	se o dominio usa selenium, ignorar outras tentativas	2024-12-07 09:31:13 -03:00
Renan Bernordi	e4e29af1ba	hotfix classattr	2024-12-07 00:28:43 -03:00
Renan Bernordi	2b842a7cd6	adiciona suporte a requisição via selenium gurizada	2024-12-07 00:05:51 -03:00
Renan Bernordi	a6fc451f0a	melhoria no processo de validação de erros e capturas entre plataformas	2024-12-05 21:08:16 -03:00
Renan Bernordi	4981232716	ajustes e melhorias	2024-12-05 21:01:46 -03:00
Renan Bernordi	69fff02d3f	novos dominios bloqueados	2024-12-05 21:01:33 -03:00
Renan Bernordi	236708fdd2	validação de dominios	2024-12-05 21:01:23 -03:00
Renan Bernordi	2009b16688	novas regras	2024-12-05 21:01:13 -03:00
Renan Bernordi	c1c59a6fa3	novos dominios bloqueados	2024-12-05 19:30:28 -03:00
Renan Bernordi	96d2bcff8b	novos sites testados e lista de validação	2024-12-05 19:30:20 -03:00
Renan Bernordi	01b903da88	novos sites bloquedos e melhoria no validador	2024-12-05 19:08:16 -03:00
Renan Bernordi	2955158c63	contador de arquivos mais eficiente	2024-12-05 18:52:40 -03:00
Renan Bernordi	1a1457ab9e	remove configuração de csp para resolver conflito com cdn do tailwind	2024-12-05 14:51:29 -03:00
Renan Bernordi	630d03e03d	renomeada a função de debug para disable_cache	2024-12-05 14:39:30 -03:00
Renan Bernordi	5683fe987e	melhorias de segurança na configuraçào do nginx	2024-12-05 14:27:14 -03:00
Renan Bernordi	bd08939a5c	reescreve urls de cache da wayback machine	2024-12-05 14:06:52 -03:00
Renan Bernordi	25e349428a	dns padrão para cloudflare e google	2024-12-05 14:06:30 -03:00
Renan Bernordi	55b843def8	implementação com php curl class	2024-12-05 13:31:18 -03:00
Renan Bernordi	b723eff4d8	ajuste na documentação	2024-12-05 13:13:28 -03:00
Renan Bernordi	6897218bc0	removido retentativas	2024-12-05 13:12:49 -03:00
Renan Bernordi	76dcdaef75	migrado para lib php curl class	2024-12-05 13:12:07 -03:00
Renan Bernordi	e4f3c30cf6	lista de user agents simplificada	2024-12-05 13:11:56 -03:00
Renan Bernordi	a0b9a26dbf	Revert "criada a classe curl para otimizar e simplificar o codigo" ... This reverts commit 38e89e19b0. # Conflicts: # app/inc/Curl.php # app/inc/URLAnalyzer.php	2024-12-05 11:41:08 -03:00
Renan Bernordi	e729291991	documentação e headers	2024-12-05 00:37:40 -03:00
Renan Bernordi	b5bd84dbd7	remove a debug print, criar um testador eficiente no futuro	2024-12-05 00:17:15 -03:00
Renan Bernordi	38e89e19b0	criada a classe curl para otimizar e simplificar o codigo	2024-12-05 00:15:53 -03:00
Renan Bernordi	dc945acc6e	simplificação da limpeza de parametros de url	2024-12-04 23:52:55 -03:00
Renan Bernordi	d9f181acaa	remove o resolvedns	2024-12-04 23:38:50 -03:00
Renan Bernordi	2990d1096b	atualiza user agent do google	2024-12-04 23:30:50 -03:00
Renan Bernordi	1491e3d8f9	class DebugPrint	2024-12-04 22:45:07 -03:00
Renan Bernordi	dc29a90d49	adiciona fallback no archive.org	2024-12-04 14:37:37 -03:00
Renan Bernordi	7a49945e1c	bloquear acesso ao .env no webservice	2024-12-04 10:04:07 -03:00
Renan Bernordi	580a7f8c4e	atualizado com agredecimento ao burlesco	2024-12-04 01:35:23 -03:00
Renan Bernordi	65ae33101d	novo sistema de merge e exclusão de regras	2024-12-04 00:58:28 -03:00
Renan Bernordi	0d42729656	novas urls testadas	2024-12-04 00:57:32 -03:00
Renan Bernordi	0ba05af969	simplifica o sistema de regras globais e por dominio	2024-12-03 23:39:06 -03:00
Renan Bernordi	a51e309196	verificar redirecionamento para ecurtadores de url de redes sociais	2024-12-02 17:47:52 -03:00
Renan Bernordi	44c301dca8	adicionado cta flutuante	2024-12-02 10:17:12 -03:00
Renan Bernordi	0795d79f2c	melhoria na função que remove scripts adicionando novo tipo de tag	2024-12-01 21:55:30 -03:00
Renan Bernordi	c28b844a96	adicionado tag canonical para url original e evitar duplicação se indexar	2024-12-01 21:55:14 -03:00
Renan Bernordi	d3a534a7a5	novo scripts em regras globais	2024-12-01 21:54:43 -03:00
Renan Bernordi	f7ac0bffa6	novas regras de bloqueio no robots ... https://github.com/ai-robots-txt/ai.robots.txt	2024-11-28 17:25:11 -03:00
Renan Bernordi	a4cfef2d40	adicionado robots bloqueando indexação de paginas internas e ias	2024-11-28 17:02:56 -03:00
Renan Bernordi	008b11f42f	regra de corrigir paginas sem urls relativas se torna global	2024-11-28 16:11:42 -03:00
Renan Bernordi	7293e44f58	corrigida a implementação de useragent customizado	2024-11-28 15:57:34 -03:00
Renan Bernordi	6ab4b133a9	remove validação sem uso	2024-11-28 15:56:36 -03:00
Renan Bernordi	93a29296d4	s3_proxy para s3_folder, para facilitar configuração	2024-11-28 15:41:45 -03:00