SE::Google::SafeBrowsing - Verificación de dominio en la lista negra de Google
Descripción general del extractor
El extractor Google Safe Browsing permite verificar un dominio en la lista negra de Google. Con la ayuda del extractor Google Safe Browsing, puede verificar sus propias bases de datos de dominios para detectar su presencia en la lista negra de Google. Puede obtener más detalles sobre este aviso en la Ayuda de búsqueda de Google.
La funcionalidad de A-Parser permite guardar configuraciones de extracción de datos para su uso posterior (ajustes preestablecidos), establecer programas de extracción de datos y mucho más.
Gracias al funcionamiento multihilo de A-Parser, la velocidad de procesamiento de consultas puede alcanzar entre 3800-4000 consultas por minuto.
Es posible guardar los resultados en la forma y estructura que necesite, gracias al potente motor de plantillas integrado Template Toolkit, que permite aplicar lógica adicional a los resultados y exportar datos en varios formatos, incluyendo JSON, SQL y CSV.
Datos recopilados
- Presencia en la lista de sitios sospechosos
Casos de uso
- Verificación de una lista de dominios para su inclusión en la lista negra de Google
- Monitoreo de dominios propios para detectar su inclusión en la lista negra de Google
Consultas
Como consultas, es necesario indicar la URL del sitio buscado, por ejemplo:
http://a-parser.com/
http://www.yandex.ru/
http://facebook.com/
http://youtube.com/
http://perfect-soft.net/
Opciones de salida de resultados
A-Parser admite un formateo flexible de resultados gracias al motor de plantillas integrado Template Toolkit, lo que le permite presentar los resultados en forma libre, así como estructurada, por ejemplo CSV o JSON
Exportación de la lista de verificación en la lista negra
Formato del resultado:
$query: $exists\n
Ejemplo de resultado, en el que se muestra la URL y si se encuentra en la lista negra de Google:
http://youtube.com/: 0
http://www.yandex.ru/: 0
http://a-parser.com/: 0
http://perfect-soft.net: 1
http://facebook.com/: 0
Salida de resultados en una tabla CSV
La utilidad integrada $tools.CSVLine permite crear documentos tabulares correctos, listos para importar en Excel o Google Sheets.
Formato general del resultado:
[% tools.CSVline(query.orig,p1.exists) %]
Nombre del archivo:
$datefile.format().csv
Texto inicial:
Sitio,Resultado de la verificación
Ejemplo de resultado:
Sitio,Resultado de la verificación
http://youtube.com/,0
http://www.yandex.ru/,0
http://a-parser.com/,0
http://perfect-soft.net,1
http://facebook.com/,0
En el Formato general de resultados se aplica el motor de plantillas Template Toolkit para mostrar la consulta y la verificación en la lista negra.
En el nombre del archivo de resultados, simplemente debe cambiar la extensión del archivo a csv.
Para que la opción "Texto inicial" esté disponible en el Editor de tareas, debe activar "Más opciones". En "Texto inicial" escribimos los nombres de las columnas separados por comas y dejamos la segunda línea vacía.
Guardado en formato SQL
Formato del resultado:
[% "INSERT INTO volumes VALUES('" _ query.query _ "', '" _ exists _ "')\n" %]
Ejemplo de resultado:
INSERT INTO serp VALUES('http://www.yandex.ru/', '0')
INSERT INTO serp VALUES('http://a-parser.com/', '0')
INSERT INTO serp VALUES('http://perfect-soft.net', '1')
INSERT INTO serp VALUES('http://facebook.com/', '0')
INSERT INTO serp VALUES('http://youtube.com/', '0')
Volcado de resultados en JSON
Formato general del resultado:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = p1.query.orig;
obj.exists = p1.exists;
obj.json %]
Texto inicial:
[
Texto final:
]
Ejemplo de resultado:
[{"query":"http://www.yandex.ru/","exists":"0"},
{"query":"http://youtube.com/","exists":"0"},
{"query":"http://facebook.com/","exists":"0"},
{"query":"http://a-parser.com/","exists":"0"},
{"query":"http://perfect-soft.net","exists":"1"}]
Para que las opciones "Texto inicial" y "Texto final" estén disponibles en el Editor de tareas, debe activar "Más opciones".
Procesamiento de resultados
A-Parser permite procesar los resultados directamente durante la extracción de datos; en esta sección presentamos los casos más populares para el extractor SE::Google::SafeBrowsing
Guardado de dominios con valor de verificación "1"
Añadir un filtro y en la lista desplegable seleccionar la variable del valor de verificación $exists - Listed as suspicious. Seleccionar el tipo: String equals. Luego, en String (Cadena), debe escribir el valor que necesitamos: 1. Con este filtro podrá eliminar todos los resultados con el valor no deseado.
Descargar ejemplo
Cómo importar un ejemplo en A-Parser
eJx1VEuP2jAQ/ivI4tBKEMqhl9wAlaoVXbYLe2I5mGTCujger+3wUJT/3rETEth2
b57H983bJXPcHuyjAQvOsnhTMh3eLGarb3H8HXEvIY5XPIOpwZMVat8b9uZCgunB
medaAhswzY0F4/GbD2HklkLGC+nYoGTuooFi4BGMEannECnJySskBxKOXBbenmLO
hWJVh8iEdGDIhdL0XDGDs7CU+6AxrWs/eCu4vGEa0xu1E6hIsKAsq7bbK4udo8m5
J+vrcdR0oDWu+BHWWMeGTu2b8MBzT95PuQNvjbJA9Olz5M6egaep8DG5rCP4FnVR
n5V4C8kpJF96GgF2bjAnlYNA4JWXa3Yb1g8yI4oiYH/XGBZnXFoYMEupzjklkr63
CGoNd2iWoQekLxmqiZQLOILs3AL/tBAypXlOMgL9aID/d1n+w1G15d2GojmfDOXQ
sgRpuvzVoVJc4N7PfEd1S5ELR7KdYaH8YL6Q8gCg2549+J7laKAN0zA30WmnNSi/
VN3IJrpT3ZVxN5Z7ZYIqE/tls6hXz0Kt6XCWaob+BHxdqpCSxmLhqVuPiW3G4IUu
wffgWQjhS78eCHOI0v5c1alqI2j9vvoEc+rkbdSGMuFSPj8tbi2sWykSXp3T8WjE
h/WpRgnmoxfVaE+nU3ThKoVzZIpOnfEEdoiHe+cLFq7Ywb1Sg8kgcUOLmYtUOJ6E
TmKPtKzUsGrb/hHtV1N+/FPEZUX78Mc+1hDfPA8gHU3BhhMeV38BeN+pvw==
Vea también: Filtros de resultados
Configuraciones posibles
| Nombre del parámetro | Valor por defecto | Descripción |
|---|---|---|
| Check | Domain | Selección del tipo de verificación (Domain / Full link) |