Распарсить базу по ключам

[SPEED]

Привет

Подскажите как сделать следующее: имеется база 2кк необходимо проверить ее на наличие ключевиков в тексте...

Допустим есть ключи:

скрипт казино
купить казино
скачать казино
soft casino

и если есть полное совпадение по ключу, не зависимо от регистра букв, то такой сайт записываем в базу...

Спасибо

 

[Kreola]

Здравствуйте!
Все тоже самое, что и тут http://a-parser.com/threads/1651/.
Только формат вывода поменять на такой

[% IF a || b || c || d %]$query\n[% END %]

 

[Support]

Или такой вариант:

 

[SPEED]

Или такой вариант:

Попробовал тестовый запрос и не совсем понял, как мне кажется парсер в тексте нашол слово велосипед ? Если так, то это не верно...

 

[Support]

Исходя из вашего задания, если бы он нашел там велосипед, то в последней строке Тестового лога была бы ссылка на этот сайт. А так там пусто, что значит, что велосипед не был найден среди всего контента. Попробуйте вписать, к примеру, gold, и если это слово будет там найдено (а оно будет найдено), то вы увидите ссылку на этот сайт.

 

[SPEED]

Исходя из вашего задания, если бы он нашел там велосипед, то в последней строке Тестового лога была бы ссылка на этот сайт. А так там пусто, что значит, что велосипед не был найден среди всего контента. Попробуйте вписать, к примеру, gold, и если это слово будет там найдено (а оно будет найдено), то вы увидите ссылку на этот сайт.

Ага, понял. Дабы не плодить темы, два вопрсоа в догонку если можно:

1. возможно ли распарсить весь сайт по ключу. Например имеем ссылку: http://a-parser.com/ и ключ "Демо версия" запускаем парсер и он шастая по всем внутренним ссылкам ищет данный ключ, найдя записывает в базу: http://a-parser.com/threads/1535/ записывает всего 1 ссылку и переходит к следующему сайту

2. второй вопрос сам решил )

Спасибо

 

[Support]

возможно ли распарсить весь сайт по ключу. Например имеем ссылку: http://a-parser.com/ и ключ "Демо версия" запускаем парсер и он шастая по всем внутренним ссылкам ищет данный ключ, найдя записывает в базу: http://a-parser.com/threads/1535/ записывает всего 1 ссылку и переходит к следующему сайту

Одним заданием - вряд ли. А вот двумя - пожалуйста. Сначала используя HTML::LinkExtractor сохраняем все внутренние ссылки. Потом, во втором задании, с помощью Net::HTTP проверяем каждую ссылку на предмет вхождения нужных слов, и если находим - сохраняем ссылку.

 

[Forbidden]

Одним заданием - вряд ли.

можно одним, Use raw results + фильтр по $data

 

[SPEED]

​

При старте задания, возникает ошибка: Error: Queries file must be in UTF-8 - файл results/all_base_22.05.2015.txt на сервере в кодировке UTF-8 w/o BOM

 

[Kreola]

UTF-8 w/o BOM и UTF-8 это разные вещи. Поменяйте, заработает.

 

[SPEED]

UTF-8 w/o BOM и UTF-8 это разные вещи. Поменяйте, заработает.

Базу создал сам парсер и кодировка не менялась... Щас конечно попробую изменить, но это вызывает сомнения...

 

[SPEED]

UTF-8 w/o BOM и UTF-8 это разные вещи. Поменяйте, заработает.

не помогло

 

[Kreola]

хмм, а в чем создавали?

 

[SPEED]

хмм, а в чем создавали?

notepad++

 

[Kreola]

нужен пример файла. лично я не представляю в чем может быть причина.

 

[SPEED]

нужен пример файла. лично я не представляю в чем может быть причина.

Запаковал первые 100 строк

 

[Kreola]

все нормально работает

 

[SPEED]

все нормально работает

Попробуй мой пресет...

Спойлер: пресет

eyJwcmVzZXQiOiJcdTA0MWZcdTA0MzBcdTA0NDBcdTA0NDFcdTA0MzhcdTA0M2Rc
dTA0MzMgXHUwNDNmXHUwNDNlIFx1MDQzYVx1MDQzYlx1MDQ0ZVx1MDQ0N1x1MDQz
MFx1MDQzYyIsInZhbHVlIjp7InByZXNldCI6Ilx1MDQxZlx1MDQzMFx1MDQ0MFx1
MDQ0MVx1MDQzOFx1MDQzZFx1MDQzMyBcdTA0M2ZcdTA0M2UgXHUwNDNhXHUwNDNi
XHUwNDRlXHUwNDQ3XHUwNDMwXHUwNDNjIiwicGFyc2VycyI6W1siTmV0OjpIVFRQ
IiwiZGVmYXVsdCIseyJ0eXBlIjoiZmlsdGVyIiwicmVzdWx0IjoiZGF0YSIsImZp
bHRlclR5cGUiOiJyZW1hdGNoIiwidmFsdWUiOiJcdTA0NDFcdTA0M2FcdTA0NDBc
dTA0MzhcdTA0M2ZcdTA0NDIgXHUwNDNhXHUwNDMwXHUwNDM3XHUwNDM4XHUwNDNk
XHUwNDNlfFx1MDQzMFx1MDQ0MFx1MDQzNVx1MDQzZFx1MDQzNFx1MDQzMCBcdTA0
M2FcdTA0MzBcdTA0MzdcdTA0MzhcdTA0M2RcdTA0M2V8XHUwNDQxXHUwNDNhXHUw
NDQwXHUwNDM4XHUwNDNmXHUwNDQyIFx1MDQzOFx1MDQzZFx1MDQ0Mlx1MDQzNVx1
MDQ0MFx1MDQzZFx1MDQzNVx1MDQ0MiBcdTA0M2FcdTA0MzBcdTA0MzdcdTA0Mzhc
dTA0M2RcdTA0M2V8XHUwNDQxXHUwNDM4XHUwNDQxXHUwNDQyXHUwNDM1XHUwNDNj
XHUwNDMwIFx1MDQzYVx1MDQzMFx1MDQzN1x1MDQzOFx1MDQzZFx1MDQzZXxcdTA0
NDFcdTA0M2VcdTA0MzdcdTA0MzRcdTA0MzBcdTA0M2RcdTA0MzhcdTA0MzUgXHUw
NDM4XHUwNDNkXHUwNDQyXHUwNDM1XHUwNDQwXHUwNDNkXHUwNDM1XHUwNDQyIFx1
MDQzYVx1MDQzMFx1MDQzN1x1MDQzOFx1MDQzZFx1MDQzZXxcdTA0M2FcdTA0MzBc
dTA0MzdcdTA0MzhcdTA0M2RcdTA0M2UgXHUwNDNmXHUwNDNlXHUwNDM0IFx1MDQz
YVx1MDQzYlx1MDQ0ZVx1MDQ0N3xcdTA0NDBcdTA0MzBcdTA0MzdcdTA0NDBcdTA0
MzBcdTA0MzFcdTA0M2VcdTA0NDJcdTA0M2FcdTA0MzAgXHUwNDNhXHUwNDMwXHUw
NDM3XHUwNDM4XHUwNDNkXHUwNDNlfFx1MDQzOFx1MDQzM1x1MDQzZVx1MDQ0MFx1
MDQzZFx1MDQzMFx1MDQ0ZiBcdTA0NDFcdTA0MzhcdTA0NDFcdTA0NDJcdTA0MzVc
dTA0M2NcdTA0NGJ8XHUwNDM4XHUwNDMzXHUwNDNlXHUwNDQwXHUwNDNkXHUwNDRi
XHUwNDM5IFx1MDQ0MVx1MDQzMFx1MDQzOVx1MDQ0MnxnYW1pbmF0b3J8Z2FtaW5h
dG9yc3x3ZWJjYXNofHN1cGVyb21hdGljfG1lZ2FzdXBlcm9tYXRpY3xcdTA0NDFc
dTA0NDNcdTA0M2ZcdTA0MzVcdTA0NDBcdTA0M2VcdTA0M2NcdTA0MzBcdTA0NDJc
dTA0MzhcdTA0M2F8bm92b21hdGljfG11bHRpZ2FtaW5hdG9yfG11bHRpLWdhbWlu
YXRvcnxcdTA0M2FcdTA0NDNcdTA0M2ZcdTA0MzhcdTA0NDJcdTA0NGMgXHUwNDNh
XHUwNDMwXHUwNDM3XHUwNDM4XHUwNDNkXHUwNDNlfFx1MDQzYVx1MDQzMFx1MDQz
N1x1MDQzOFx1MDQzZFx1MDQzZSBcdTA0MzJcdTA0NDNcdTA0M2JcdTA0M2FcdTA0
MzBcdTA0M2R8XHUwNDNhXHUwNDQzXHUwNDNmXHUwNDM4XHUwNDQyXHUwNDRjIFx1
MDQzYVx1MDQzMFx1MDQzN1x1MDQzOFx1MDQzZFx1MDQzZSBcdTA0MzJcdTA0NDNc
dTA0M2JcdTA0M2FcdTA0MzBcdTA0M2R8XHUwNDMyXHUwNDQzXHUwNDNiXHUwNDNh
XHUwNDMwXHUwNDNkIFx1MDQzZVx1MDQ0MFx1MDQzOFx1MDQzM1x1MDQzOFx1MDQz
ZFx1MDQzMFx1MDQzYnxnb2xkc3ZldCIsIm9wdGlvbiI6ImlzIn0seyJ0eXBlIjoi
b3ZlcnJpZGUiLCJpZCI6ImZvcm1hdHJlc3VsdCIsInZhbHVlIjoiJHF1ZXJ5XFxu
In0seyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6InVzZXByb3h5IiwidmFsdWUiOmZh
bHNlfV1dLCJyZXN1bHRzRm9ybWF0IjoiJHAxLnByZXNldCIsInJlc3VsdHNTYXZl
VG8iOiJmaWxlIiwicmVzdWx0c0ZpbGVOYW1lIjoiL2Nhc2luby8yMy4wNS4yMDE1
LnR4dCIsImFkZGl0aW9uYWxGb3JtYXRzIjpbXSwicmVzdWx0c1VuaXF1ZSI6Im5v
IiwicXVlcnlGb3JtYXQiOlsiJHF1ZXJ5Il0sInVuaXF1ZVF1ZXJpZXMiOmZhbHNl
LCJzYXZlRmFpbGVkUXVlcmllcyI6ZmFsc2UsIml0ZXJhdG9yT3B0aW9ucyI6eyJv
bkFsbExldmVscyI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNBZnRlckl0ZXJhdG9yIjpm
YWxzZX0sInJlc3VsdHNPcHRpb25zIjp7Im92ZXJ3cml0ZSI6ZmFsc2V9LCJkb0xv
ZyI6Im5vIiwia2VlcFVuaXF1ZSI6Ik5vIiwibW9yZU9wdGlvbnMiOmZhbHNlLCJy
ZXN1bHRzUHJlcGVuZCI6IiIsInJlc3VsdHNBcHBlbmQiOiIiLCJxdWVyeUJ1aWxk
ZXJzIjpbXSwicmVzdWx0c0J1aWxkZXJzIjpbXSwiY29uZmlnT3ZlcnJpZGVzIjpb
XX19

 

[Kreola]

Все норм

Может с версией что-то не то?, Какая версия проги?. Перекачай и замени aparser.exe

 

[SPEED]

Все норм

Может с версией что-то не то?, Какая версия проги?. Перекачай и замени aparser.exe

у меня парсер на сервере...