Пример собранных ссылок:
http://forum.plenilec.com/index.php?action=vthread&forum=1&topic=585
http://www.depdagri.go.id/forum/index.php?action=vthread&forum=5&topic=49751
http://www.depdagri.go.id/forum/index.php?action=vthread&forum=5&topic=63177
http://www.500dollarlinks.com/forum/index.php?action=vthread&forum=1&topic=12&page=328
http://smkn1losarang.sch.id/m//index.php?action=vthread&forum=9&topic=214&page=74
http://www.wkfinetools.com/wWorking/z_reading/1919-AppliedScience/0_img-pdf/1919-AppliedScienceForWoodworker-Dooley.pdf
http://www.nocturne.to/~nocturne/nocs/saidnqkbwihvcjwbs/diary.cgi?time=1165822970&id=nocturne&mode=disp&category=&writer_all=on&category_all=
http://www.33mag.com/en/photos/george-laraque-octane-commercial-behind-the-scenes-photos-part-1/georges-laraque-en-tournage-?page=9%2C2
http://www.500dollarlinks.com/forum/index.php?action=vthread&forum=1&topic=1&page=5859
Было бы удобно до стадии обработки ссылок и проверки их на уникальность, удалять то, что заведомо нам не нужно, используя маски ссылок, которые мы ищем.
На примере выше нам нужны все ссылки, содержащие action=vthread
Все остальное должно автоматом отсеиваться.
http://forum.plenilec.com/index.php?action=vthread&forum=1&topic=585
http://www.depdagri.go.id/forum/index.php?action=vthread&forum=5&topic=49751
http://www.depdagri.go.id/forum/index.php?action=vthread&forum=5&topic=63177
http://www.500dollarlinks.com/forum/index.php?action=vthread&forum=1&topic=12&page=328
http://smkn1losarang.sch.id/m//index.php?action=vthread&forum=9&topic=214&page=74
http://www.wkfinetools.com/wWorking/z_reading/1919-AppliedScience/0_img-pdf/1919-AppliedScienceForWoodworker-Dooley.pdf
http://www.nocturne.to/~nocturne/nocs/saidnqkbwihvcjwbs/diary.cgi?time=1165822970&id=nocturne&mode=disp&category=&writer_all=on&category_all=
http://www.33mag.com/en/photos/george-laraque-octane-commercial-behind-the-scenes-photos-part-1/georges-laraque-en-tournage-?page=9%2C2
http://www.500dollarlinks.com/forum/index.php?action=vthread&forum=1&topic=1&page=5859
Было бы удобно до стадии обработки ссылок и проверки их на уникальность, удалять то, что заведомо нам не нужно, используя маски ссылок, которые мы ищем.
На примере выше нам нужны все ссылки, содержащие action=vthread
Все остальное должно автоматом отсеиваться.