1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Фильтрация результата по встречаемости строк

Тема в разделе "Делимся опытом", создана пользователем Дмитрий, 10 янв 2017.

  1. Дмитрий

    Дмитрий A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    30 авг 2013
    Сообщения:
    5
    Симпатии:
    0
    Доброго времени суток!

    Допустим, спарсили URL по списку запросов из топ-10 Гугла, в результате список урлов по всем запросам. Часть из них встречается 1 раз, часть по несколько раз.
    Подскажите, как отфильтровать общий результат парсинга таким образом, чтобы оставить только те URL, которые встречаются к примеру более 5 раз?
     
    #1 Дмитрий, 10 янв 2017
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.341
    Симпатии:
    1.799
    Достаточно просто для Linux / MacOS, для Windows необходимо поставить gnuutils, в командной строке выполнить:
    Код:
    sort result.txt | uniq -c | awk '{if($1 >= 5) print $2}'
     
    #2 Forbidden, 10 янв 2017
    vipdenya, Дмитрий, relay и ещё 1-му нравится это.
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей