1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Парсинг только page google

Тема в разделе "Техническая поддержка", создана пользователем poiskspider, 24 янв 2017.

  1. poiskspider

    poiskspider A-Parser Pro License
    A-Parser Pro

    Регистрация:
    30 апр 2014
    Сообщения:
    86
    Симпатии:
    11
    Есть текстовый список ключей.
    Нужно парсить гугл, но сохранять в результат только урлы постраничной навигации
    Пример:
    ключ:
    site:a-parser.com
    результат:
    https://www.google.com/#q=site:a-parser.com
    https://www.google.com/#q=site:a-parser.com&start=10
    https://www.google.com/#q=site:a-parser.com&start=20
    https://www.google.com/#q=site:a-parser.com&start=30
    Ну и так далее пока есть результаты в выдаче...
    Как такое реализовать, что то я никак не могу сообразить!
     
    #1 poiskspider, 24 янв 2017
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Как вариант - можно спарсить регулярным выражением ссылки на страницы из кода страниц выдачи в SE::Google (применить Parse custom results к $pages.$i.data).
    Но наверное данную задачу лучше решить каким-то сторонним скриптом, который просто сгенерирует подобные урлы.
     
    #2 Support, 24 янв 2017
  3. poiskspider

    poiskspider A-Parser Pro License
    A-Parser Pro

    Регистрация:
    30 апр 2014
    Сообщения:
    86
    Симпатии:
    11
    Очень жаль, что ничего нельзя придумать. А Parse custom results ничего не выйдет, там ссылки закодированные
     
    #3 poiskspider, 24 янв 2017
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Почему же не выйдет? Все отлично парсится:
    [​IMG]
    Код:
    eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
InBhcnNlcnMiOltbIlNFOjpHb29nbGUiLCJkZWZhdWx0Iix7InR5cGUiOiJjdXN0
b21SZXN1bHQiLCJyZXN1bHQiOlsicGFnZXMiLCJkYXRhIl0sInJlZ2V4IjoiPHRk
PjxhIGNsYXNzPVwiZmxcIiBocmVmPVwiKFteXCJdKylcIj4iLCJyZWdleFR5cGUi
OiJnIiwicmVzdWx0VHlwZSI6ImFycmF5IiwiYXJyYXlOYW1lIjoibGlua3MiLCJy
ZXN1bHRzIjpbImxpbmsiXX0seyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6InBhZ2Vj
b3VudCIsInZhbHVlIjoxfV1dLCJyZXN1bHRzRm9ybWF0IjoiaHR0cHM6Ly93d3cu
Z29vZ2xlLmNvbSRwMS5saW5rcy4wLmxpbmsucmVtb3ZlKCcmc3RhcnQ9XFxkKycp
XFxuJHAxLmxpbmtzLmZvcm1hdCgnaHR0cHM6Ly93d3cuZ29vZ2xlLmNvbSRsaW5r
XFxuJykiLCJyZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6
IiRkYXRlZmlsZS5mb3JtYXQoKS50eHQiLCJhZGRpdGlvbmFsRm9ybWF0cyI6W10s
InJlc3VsdHNVbmlxdWUiOiJubyIsInF1ZXJ5Rm9ybWF0IjpbIiRxdWVyeSJdLCJ1
bmlxdWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOmZhbHNlLCJp
dGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJxdWVyeUJ1aWxk
ZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNPbkFsbExldmVs
cyI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6eyJvdmVyd3JpdGUiOmZhbHNlfSwi
ZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVPcHRpb25zIjpmYWxz
ZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5kIjoiIiwicXVlcnlC
dWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W3sic291cmNlIjpbMCxbImxp
bmtzIiwibGluayJdXSwidHlwZSI6ImRlY29kZUh0bWwiLCJhcnJheSI6Imxpbmtz
IiwidG8iOiJsaW5rIn1dLCJjb25maWdPdmVycmlkZXMiOltdLCJydW5UYXNrT25D
b21wbGV0ZSI6bnVsbCwidXNlUmVzdWx0c0ZpbGVBc1F1ZXJpZXNGaWxlIjpmYWxz
ZSwicnVuVGFza09uQ29tcGxldGVDb25maWciOiJkZWZhdWx0IiwidG9vbHNKUyI6
IiJ9fQ==
     
    #4 Support, 24 янв 2017
  5. poiskspider

    poiskspider A-Parser Pro License
    A-Parser Pro

    Регистрация:
    30 апр 2014
    Сообщения:
    86
    Симпатии:
    11
    ООО отлично, а у меня были ошибке, спасибо за пресет!!!
     
    #5 poiskspider, 24 янв 2017
    Support нравится это.
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей