1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Пресет Вывод результата в формате дампа SQL 1.0

Пример генерации файла дампа SQL, готового для импорта в базу данных

  1. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.547
    Симпатии:
    2.164
    В данной статье показан пример генерации файла дампа SQL, готового для импорта в базу данных. Для экранирования символов используется JS. Скрипт уже включен в пресет, поэтому нужна версия А-Парсера не ниже 1.1.457.
    [​IMG]
    Код:
    eyJwcmVzZXQiOiJTUUwgcmVzdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiU1FMIHJl
c3VsdCIsInBhcnNlcnMiOltbIlNFOjpHb29nbGUiLCJUT1AgMTAgKyBBRyJdXSwi
cmVzdWx0c0Zvcm1hdCI6IlslIEZPUkVBQ0ggcDEuc2VycDtcblx0XCJJTlNFUlQg
SU5UTyBzZXJwIFZBTFVFUygnXCIgXyB0b29scy5qcy5TUUxfZXNjYXBlKHF1ZXJ5
KSBfIFwiJywgJ1wiO1xuXHR0b29scy5qcy5TUUxfZXNjYXBlKGxpbmspIF8gXCIn
LCAnXCI7XG5cdHRvb2xzLmpzLlNRTF9lc2NhcGUoYW5jaG9yKSBfIFwiJylcXG5c
IjtcbkVORCAlXSIsInJlc3VsdHNTYXZlVG8iOiJmaWxlIiwicmVzdWx0c0ZpbGVO
YW1lIjoiJGRhdGVmaWxlLmZvcm1hdCgpLnR4dCIsImFkZGl0aW9uYWxGb3JtYXRz
IjpbXSwicmVzdWx0c1VuaXF1ZSI6Im5vIiwicXVlcnlGb3JtYXQiOlsiJHF1ZXJ5
Il0sInVuaXF1ZVF1ZXJpZXMiOmZhbHNlLCJzYXZlRmFpbGVkUXVlcmllcyI6ZmFs
c2UsIml0ZXJhdG9yT3B0aW9ucyI6eyJvbkFsbExldmVscyI6ZmFsc2UsInF1ZXJ5
QnVpbGRlcnNBZnRlckl0ZXJhdG9yIjpmYWxzZSwicXVlcnlCdWlsZGVyc09uQWxs
TGV2ZWxzIjpmYWxzZX0sInJlc3VsdHNPcHRpb25zIjp7Im92ZXJ3cml0ZSI6ZmFs
c2V9LCJkb0xvZyI6Im5vIiwia2VlcFVuaXF1ZSI6Ik5vIiwibW9yZU9wdGlvbnMi
OnRydWUsInJlc3VsdHNQcmVwZW5kIjoiIiwicmVzdWx0c0FwcGVuZCI6IiIsInF1
ZXJ5QnVpbGRlcnMiOltdLCJyZXN1bHRzQnVpbGRlcnMiOlt7InNvdXJjZSI6WzAs
WyJzZXJwIiwiYW5jaG9yIl1dLCJ0eXBlIjoiZGVjb2RlSHRtbCIsImFycmF5Ijoi
c2VycCIsInRvIjoiYW5jaG9yIn0seyJzb3VyY2UiOlswLFsic2VycCIsImFuY2hv
ciJdXSwidHlwZSI6InJlbW92ZUh0bWwiLCJhcnJheSI6InNlcnAiLCJ0byI6ImFu
Y2hvciJ9XSwiY29uZmlnT3ZlcnJpZGVzIjpbXSwicnVuVGFza09uQ29tcGxldGUi
OiIiLCJ1c2VSZXN1bHRzRmlsZUFzUXVlcmllc0ZpbGUiOmZhbHNlLCJ0b29sc0pT
IjoiVG9vbHMucHJvdG90eXBlLlNRTF9lc2NhcGUgPSBmdW5jdGlvbihzdHIpIHtc
biAgICByZXR1cm4gc3RyLnJlcGxhY2UoL1tcXDBcXHgwOFxceDA5XFx4MWFcXG5c
XHJcIidcXFxcXFwlXS9nLCBmdW5jdGlvbiAoY2hhcikge1xuICAgICAgICBzd2l0
Y2ggKGNoYXIpIHtcbiAgICAgICAgICAgIGNhc2UgXCJcXDBcIjpcbiAgICAgICAg
ICAgICAgICByZXR1cm4gXCJcXFxcMFwiO1xuICAgICAgICAgICAgY2FzZSBcIlxc
eDA4XCI6XG4gICAgICAgICAgICAgICAgcmV0dXJuIFwiXFxcXGJcIjtcbiAgICAg
ICAgICAgIGNhc2UgXCJcXHgwOVwiOlxuICAgICAgICAgICAgICAgIHJldHVybiBc
IlxcXFx0XCI7XG4gICAgICAgICAgICBjYXNlIFwiXFx4MWFcIjpcbiAgICAgICAg
ICAgICAgICByZXR1cm4gXCJcXFxcelwiO1xuICAgICAgICAgICAgY2FzZSBcIlxc
blwiOlxuICAgICAgICAgICAgICAgIHJldHVybiBcIlxcXFxuXCI7XG4gICAgICAg
ICAgICBjYXNlIFwiXFxyXCI6XG4gICAgICAgICAgICAgICAgcmV0dXJuIFwiXFxc
XHJcIjtcbiAgICAgICAgICAgIGNhc2UgXCJcXFwiXCI6XG4gICAgICAgICAgICBj
YXNlIFwiJ1wiOlxuICAgICAgICAgICAgY2FzZSBcIlxcXFxcIjpcbiAgICAgICAg
ICAgIGNhc2UgXCIlXCI6XG4gICAgICAgICAgICAgICAgcmV0dXJuIFwiXFxcXFwi
K2NoYXI7XG4gICAgICAgIH1cbiAgICB9KTtcbn0ifSwicGFyc2Vyc0NvbmZQcmVz
ZXRzIjp7IlNFOjpHb29nbGUiOnsiVE9QIDEwICsgQUciOnsicXVlcnlmb3JtYXQi
OiIkcXVlcnkiLCJwYXJzZW5vdGZvdW5kIjp0cnVlLCJnbCI6IiIsInBhZ2Vjb3Vu
dCI6MSwiZG9fZ3ppcCI6dHJ1ZSwiZG9tYWluIjoid3d3Lmdvb2dsZS5jb20iLCJ0
aW1lb3V0IjoiNjAiLCJ1c2Vwcm94eSI6dHJ1ZSwiYW50aWdhdGVwcmVzZXQiOiJB
RyIsImV4dHJhcXVlcnkiOiIiLCJ1c2VzZXNzaW9ucyI6dHJ1ZSwibG9jYXRpb24i
OiIiLCJzZXJwdGltZSI6IiIsImxpbmtzcGVycGFnZSI6MTAsImZpbHRlciI6dHJ1
ZSwic2VycCI6IiIsInVzZWFudGlnYXRlIjp0cnVlLCJwcm94eXJldHJpZXMiOiIx
MCIsInJlcXVlc3RkZWxheSI6IjAiLCJwcm94eWJhbm5lZGNsZWFudXAiOiIzMDAi
LCJyYXdkYXRhIjpmYWxzZSwiZm9ybWF0cmVzdWx0IjoiJHNlcnAuZm9ybWF0KCck
bGlua1xcbicpIiwibHIiOiIiLCJtYXhfc2l6ZSI6IjIwNDgwMCJ9fX19
    • Для примера использован парсинг Google TOP10.
    • За вывод результата в нужном виде отвечает шаблон:
    [​IMG]​
    • Скрипт для экранирования символов:

    Пример результата:
     
    #1 Support, 24 мар 2016
    Evgeniy.O, rumos, vipdenya и 4 другим нравится это.
  2. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    198
    Симпатии:
    116
    Хороший пример! Как то в хотелках предлагал прямую запись в БД (MySQL и sqlite) но что то все промолчали =(
     
    #2 btr, 24 мар 2016
    slivak77, seewww и Support нравится это.
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    будет, но сама по себе запись в базу не интересна, гораздо интереснее связанный с этим функционал(insert or update, сортировка результатов, отображение в парсере вьюшек, какая то аналитика и графики)
     
    #3 Forbidden, 24 мар 2016
    rumos, uomi, 0day0hour и 5 другим нравится это.
  4. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    157
    Симпатии:
    103
    голосую за postgresql ;)
     
    #4 relay, 24 мар 2016
    Evgeniy.O нравится это.
  5. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    198
    Симпатии:
    116
    Какой приоритет у задачи? В этом году стоит ожидать или нет?
     
    #5 btr, 30 окт 2017
  6. ro--ot

    ro--ot A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    19 май 2016
    Сообщения:
    38
    Симпатии:
    42
    Сделать бы так для sqlite.
    Можно будет парсить апарсером на сервере а потом скармливать базу в ContentBox и генерить доры :)
     
    #6 ro--ot, 30 окт 2017
    Последнее редактирование: 30 окт 2017
    Sobesednic, Force68 и btr нравится это.
  7. Support Юра

    Support Юра A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 июн 2017
    Сообщения:
    122
    Симпатии:
    71
    Решение по вопросу поддержки баз данных здесь
     
    #7 Support Юра, 27 мар 2018
  8. Vvtex

    Vvtex A-Parser Pro License
    A-Parser Pro

    Регистрация:
    9 окт 2017
    Сообщения:
    124
    Симпатии:
    24
    PHP:
    INSERT INTO serp VALUES('слово', 'https://en.wiktionary.org/wiki/\%D1\%81\%D0\%BB\%D0\%BE\%D0\%B2\%D0\%BE', 'слово - Wiktionary')
    INSERT INTO serp VALUES('слово', 'https://ru.wikipedia.org/wiki/\%D0\%A1\%D0\%BB\%D0\%BE\%D0\%B2\%D0\%BE', 'Слово — Википедия')
    INSERT INTO serp VALUES('слово', 'https://ru.wikipedia.org/wiki/\%D0\%A1\%D0\%BB\%D0\%BE\%D0\%B2\%D0\%BE_(\%D1\%84\%D0\%B8\%D0\%BB\%D1\%8C\%D0\%BC)', 'Слово (фильм) — Википедия')
    INSERT INTO serp VALUES('слово', 'http://masterrussian.com/vocabulary/slovo_word.htm', 'How to say word in Russian - Translation and Examples - Word слово')
    INSERT INTO serp VALUES('слово', 'https://www.youtube.com/watch?v=dpfTJrUF2Nk', 'СЛОВО - ВИКТОР СУХОРУКОВ - YouTube')
    INSERT INTO serp VALUES('слово', 'https://www.google.com/search?q=\%D1\%81\%D0\%BB\%D0\%BE\%D0\%B2\%D0\%BE&num=100&hl=en&prmd=ivns&tbm=isch&tbo=u&source=univ&sa=X&ved=0ahUKEwiCxvHmuuHaAhWFFBQKHTh1AnkQsAQIOQ', 'Images for слово')
    https://www.google.com/search?q=\%D...X&ved=0ahUKEwiCxvHmuuHaAhWFFBQKHTh1AnkQsAQIOQ
    выводиться вот такая ссылка, где вместо слова - слово, такое \Ñ\ \Ð\»\Ð\¾\Ð\²\Ð\¾
    Как сделать \Ñ\ \Ð\»\Ð\¾\Ð\²\Ð\¾, чтобы было слово?
     
    #8 Vvtex, 30 апр 2018
  9. Support Денис

    Support Денис A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 июн 2017
    Сообщения:
    586
    Симпатии:
    185
    Здравствуйте.
    Проблемы с кодировкой. А как вы эти строки получаете ? Код пресета в личку сбросьте.
    Telegram: @aparser2
    Skype: Денис A-Parser Support
     
    #9 Support Денис, 30 апр 2018
  10. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    198
    Симпатии:
    116
    Я так понимаю, с текущей реализацией через JS парсеры, не стоит уже ожидать работу с БД в виде сортировки, вьюшек, аналитики и графики? Или все таки будет это реализовываться?
     
    #10 btr, 7 окт 2018
  11. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    думаю лучше не ожидать, а уже использовать то что доступно :)
     
    #11 Forbidden, 8 окт 2018
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей