Делаем контент для обработки под Zebroid
На выходе мы должны получить статью, где key является названием txt файла.
Кол-во url на key задается мной (пример 5-20 url)
Для каждого key url должен быть уникален (что бы не дублировался текст)
Из всех собранных ссылок на key, парсер собирает сборный текст, который помещается в txt, Key является названием txt файла.
Как собирается текст:
из каждого url на key, парсер берет заголовок H2 и N кол-во абзацев под ним (кол-во абзацев N задается либо конкретно, либо в определенных пределах (допустим 1-3)). Если абзац заканчивается на : (двоеточие), парсер собирает полностью след. за ним абзац.
Текст должен быть очищен от лишних тегов, ссылок. Содержит только теги H2 и теги абзацев.
И так мы проходим по всем url на key, пока на выходе не получим txt файла, где key является названием файла.
Кол-во H2 в сборной статье txt должно быть настраиваемо рандомно в диапазоне. Допустим в одной статье 6 H2, в другой 12 H2.
Пример содержания сборной статьи:
<h2>Ремонт обуви в Киеве</H2>
<p>Наша компания ремонтирует обувь в Киеве</p>
<p>Ремонт качественный и быстрый</p>
отступ между блоками
<h2>Ремонт обуви в Минске</H2>
<p>Наша компания ремонтирует обувь в Минске</p>
<p>Ремонт качественный и быстрый</p>
отступ между блоками
.
.
<H2 N>...</H2 N>
На выходе мы должны получить статью, где key является названием txt файла.
Кол-во url на key задается мной (пример 5-20 url)
Для каждого key url должен быть уникален (что бы не дублировался текст)
Из всех собранных ссылок на key, парсер собирает сборный текст, который помещается в txt, Key является названием txt файла.
Как собирается текст:
из каждого url на key, парсер берет заголовок H2 и N кол-во абзацев под ним (кол-во абзацев N задается либо конкретно, либо в определенных пределах (допустим 1-3)). Если абзац заканчивается на : (двоеточие), парсер собирает полностью след. за ним абзац.
Текст должен быть очищен от лишних тегов, ссылок. Содержит только теги H2 и теги абзацев.
И так мы проходим по всем url на key, пока на выходе не получим txt файла, где key является названием файла.
Кол-во H2 в сборной статье txt должно быть настраиваемо рандомно в диапазоне. Допустим в одной статье 6 H2, в другой 12 H2.
Пример содержания сборной статьи:
<h2>Ремонт обуви в Киеве</H2>
<p>Наша компания ремонтирует обувь в Киеве</p>
<p>Ремонт качественный и быстрый</p>
отступ между блоками
<h2>Ремонт обуви в Минске</H2>
<p>Наша компания ремонтирует обувь в Минске</p>
<p>Ремонт качественный и быстрый</p>
отступ между блоками
.
.
<H2 N>...</H2 N>