Uscrapper 2.0 — OSINT-парсер

[Atom]

Uscrapper 2.0 — OSINT-парсер, предназначенный для эффективного сбора разнообразной персональной информации с веб-сайтов.
Модуль использует методы веб-парсинга и регулярные выражения для извлечения:

адресов электронной почты;
ссылок на социальные сети;
имен авторов;
геолокации;
номеров телефонов и имен пользователей из гиперссылочных и негиперссылочных источников на веб-странице;
поддерживает многопоточность для ускорения этого процесса.

Инструмент оснащен передовыми модулями обхода анти-парсинга и поддерживает технологии для извлечения информации из всех ссылок в пределах одного домена. Кроме того, в программе предусмотрена возможность создания отчета, содержащего все извлеченные данные.

Требования:

• Python 3
• модуль pip
• Стабильное подключение к Интернету

Установка:

$ git clone https://github.com/z0m31en7/Uscrapper.git
$ cd Uscrapper/install/
$ chmod +x ./install.sh && ./install.sh

Запуск:

$ python Uscrapper-v2.0.py -h

GitHub/Инструкция

 

[Atom]

Использование​

Синтаксис командной строки

Для начала попробуйте следующий синтаксис командной строки

python Uscrapper-v2.0.py [-h] [-u URL] [-c (INT)] [-t THREADS] [-O] [-ns]
Пример использования

В демонстрационных целях инструмент будет использоваться для извлечения информации из организации, занимающейся эспортом товаров.

• Укажите, с какого сайта необходимо извлечь информацию, а затем количество ссылок, которые необходимо просмотреть.
• Кроме того, укажите количество потоков, которые будут использоваться при краулинге и скрапинге.
• Как только значение будет задано, инструмент начнет считывать информацию с целевого сайта.

Хотя инструмент в основном собирает указанное количество ссылок, он также извлекает все ссылки на социальные сети, а также адреса электронной почты, геолокации и номера телефонов, если таковые имеются на сайте.

ПРИМЕЧАНИЕ: Хотя инструмент предлагает возможность создания отчета на основе извлеченных данных, в настоящее время эта возможность, по-видимому, не работает.

Источник