|
|
|
|
![]()
exolon
V.I.P. |
Зарегистрирован: 22.11.2007
Сообщений: 2397
|
Обратиться по нику
|
| exolon |
Ответить с цитатой | | |
|
Хочу предложить уважаемому сообществу форума свои услуги по написанию простых скриптов на php и python. Простейшие парсеры, чекеры, работа со списками, мелкие рутинные операции. Короче все то, для чего нет средств у стандартных инструментов, а ручками делать очень долго.
Дабы не быть голословным предлагаю несколько готовых скриптов, чтобы сложилось примерное представление.
1. Брутальный парсер sitemap.xml
На входе даете адрес sitemap.xml сайта. Скрипт заходит на все страницы, перечисленные в sitemap, извлекает содержимое тэгов title и сохраняет в файл в формате title;url. Может пригодиться для парсинга своих или чужих, сайтов или доров; в случае если html-карты нет или не хочется заморачиваться с ее обработкой.
Скрипт многопоточный, написан на Python 3. Выкладывается бесплатно с открытым кодом. Можете модифицировать его под свои цели, например, скачивать не только заголовки, но и содержимое статей на сайтах. Поскольку скрипт написан на Python, можете запускать на любом компьютере, на котором установлен Python 3, как у себя дома на Windows машине, так и на сервере. Для запуска скрипта под Windows установите дистрибутив третьей ветки Python , например вот этот. После установки дистрибутива python скрипт запускается двойным кликом.
Адрес sitemap.xml задается параметром sitemapurl, количество потоков - параметром THREAD_LIMIT.
Кроме того, возможно задание адреса sitemap через командную строку.
| Код: |
|
c:\Pytnon31\python sitemap.py "http://site.com/sitemap.xml"
|
Исходный код скрипта *
ссылка для скачивания
* исходный код скрипта создан не для получения эстетического наслаждения и не является образцом идеального творения гуру-программиста. См. тайтл топика.
2. Чекер ftp аккаунтов
Допустим, есть файл со списком ftp-аккаунтов, например к фришникам, из которых некоторая часть уже умерла. Скрипт возьмет на входе файл с аккаунтами и разложит его не два файла - список хороших аккаунтов, к которым удалось подключиться; и список плохих аккаунтов к которым подключиться не удалось. Скрипт многопоточный, Python 3. 10 wmz (имеется бесплатный аналог )
3. Брутальный чекер livejournal аккаунтов
Если у вас есть не один десяток livejournal-блогов, то, возможно, некоторые из них забанят. Некоторую часть могут забанить сразу же после покупки/регистрации. Скрипт тупо заходит на главную страницу блога (без авторизаций и xml-rpc.), если на главной странице написано, что журнал suspended, то он помещается в список плохих. Все остальные в список хороших. Скрипт многопоточный, Python 3. 10 wmz.
4. Парсер освобождающихся блогов на livejournal
ЖЖ каждый день выкладывает список освобождающихся аккаунтов, разбитый на страницы по алфавиту. Скрипт извлекает их все и складывает в файл. Возможно, в один прекрасный день, в этом списке найдется аккаунт, который будет достойный того, чтобы его купили. Скрипт однопоточный, Python 3. 10 wmz.
5. Модифицированный rgen
Дополнение к утилите, прилагающейся к популярному автоматическому сабмиттеру XRumer. Полезно для тех, кто парсит топики и затем конвертирует их в R-базу. rgen.exe, по крайней мере, тот, который имеется у меня не может преобразовать в R-базу следующие случаи, которые успешно конвертируются данным скриптом:
1) phpbb xttp://forum.com/viewtopic.php?f=1&t=2 преобразуется в xttp://forum.com/posting.php?mode=reply&f=1&t=2. Прямолинейное преобразование, но rgen.exe, почему-то его не обрабатывает.
2) ipb xttp://forum.com/index.php?showtopic=100 преобразуется в xttp://forum.com/index.php?act=post&do=reply_post&f=1&t=100. Скрипт "сбегает" в топик по указанной ссылке, найдет ссылку на ответ и тем самым определить недостающий параметр f=1.
3) vbulletin xttp://forum.com/showthread.php?t=100 преобразуется в xttp://forum.com/newreply.php?do=newreply&noquote=1&p=2565638. Скрипт загружает страницу топика и находит ссылку на ответ.
Скрипт многопоточный. Python 3. 20 wmz.
Тестировался на базах порядка несколько тысяч ссылок.
Пишутся мешалки строк, генераторы комбинаций, проектов, ковариаций для хрумера и т.п. Кроме того, возможно (не гарантирую) написание небольших вспомогательных скриптов для следующего софта XRumer, Zenno Poster 3, DMI 3. От 10 баксов.
Оплата возможна WebMoney и Epassporte. Контакты в PM или ICQ сорок три сорок три семдесят три 80 два. |
|
|
|
|
|
|
![]()
exolon
V.I.P. |
Зарегистрирован: 22.11.2007
Сообщений: 2397
|
Обратиться по нику
|
| exolon |
Ответить с цитатой | | |
|
Пара небольших, но полезных скриптиков бесплатно. Может быть кому-нибудь пригодятся.
6. Пинг xml-rpc
Скрипт на python3. Список пингуемых сервисов ложим в файл pingservices.txt. В файл pingsites.txt записываем сайты, которые нужно пропинговать в следующем формате: одна строчка на сайт, ИмяСайта;UrlСайта в кодировке UTF-8. Запускаем, смотрим на ответы сервисов или на возникшие ошибки. Список сервисов для пинга можно взять здесь, там же по ссылкам, в гугле.
Исходный код
Скачать
7. Массовая замена текста в файлах
Часто бывает нужно заменить пару строчек или какой-то текст в большом количестве файлов на хостинге (нужно сменить баннеры, код счетчика, ссылки), можно скачать их на домашний компьютер и сделать замену локально. А можно запустить этот скрипт на сервере. В таком случае не надо будеть закачивать файлы туда и обратно. Скрипт заменяет указанный текст во всех файлах указанной папки и ее вложенных папках. Текст, который необходимо заменить указывается в переменной $old, новый текст в переменной $new; папка в которой нужно провести замену в переменной $folder. Работает на php5, при большом количестве файлов рекомендуется увеличить время работы php-скриптов. Использовать замену следует аккуратно.
Исходный код
Скачать
Если что не получается, спрашивайте. |
|
|
|
|
|
|
![]()
Димитрий
Опытный |
Зарегистрирован: 18.01.2008
Сообщений: 162
|
Обратиться по нику
|
| Димитрий |
Ответить с цитатой | | |
|
большой респект)) автор крут- сделал мне один полезный скрипт, проверки исходящих ссылок ( убывших и прибывших), на основе файлов вебмастеров гугла и яндекса.. весьма доставляет.  |
|
|
|
|
|
всем добра и счастья! |
![]()
hellbent
Свой |
Зарегистрирован: 21.08.2010
Сообщений: 12
|
Обратиться по нику
|
| hellbent |
Ответить с цитатой | | |
|
спасибо, про пингер пишет так
Traceback (most recent call last):
File "C:\Python31\ping\ping.py", line 2,
import xmlrpc.client
ImportError: No module named xmlrpc.client |
|
|
|
|
|
|
![]()
exolon
V.I.P. |
Зарегистрирован: 22.11.2007
Сообщений: 2397
|
Обратиться по нику
|
| exolon |
Ответить с цитатой | | |
|
Димитрий, спасибо за отзыв
hellbent, странно, этот модуль должен идти в стандартной библиотеке. В папке c:\Python31\Lib\xmlrpc\ должен лежать файл client.py
Если его там нет, то надо еще раз python полностью установить. Если он там есть - стукни в аську в профиле, быстренько разберемся. |
|
|
|
|
|
|
![]()
exolon
V.I.P. |
Зарегистрирован: 22.11.2007
Сообщений: 2397
|
Обратиться по нику
|
| exolon |
Ответить с цитатой | | |
|
Для тех, кто не совладал с питоном, написал по-быстрому скрипт пинга на php.
В php.ini надо раскоментить extension=php_xmlrpc.dll и добавить побольше времени скрипту.
Запускать лучше из консоли.
Сервисы в pingservices.txt. Сайты в pingsites.txt |
|
|
|
|
|
|
![]()
exolon
V.I.P. |
Зарегистрирован: 22.11.2007
Сообщений: 2397
|
Обратиться по нику
|
| exolon |
Ответить с цитатой | | |
|
8. Простой чекер
Простой чекер содержимого страниц. Можно использовать для проверки партнеров по обмену ссылками.
В файл checker.txt добавляем в каждую строчку http://адрес;текст Страничка по адресу проверяется на наличие текста.
Если текст не найден, высылает email на указанный адрес. |
|
|
|
|
|
|
![]()
K313
Свой |
Зарегистрирован: 21.09.2010
Сообщений: 4
|
Обратиться по нику
|
| K313 |
Ответить с цитатой | | |
|
| Выражаю свою благодарность exolon, за помощь. Всё быстро и качественно сделал за несколько часов. Спасибо! |
|
|
|
|
|
|
![]()
vitvirtual
виртуальный |
Зарегистрирован: 11.06.2007
Сообщений: 9061
|
Обратиться по нику
|
| vitvirtual |
Ответить с цитатой | | |
|
| exolon писал(а): |
7. Массовая замена текста в файлах
Часто бывает нужно заменить пару строчек или какой-то текст в большом количестве файлов на хостинге (нужно сменить баннеры, код счетчика, ссылки), можно скачать их на домашний компьютер и сделать замену локально. А можно запустить этот скрипт на сервере. В таком случае не надо будеть закачивать файлы туда и обратно. Скрипт заменяет указанный текст во всех файлах указанной папки и ее вложенных папках. Текст, который необходимо заменить указывается в переменной $old, новый текст в переменной $new; папка в которой нужно провести замену в переменной $folder. Работает на php5, при большом количестве файлов рекомендуется увеличить время работы php-скриптов. Использовать замену следует аккуратно.
Исходный код
Скачать
Если что не получается, спрашивайте.
|
Вот это действительно хорошая штука, мне часто такое приходится делать, скачивать на локаль, менять, а потом обратно. А так - лахва  |
|
|
|
|
|
www.King-Servers.com - Dedicated Servers от 65$, VDS от 25$ |
![]()
shhef +
V.I.P. |
Зарегистрирован: 14.09.2007
Сообщений: 7694
|
Обратиться по нику
|
| shhef + |
Ответить с цитатой | | |
|
| стукни плиз мне в аську!... хочу кое что спросить и заказать.... спасибо |
|
|
|
|
|
Облачный сервер за 5 у.е. + 10 у.е на счет при регистрации по моей ссылке. Разные страны! Лучший треккер! |
![]()
shhef +
V.I.P. |
Зарегистрирован: 14.09.2007
Сообщений: 7694
|
Обратиться по нику
|
| shhef + |
Ответить с цитатой | | |
|
| пользовался услагами ТС... все на высшем уровне! даже больше!... все как хотел то и получил... так что рекомендую! |
|
|
|
|
|
Облачный сервер за 5 у.е. + 10 у.е на счет при регистрации по моей ссылке. Разные страны! Лучший треккер! |
|
|
|
Партнеры
|
