Пишу комбайн для для массовой работы с дропами, в котором на одном из этапов нужно проверять домены на занятость. После недолгих раздумий решил чекать домены на привязанность к IP адресу, конечно отсутствие у домена привязки к IP не гарантирует его незанятость, но такой способ гарантирует очень быстро чекнуть большое количество доменов на занятость и отсечь явно занятые.
После получения списка можно прогнать его через онлайн сервисы, или где-то еще, чтобы точно удостовериться в свободности домена.
Реализация.
UPD. То что написано ниже про апарсер не совсем правильное решение, саппорт апарсера отписал что лучше использовать для этого Net::Whois, там есть параметр $registered
Чекать решил при помощи апарсера. В течении нескольких минут накидал пресет и выставив необходимые настройки получил готовый чекер.
Так выглядят настройки в пресете
А это настройка парсера Net:DNS
Здесь в поле Result Format с значения по умолчания $query: $ip ($ips.format(‘$ip, ‘))\n меняем на $query\n
Для ленивых вот код пресета для импорта
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
eyJwcmVzZXQiOiJjaGVjayBkb21haW5zIG9uIHJlZ2lzdHJhdGlvbiIsInZhbHVl Ijp7InBhcnNlcnMiOltbIk5ldDo6RE5TIiwiY2hlY2sgZG9tYWlucyIseyJ0eXBl IjoiZmlsdGVyIiwicmVzdWx0IjoiaXAiLCJmaWx0ZXJUeXBlIjoiY29udGFpbiIs InZhbHVlIjoibm90IGZvdW5kIiwib3B0aW9uIjoic2VucyJ9XV0sInJlc3VsdHNG b3JtYXQiOiIkcDEucHJlc2V0IiwicmVzdWx0c1NhdmVUbyI6ImZpbGUiLCJyZXN1 bHRzRmlsZU5hbWUiOiJjaGVjay50eHQiLCJhZGRpdGlvbmFsRm9ybWF0cyI6W10s InJlc3VsdHNVbmlxdWUiOiJubyIsInF1ZXJ5Rm9ybWF0IjoiJHF1ZXJ5IiwidW5p cXVlUXVlcmllcyI6ZmFsc2UsInNhdmVGYWlsZWRRdWVyaWVzIjpmYWxzZSwiZG9M b2ciOiJubyIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVPcHRpb25zIjpmYWxzZSwi cmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5kIjoiIiwicXVlcnlCdWls ZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W10sImNvbmZpZ092ZXJyaWRlcyI6 W119LCJwYXJzZXJzQ29uZlByZXNldHMiOnsiTmV0OjpETlMiOnsiY2hlY2sgZG9t YWlucyI6eyJxdWVyeWZvcm1hdCI6IiRxdWVyeSIsIm5vdGZvdW5kaXNlcnJvciI6 ZmFsc2UsInByb3h5cmV0cmllcyI6IjEwIiwicmVxdWVzdGRlbGF5IjoiMCIsInBy b3h5YmFubmVkY2xlYW51cCI6IjE4MDAiLCJyYXdkYXRhIjpmYWxzZSwiZm9ybWF0 cmVzdWx0IjoiJHF1ZXJ5XFxuIiwidGltZW91dCI6IjYwIiwidXNlcHJveHkiOnRy dWUsInNlcnZlciI6IjIwOC42Ny4yMjAuMjIwIiwibWF4X3NpemUiOiIxMDQ4NTc2 In19fX0= |
Тестирование.
Сразу загнал список доменов, на 100 потоках получилось чекнуть 320k доменов за час, причем у меня подключены были прокси, хотя для такого пресета прокси можно отключить.
Последняя проверка на доступность.
После чека апарсером за полтора часа на привязку к IP адресу у меня с исходного списка дроп доменов, размеров 434k доменов, осталось 300k доменов, которые не привязаны к какому-либо IP адресу.
Этот список на 300k я чекаю на PR дабы найти самые интересные домены.
Из 300k получилось 5k доменов c PR>1 потенциально свободных.
Дальше решил чекнуть уже через онлайн сервисы самые пиаристые домены на занятость. Вот что с этого получилось.
Рандомный чек 30 доменов с PR=5, PR=6, PR=7
Как видим реально свободных почти нету, что неудивительно для таких доменов.
Здесь наблюдаем нормальные просветы в доступности доменов.
Уже есть с чем работать дальше.
Рандомный чек 30 доменов с PR=3
Ну здесь уже больше поле для деятельности, можно найти кучу доменов для сателлитов и других целей.
Вывод.
Прошло семь часов после обращения в поддержку апарсера и пару часов после написания статьи и мне отписали как правильно определять занятость домена…
Net::Whois, там есть параметр $registered
подробнее про парсер вот здесь
Чтож, лоханулся, бывает… =)
прежде чем изобретать очередной велосипед —
RTFM детка! RTFM!
6,789 просмотров всего, 2 просмотров сегодня