Форум программистов
 
Расширенный поиск
Контакты: о проблемах с регистрацией, почтой и по другим вопросам пишите сюда - alarforum@yandex.ru, проверяйте папку спам! Обязательно пройдите активизацию e-mail.

Вернуться   Форум программистов > Скриптовые языки программирования > Python
Регистрация

Восстановить пароль
Повторная активизация e-mail

Ответ
 
Опции темы
Старый 26.12.2013, 17:04   #1
Lerch1105
Новичок
 
Регистрация: 26.12.2013
Сообщений: 2
Репутация: 10
По умолчанию Интернет паук (Python)

Ребят, очень нужна помощь?
я в Python новичок, получила задание разобраться в коде, он ходит по сайту и выдает все ссылки встречающиеся на этом сайте.Но как он это делает понятия не имею(( объясните пожалуйста что есть что(можно прям как для чайника) , буду очень благодарна!!!
Код:

from html.parser import HTMLParser
from urllib.request import urlopen
from urllib import parse

class LinkParser(HTMLParser):
    def handle_starttag(self, tag, attrs):
        if tag == 'a':
            for (key, value) in attrs:
                if key == 'href':
                    newUrl = parse.urljoin(self.baseUrl, value)
                    self.links = self.links + [newUrl]
                    
    def getLinks(self, url):
        self.links = []
        self.baseUrl = url
        response = urlopen(url)
        if response.getheader('Content-Type')=='text/html; charset=utf-8':
            htmlBytes = response.read()
            htmlString = htmlBytes.decode("utf-8")
            
            self.feed(htmlString)
            return htmlString, self.links
        else:
            return "",[]

def spider(url, maxPages):
    pagesToVisit = [url]
    numberVisited = 0
    while numberVisited < maxPages and pagesToVisit != []:
        numberVisited = numberVisited +1
        url = pagesToVisit[0]
        pagesToVisit = pagesToVisit[1:]
        try:
            print(numberVisited, "Visiting:", url)
            parser = LinkParser()
            data, links = parser.getLinks(url)
            pagesToVisit = pagesToVisit + links
            print("Have got links:", links)
        except:
            print(" **Failed!**")

print(spider("http://www.sgu.ru/", 1))


Последний раз редактировалось Stilet; 26.12.2013 в 17:13.
Lerch1105 вне форума   Ответить с цитированием
Ответ



Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Паук из «Коррозия металла» мэр Химок?! mv28jam Свободное общение 11 30.08.2012 17:44
Realtime драйвер под Windows для ПАУК-4x x4axis Assembler 9 07.08.2012 09:40
Мини-паук Drayvs Фриланс 9 13.09.2010 22:40
Что а паук такой? Altera Свободное общение 37 30.06.2009 08:27




11:26.


Powered by vBulletin® Version 3.8.8 Beta 2
Copyright ©2000 - 2018, Jelsoft Enterprises Ltd.

купить трафик


как улучшить посещаемость, а также решения по монетизации сайтов, видео и приложений

RusProfile.ru


Справочник российских юридических лиц и организаций.
лучший хостинг
Выбираем лучший хостинг: рейтинг ТОП 10
Проекты отопления, пеллетные котлы, бойлеры, радиаторы
интернет магазин respective.ru