Das deutsche Python-Forum

Code: Alles auswählen

# Der re-Ausdruck war nicht ganz eindeutig. Der hier is sicherer.
# Außerdem ausgelagert, damit er nur einmal kompiliert werden muss
link_re = re.compile(r'''<a[^>]+href\s*=\s*['"]([^'"]+)''', re.U)
    
def gather_links(fname, encoding, links=None):
    # Benutze set() statt list(), dann bekommst du das 'unique' umsonst dazu
    links = links and set(links) or set()
    # Lese alles auf einmal. Mehr Speicherverbrauch aber weniger Rechenzeit.
    # Gibt Datei auch schneller wieder frei.
    with codecs.open(fname, encoding=encoding) as fobj:
        html = fobj.read()
    # Wir brauchen keine match-objekte. findall ist da schneller.
    links.update(link_re.findall(html))
    # set() ist immer unique. Wir sind also fertig. Da du aber ne liste haben willst, casten wir noch
    return list(links)

def pair_links(links, routing_table):
    # Dict statt list
    pairs = dict()
    for link in links:
        for pattern in routing_table:
            match = pattern.match(link)
            if match:
                fname = match.groupdict().get('fname', False)
                if fname:
                    pairs.setdefault(fname,set()).add(routing_table[pattern])
                    break
    # Und das ganze wieder auseinander falten, da die Ausgabe ja ne tuple-liste sein soll
    out = list()
    for fname, hset in pairs.iteritems():
        out.extend([(fname, handler) for handler in hset])
    return out