Code: Alles auswählen
# Der re-Ausdruck war nicht ganz eindeutig. Der hier is sicherer.
# Außerdem ausgelagert, damit er nur einmal kompiliert werden muss
link_re = re.compile(r'''<a[^>]+href\s*=\s*['"]([^'"]+)''', re.U)
def gather_links(fname, encoding, links=None):
# Benutze set() statt list(), dann bekommst du das 'unique' umsonst dazu
links = links and set(links) or set()
# Lese alles auf einmal. Mehr Speicherverbrauch aber weniger Rechenzeit.
# Gibt Datei auch schneller wieder frei.
with codecs.open(fname, encoding=encoding) as fobj:
html = fobj.read()
# Wir brauchen keine match-objekte. findall ist da schneller.
links.update(link_re.findall(html))
# set() ist immer unique. Wir sind also fertig. Da du aber ne liste haben willst, casten wir noch
return list(links)
def pair_links(links, routing_table):
# Dict statt list
pairs = dict()
for link in links:
for pattern in routing_table:
match = pattern.match(link)
if match:
fname = match.groupdict().get('fname', False)
if fname:
pairs.setdefault(fname,set()).add(routing_table[pattern])
break
# Und das ganze wieder auseinander falten, da die Ausgabe ja ne tuple-liste sein soll
out = list()
for fname, hset in pairs.iteritems():
out.extend([(fname, handler) for handler in hset])
return out
Die Dokumentation ... sich darauf zu verlassen, ist aber schlechter Stil. Einmalige Ausdrücke sollten als konstante Modul- oder Klassenattribute abgelegt werden.cofi hat geschrieben:Btw: Ich bin mir recht sicher, dass ``re`` die benutzten Patterns cached und darum nicht wieder kompiliert wird - vllt kann das jemand bestaetigen?