Das deutsche Python-Forum

Das geht:
http://raj.blog.archive.org/2012/07/19/ ... with-lxml/

Danke und viele Grüße
D

parse von lxml versteht auch URLs direkt. Das hat den Vorteil, dass das Encoding, das vom Server übertragen wird, mitberücksichtigt wird. Welches encoding hat response denn? Normalerweise arbeitet man intern ausschließlich mit Unicode-Strings. Das Encoding macht man erst beim Schreiben in eine Date...

Hi,

dachte das Problem wäre klar falsch dargestellte Umlaute. "prätentiösen"

Hi Zusammen, simples Programm, ließt eine Webseite aus, extrahiert einige Teile und soll sie in eine lokale HTML Datei schreiben. Leider stolper ich schon wieder über die Encodings :( # -*- coding: utf-8 -*- from urllib2 import urlopen from lxml.html import parse from lxml.etree import tostring from...

Hi there, i try to build a little script to read a webpage, read movie titles and query imdb.com. from urllib2 import urlopen from lxml.html import parse from lxml.etree import tostring from lxml.html import HTMLParser import socket import re import urllib import os # Read movie titles parser = HTML...

Na das werde ich mir doch mal für mein nächstes Script ansehen. Für mein aktuelles Programm hatte ich eigentlich so was eingebaut: import HTMLParser imdbTitle=HTMLParser.HTMLParser().unescape(imdbTitle[0]) Unerklärlicher weise funktioniert das ganz bei mir lokal (Windows, Python 2.6.5) und auf dem Z...

HiHi..

da gehst du recht in der Annahme.
Das ist eines meiner Quick&Dirty Scripte, nutze urllib2 + regex um die Webseite aus zu lesen.

Was wäre denn eine alternative? (zumindest um die Problematik der Umlaute / Encodings / HTML Escapes los zu werden?)

Viele Grüße
Dom

Hallo Zusammen, verzweifel mal wieder an den bösen Encodings. Ziel: von zwei unterschiedlichen Web Ressourcen ziehe ich Texte, diese will ich miteinander vergleichen. # -*- coding: utf-8 -*- ..... html=response.read() imdbTitle=findNamesInHtml(html) imdbTitle=imdbTitle[0].decode("utf8") .... html=re...

Hallo Zusammen, eigentlich bin ich Java Programmierer, schreibe meine Quick&Dirty Scripte aber gerne mit Python. Nun bin ich auf ein mathematisches Rätsel gestoßen, das 9 unbekannte Variablen in 6 Gleichungen einander in Beziehung stellt. Die Gleichungen sehen zum Beispiel so aus: ABC+BDE=FGH, ADB-E...

Zum Abschluss noch mal das fertige Programm: size=browser.response().info().getheader("Content-Length") if size==None: size=0 else: size=int(size)/1024/1024 print "download (%.2fmb): " % size , # define file to write to filename="somefile.exe" outputFile=open(filename, "wb") resp=browser.response();...

wow... :oops: falls du die Zeit hast, wäre es fein wenn du das mal auseinander bröselst für mich :) edit: ah moment: partial(response.read, 512) = erzeugt eine neue Funktion die wiederum "read" mit dem Parameer 512 aufruft. iter() = erzeugt einen Iterator, der die Funktion so oft aufruft bis sie ein...

@da.dom: Das funktioniert bis auf zwei Kleinigkeiten ganz wunderbar. 1. Die Anzeige ist irreführend weil Du mit ``index * 0.5`` Kilobytes vor dem Schrägstrich anzeigst, die grösse nach dem Schrägstrich aber in Mebibytes angegeben ist. Ist nicht gerade benutzerfreundlich. ;-) *autsch* das verwirrt a...

Achso, stand gerade auf dem Schlauch :) . Scheint nicht zu gehen, ich vermutet er ließt beim ersten Zugriff den kompletten Response (der erste Step dauert) und dann dann feuert er ohne ein Ende zu finden durch die Schleife. Hier mein Beispiel import mechanize br=mechanize.Browser() resp=br.open("htt...

BlackJack hat geschrieben:Blockweise in einer Schleife

Wenn du mir das syntaktisch einmal zeigst versuche ich das . Wie gesagt ich habe gegoogelt und in der API nur read und readlines gefunden, wobei readlines nehme ich an nach linefeeds splittet (was in BinärDateien ja vermutlich nichts exisitert)

Hallo Zusammen, gibt es eine Möglichkeit mittels mechanize nur Teile der response zu lesen? Bei "normalen" HTTP Seiten gibt die Funktion "readline" ja Zeilenweise die Response zurück, jedoch ist diese Funktion nicht besonders brauchbar bei Dateien. Was ich vorhabe: Ich lade mittels Python Script ein...