Das deutsche Python-Forum

Code: Alles auswählen

from bs4 import BeautifulSoup
import requests
import pandas as pd

HEADERS = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0"}

def main():
    url = "http://www.gesundheitsatlas-bw.de/dataviews/tabular?viewId=212&geoId=1&subsetId="
    page = requests.get(url, headers=HEADERS)
    soup = BeautifulSoup(page.content, "html.parser")
    table = soup.find('table',{'class':'dataViewTable sortable'}).find('tbody')
    rows = table.find_all('tr')
    data = {}
    for row in rows:
        data[row.find('th',{'class':'row'}).get_text().split()[0]] = row.find('td',{'class':'ar'}).get_text()
    print(data)
    #wenn du doch alles in einem DataFrame willst:
    data_frame = pd.DataFrame.from_dict(data.items()).rename(columns={0: "City", 1: "Value"})
    print(data_frame)

if __name__ == "__main__":
    main()

Code: Alles auswählen

from bs4 import BeautifulSoup
import requests
import pandas as pd
import datetime
import openpyxl
from pandas import DataFrame

#Hilfe von "Jankie"
#___________________
HEADERS = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0"}


def main():
    aktuelles_datum = datetime.datetime.now()
    aktuelles_datum = aktuelles_datum.strftime( "%d.%m." )
    print( aktuelles_datum )
    url = "http://www.gesundheitsatlas-bw.de/dataviews/tabular?viewId=212&geoId=1&subsetId="
    page = requests.get( url, headers=HEADERS )
    soup = BeautifulSoup( page.content, "html.parser" )
    table = soup.find( 'table', {'class': 'dataViewTable sortable'} ).find( 'tbody' )
    rows = table.find_all( 'tr' )
    data = {}
    for row in rows:
        data[row.find( 'th', {'class': 'row'} ).get_text().split()[0]] = row.find( 'td', {'class': 'ar'} ).get_text()
    # print ( data )
    # wenn du doch alles in einem DataFrame willst:
    df = pd.DataFrame.from_dict( data.items() ).rename( columns={0: "Stadt", 1: aktuelles_datum} )
    # print ( data_frame )
    #______________
    df_neu = df.loc[[12, 14, 22, 23, 26, 27], ['Stadt', aktuelles_datum]]
    # print ( data_frame_neu )
    df_neu = df_neu.set_index( 'Stadt' )
    print( df_neu )
    # data_frame_neu.to_excel("output.xlsx")
    df_alt = pd.read_excel( 'output.xlsx', index_col=0, header=0 )
    print( df_alt )
    # Abfrage ob Spalte mit aktuellem Datum bereits vorhanden ist .
    # Wenn ja, wird die Spalte gelöscht
    print (list( df_alt ))
    namen = list( df_alt )
    for i in namen:
        if aktuelles_datum in i:
            del df_alt[aktuelles_datum]
            print( 'Datum war bereits vorhanden und wurde gelöscht.' )
    # print( df_neu )
    df_aktuell: DataFrame = df_alt.join( df_neu )
    print( df_aktuell )
    df_aktuell.to_excel( "output.xlsx" )
    print ('Datei wurde geschrieben.')


if __name__ == "__main__":
    main()