MENU
  1. Startseite
  2. Python
  3. Wie man mehrere CSV-Dateien effizient mit Python zusammenführt

Wie man mehrere CSV-Dateien effizient mit Python zusammenführt

Python

Das Zusammenführen mehrerer CSV-Dateien ist eine häufige Aufgabe bei Datenanalysen und statistischen Berechnungen. Wenn diese Aufgabe manuell durchgeführt wird, kann es zeitaufwendig sein und es können Fehler auftreten. Mit der pandas-Bibliothek in Python lässt sich dies effizient und genau erledigen. In diesem Artikel zeigen wir Ihnen detailliert, wie Sie mehrere CSV-Dateien mit Python effizient zusammenführen können.

Inhaltsverzeichnis

Benötigte Bibliotheken und Installationsmethoden

Um mehrere CSV-Dateien in Python zusammenzuführen, benötigen Sie die pandas-Bibliothek. Pandas ist ein leistungsstarkes Tool für die Datenmanipulation und Analyse. In diesem Abschnitt erfahren Sie, wie Sie pandas installieren.

Installation von pandas

Um pandas zu installieren, verwenden Sie den folgenden Befehl. Dieser wird mit dem Python-Paketmanagement-System pip ausgeführt.

pip install pandas

Weitere benötigte Bibliotheken

Zusätzlich zu pandas kann die numpy-Bibliothek für die Verarbeitung von CSV-Dateien nützlich sein. Numpy ist eine Bibliothek für numerische Berechnungen und wird häufig zusammen mit pandas verwendet. Die Installation von numpy erfolgt ebenfalls mit pip über den folgenden Befehl.

pip install numpy

Damit haben wir die notwendigen Vorbereitungen getroffen, um CSV-Dateien effizient zusammenzuführen. Im nächsten Abschnitt erfahren Sie, wie Sie die Daten vorbereiten.

Datenvorbereitung

Bevor Sie CSV-Dateien zusammenführen, ist es wichtig, zu verstehen, mit welchen Daten Sie arbeiten. In diesem Abschnitt erklären wir, wie Sie eine Beispiel-CSV-Datei und deren Datenstruktur vorbereiten.

Beispiel-CSV-Dateien

Wir werden zwei CSV-Dateien verwenden, um ein Beispiel zu zeigen. Die Dateien „sales_january.csv“ und „sales_february.csv“ werden zusammengeführt.

sales_january.csv

Date,Product,Sales
2024-01-01,Product A,100
2024-01-02,Product B,150
2024-01-03,Product A,200

sales_february.csv

Date,Product,Sales
2024-02-01,Product A,120
2024-02-02,Product C,160
2024-02-03,Product B,180

Überprüfung der Datenstruktur

Diese Dateien enthalten drei Spalten: Datum, Produktname und Verkaufszahlen. Es ist wichtig, diese Struktur zu verstehen, wenn Sie die Dateien zusammenführen. Jede CSV-Datei enthält Verkaufsdaten für Produkte an unterschiedlichen Tagen.

Im nächsten Abschnitt erklären wir, wie Sie diese CSV-Dateien mit der pandas-Bibliothek laden.

Grundlegendes Laden von CSV-Dateien mit pandas

Mit der pandas-Bibliothek können Sie CSV-Dateien ganz einfach laden. In diesem Abschnitt zeigen wir Ihnen, wie Sie CSV-Dateien mit pandas laden.

Importieren von pandas

Zu Beginn müssen Sie die pandas-Bibliothek importieren. Normalerweise wird pandas unter dem Alias „pd“ importiert.

import pandas as pd

Laden von CSV-Dateien

Nun verwenden wir die Funktion read_csv, um eine CSV-Datei zu laden. Mit read_csv geben Sie einfach den Dateipfad an, und die Daten werden in ein pandas DataFrame geladen.

# Laden der Verkaufsdaten von Januar
january_sales = pd.read_csv('sales_january.csv')

# Laden der Verkaufsdaten von Februar
february_sales = pd.read_csv('sales_february.csv')

Überprüfung der Daten

Um die geladenen Daten zu überprüfen, können Sie die head-Methode verwenden. Damit werden die ersten Zeilen der Daten angezeigt.

print(january_sales.head())
print(february_sales.head())

Wenn Sie den obenstehenden Code ausführen, werden die Inhalte jedes DataFrames angezeigt. Damit können Sie überprüfen, ob die Daten korrekt geladen wurden.

Im nächsten Abschnitt zeigen wir Ihnen, wie Sie mehrere CSV-Dateien gleichzeitig laden und in einer Liste speichern.

Mehrere CSV-Dateien gleichzeitig laden und in einer Liste speichern

Um mehrere CSV-Dateien gleichzeitig zu laden und zu verarbeiten, zeigen wir Ihnen, wie Sie die Dateien in einer Liste speichern. Dadurch können Sie mehrere Dateien effizient verwalten.

Erstellen einer Liste mit Dateipfaden

Zuerst fassen wir die Dateipfade der CSV-Dateien in einer Liste zusammen. Damit haben Sie die Möglichkeit, mehrere Dateien gleichzeitig zu verarbeiten.

# Liste mit den Dateipfaden der CSV-Dateien
csv_files = ['sales_january.csv', 'sales_february.csv']

CSV-Dateien laden und in einer Liste speichern

Nun laden wir jede CSV-Datei und speichern sie in einer Liste von DataFrames. Dies erfolgt durch eine Schleife, die jede Datei nacheinander verarbeitet.

# Liste für DataFrames erstellen
data_frames = []

# Jede CSV-Datei laden und in der Liste speichern
for file in csv_files:
    df = pd.read_csv(file)
    data_frames.append(df)

Überprüfung der Daten

Nun können Sie die einzelnen DataFrames aus der Liste entnehmen und den Inhalt überprüfen.

for df in data_frames:
    print(df.head())

Mit dieser Methode können Sie mehrere CSV-Dateien effizient laden und in einer Liste speichern. Im nächsten Abschnitt erfahren Sie, wie Sie diese CSV-Dateien mit pandas zusammenführen.

Methode zum Zusammenführen von CSV-Dateien

Sobald die CSV-Dateien geladen wurden, geht es nun darum, diese zu einem einzigen DataFrame zusammenzuführen. In diesem Abschnitt zeigen wir Ihnen, wie Sie mehrere CSV-Dateien mit pandas zusammenführen können.

Daten concatenieren

Mit der concat-Funktion von pandas können Sie mehrere DataFrames vertikal zusammenführen. Dadurch werden die Daten zeilenweise hinzugefügt.

# Mehrere DataFrames vertikal zusammenführen
merged_data = pd.concat(data_frames, ignore_index=True)

Erklärung des Codes

  • data_frames: Die Liste der DataFrames, die wir zuvor erstellt haben.
  • ignore_index=True: Hierbei werden die ursprünglichen Indizes ignoriert und neue fortlaufende Indizes erstellt.

Überprüfung der zusammengeführten Daten

Nach der Zusammenführung können Sie die Daten überprüfen, um sicherzustellen, dass sie korrekt zusammengefügt wurden.

print(merged_data.head())
print(merged_data.tail())

Daten speichern

Um die zusammengeführten Daten in einer neuen CSV-Datei zu speichern, verwenden Sie die Funktion to_csv.

# Zusammengeführte Daten in eine CSV-Datei speichern
merged_data.to_csv('merged_sales.csv', index=False)

Erklärung des Codes

  • 'merged_sales.csv': Der Name der Datei, in der die Daten gespeichert werden.
  • index=False: Die Indexspalte wird nicht in die CSV-Datei aufgenommen.

Durch Ausführen dieser Schritte können Sie mehrere CSV-Dateien zu einem einzigen DataFrame zusammenführen und die Daten als neue CSV-Datei speichern. Im nächsten Abschnitt erklären wir, wie Sie CSV-Dateien auf Basis eines gemeinsamen Schlüssels zusammenführen können.

Zusammenführen auf Basis eines Schlüssels

Beim Zusammenführen mehrerer CSV-Dateien wird häufig ein gemeinsamer Schlüssel verwendet. In diesem Abschnitt zeigen wir Ihnen, wie Sie CSV-Dateien auf Basis eines Schlüssels mit pandas zusammenführen.

Beispieldaten zum Zusammenführen

Hier verwenden wir zwei CSV-Dateien, bei denen wir die Spalte Product als Schlüssel verwenden, um sie zusammenzuführen.

products.csv

Product,Category
Product A,Electronics
Product B,Household
Product C,Clothing

sales.csv

Date,Product,Sales
2024-01-01,Product A,100
2024-01-02,Product B,150
2024-01-03,Product A,200
2024-02-01,Product A,120
2024-02-02,Product C,160
2024-02-03,Product B,180

CSV-Dateien laden

Zuerst laden wir die oben genannten CSV-Dateien mit pandas.

# CSV-Dateien laden
products = pd.read_csv('products.csv')
sales = pd.read_csv('sales.csv')

Daten zusammenführen

Nun verwenden wir die merge-Funktion, um die Daten auf Basis der gemeinsamen Spalte Product zusammenzuführen.

# Daten zusammenführen
merged_data = pd.merge(sales, products, on='Product')

Erklärung des Codes

  • sales: Das DataFrame mit den Verkaufsdaten.
  • products: Das DataFrame mit den Produktdaten.
  • on='Product': Die Spalte Product wird als Schlüssel zum Zusammenführen verwendet.

Überprüfung der zusammengeführten Daten

Nach dem Zusammenführen können Sie die Daten überprüfen, um sicherzustellen, dass sie korrekt zusammengeführt wurden.

print(merged_data.head())

Speichern der zusammengeführten Daten

Speichern Sie die zusammengeführten Daten als neue CSV-Datei.

# Zusammengeführte Daten in eine CSV-Datei speichern
merged_data.to_csv('merged_sales_with_categories.csv', index=False)

Mit dieser Methode können Sie mehrere CSV-Dateien basierend auf einem gemeinsamen Schlüssel effizient zusammenführen. Im nächsten Abschnitt erklären wir, wie Sie nach der Zusammenführung die Daten überprüfen und speichern.

Überprüfung und Speicherung der zusammengeführten Daten

Nachdem Sie mehrere CSV-Dateien zusammengeführt haben, müssen Sie sicherstellen, dass die Daten korrekt zusammengeführt wurden und bei Bedarf bereinigt werden. In diesem Abschnitt erklären wir, wie Sie die zusammengeführten Daten überprüfen und speichern.

Überprüfung der zusammengeführten Daten

Um zu überprüfen, ob die zusammengeführten Daten korrekt sind, können Sie die ersten und letzten Zeilen der Daten anzeigen. Außerdem kann es hilfreich sein, die grundlegenden statistischen Kennzahlen der Daten anzuzeigen.

# Zeigen Sie die ersten Zeilen der Daten an
print(merged_data.head())

# Zeigen Sie die letzten Zeilen der Daten an
print(merged_data.tail())

# Zeigen Sie die grundlegenden statistischen Kennzahlen der Daten an
print(merged_data.describe())

Erklärung des Codes

  • head(): Zeigt die ersten Zeilen der Daten an.
  • tail(): Zeigt die letzten Zeilen der Daten an.
  • describe(): Zeigt grundlegende statistische Kennzahlen der Daten (Durchschnitt, Standardabweichung, Minimum, Maximum usw.) an.

Datenbereinigung

Wenn die Daten nicht korrekt zusammengeführt wurden oder fehlende Werte enthalten, müssen Sie die Daten bereinigen. In diesem Beispiel überprüfen wir auf fehlende Werte und gehen entsprechend vor.

# Überprüfen auf fehlende Werte
print(merged_data.isnull().sum())

# Entfernen fehlender Werte
cleaned_data = merged_data.dropna()

# Oder fehlende Werte durch einen bestimmten Wert ersetzen
# cleaned_data = merged_data.fillna({'Sales': 0})

Erklärung des Codes

  • isnull().sum(): Überprüft die Anzahl der fehlenden Werte in jeder Spalte.
  • dropna(): Entfernt Zeilen, die fehlende Werte enthalten.
  • fillna(): Ersetzt fehlende Werte durch einen angegebenen Wert.

Daten speichern

Nachdem Sie die Daten bereinigt haben, speichern Sie die bereinigten Daten in einer neuen CSV-Datei.

# Bereinigte Daten in einer CSV-Datei speichern
cleaned_data.to_csv('cleaned_merged_sales.csv', index=False)

Erklärung des Codes

  • 'cleaned_merged_sales.csv': Der Name der Datei, in der die bereinigten Daten gespeichert werden.
  • index=False: Die Indexspalte wird nicht in die CSV-Datei aufgenommen.

Durch Ausführen dieser Schritte können Sie die zusammengeführten und bereinigten Daten überprüfen und in einer neuen CSV-Datei speichern. Im nächsten Abschnitt zeigen wir Ihnen, wie Sie CSV-Dateien mit unterschiedlichen Datenstrukturen zusammenführen.

Anwendungsbeispiel: Zusammenführen von CSV-Dateien mit unterschiedlichen Datenstrukturen

Beim Zusammenführen von CSV-Dateien mit unterschiedlichen Datenstrukturen müssen bestimmte Vorsichtsmaßnahmen getroffen werden. In diesem Abschnitt erklären wir, wie Sie CSV-Dateien mit unterschiedlichen Datenstrukturen zusammenführen können.

Beispieldaten

Wir verwenden hier zwei CSV-Dateien mit unterschiedlichen Datenstrukturen.

sales.csv

Date,Product,Sales
2024-01-01,Product A,100
2024-01-02,Product B,150
2024-01-03,Product A,200

inventory.csv

Product,Stock,Warehouse
Product A,50,Warehouse 1
Product B,30,Warehouse 2
Product C,20,Warehouse 1

Zusammenführung auf Basis eines gemeinsamen Schlüssels

Beim Zusammenführen von CSV-Dateien mit unterschiedlichen Datenstrukturen verwenden wir einen gemeinsamen Schlüssel. Hier verwenden wir die Spalte Product als Schlüssel.

# CSV-Dateien laden
sales = pd.read_csv('sales.csv')
inventory = pd.read_csv('inventory.csv')

# Daten zusammenführen
merged_data = pd.merge(sales, inventory, on='Product', how='left')

Erklärung des Codes

  • how='left': Ein Left Join wird verwendet. Das bedeutet, dass alle Zeilen aus den Verkaufsdaten beibehalten werden und nur übereinstimmende Teile aus den Bestandsdaten hinzugefügt werden.

Behandlung fehlender Werte

Beim Zusammenführen von CSV-Dateien mit unterschiedlichen Datenstrukturen können fehlende Werte auftreten. Es ist wichtig, diese fehlenden Werte richtig zu behandeln.

# Überprüfen auf fehlende Werte
print(merged_data.isnull().sum())

# Entfernen fehlender Werte
cleaned_data = merged_data.dropna()

# Oder fehlende Werte durch einen bestimmten Wert ersetzen
# cleaned_data = merged_data.fillna({'Stock': 0, 'Warehouse': 'Unknown'})

Erklärung des Codes

  • dropna(): Entfernt Zeilen mit fehlenden Werten.
  • fillna(): Ersetzt fehlende Werte durch einen angegebenen Wert.

Daten speichern

Schließlich speichern Sie die zusammengeführten und bereinigten Daten in einer neuen CSV-Datei.

# Zusammengeführte Daten in eine CSV-Datei speichern
cleaned_data.to_csv('merged_sales_inventory.csv', index=False)

Erklärung des Codes

  • 'merged_sales_inventory.csv': Der Name der Datei, in der die zusammengeführten Daten gespeichert werden.
  • index=False: Die Indexspalte wird nicht in die CSV-Datei aufgenommen.

Mit dieser Methode können Sie CSV-Dateien mit unterschiedlichen Datenstrukturen effizient zusammenführen und einen vereinheitlichten Datensatz erstellen. Im nächsten Abschnitt bieten wir Ihnen Übungsaufgaben, um das Gelernte in der Praxis anzuwenden.

Übungsaufgaben

Hier bieten wir Ihnen Übungsaufgaben, um das Gelernte anzuwenden. Diese Aufgaben helfen Ihnen, den gesamten Prozess des Ladens, Zusammenführens, Bereinigens und Speicherns von CSV-Dateien zu wiederholen.

Übungsaufgabe 1: Grundlagen des Ladens und Zusammenführens von CSV-Dateien

Laden Sie die folgenden zwei CSV-Dateien und führen Sie sie mit pandas zusammen.

products.csv

Product,Price
Product A,100
Product B,150
Product C,200

sales.csv

Date,Product,Sales
2024-01-01,Product A,10
2024-01-02,Product B,15
2024-01-03,Product C,20

Schritte:

  1. Laden Sie die CSV-Dateien.
  2. Führen Sie die Daten mit der Spalte Product als Schlüssel zusammen.
  3. Überprüfen Sie die zusammengeführten Daten.
  4. Speichern Sie die zusammengeführten Daten als neue CSV-Datei.

Übungsaufgabe 2: Zusammenführen von CSV-Dateien mit unterschiedlichen Datenstrukturen

Laden Sie die folgenden beiden CSV-Dateien und führen Sie die Daten mit unterschiedlichen Strukturen zusammen.

customers.csv

CustomerID,Name,Location
1,John Doe,New York
2,Jane Smith,Los Angeles
3,Emily Davis,Chicago

orders.csv

OrderID,CustomerID,Product,Quantity
1001,1,Product A,1
1002,2,Product B,2
1003,1,Product C,1
1004,3,Product A,3

Schritte:

  1. Laden Sie die CSV-Dateien.
  2. Führen Sie die Daten mit der Spalte CustomerID als Schlüssel zusammen.
  3. Behandeln Sie fehlende Werte, falls vorhanden.
  4. Speichern Sie die zusammengeführten Daten als neue CSV-Datei.

Übungsaufgabe 3: Bereinigung der Daten und Speicherung

Laden Sie die folgende CSV-Datei, behandeln Sie fehlende Werte und speichern Sie die bereinigten Daten in einer neuen CSV-Datei.

sales_data.csv

Date,Product,Sales
2024-01-01,Product A,100
2024-01-02,Product B,
2024-01-03,Product A,200
2024-02-01,Product A,120
2024-02-02,,160
2024-02-03,Product B,180

Schritte:

  1. Laden Sie die CSV-Datei.
  2. Überprüfen Sie auf fehlende Werte.
  3. Behandeln Sie fehlende Werte (entweder löschen oder ersetzen).
  4. Speichern Sie die bereinigten Daten in einer neuen CSV-Datei.

Mit diesen Übungsaufgaben können Sie die praktischen Fähigkeiten für die Datenverarbeitung erwerben. Im nächsten Abschnitt fassen wir den Artikel zusammen.

Zusammenfassung

In diesem Artikel haben wir detailliert erklärt, wie man mehrere CSV-Dateien effizient mit Python zusammenführt. Hier sind die wichtigsten Punkte zusammengefasst:

Wichtige Punkte

  1. Einführung in die pandas-Bibliothek: Mit pandas können Sie CSV-Dateien einfach laden, zusammenführen und bereinigen.
  2. Grundlagen des Ladens von CSV-Dateien: Mit der Funktion read_csv laden Sie CSV-Dateien in ein pandas DataFrame.
  3. Speichern von mehreren CSV-Dateien in einer Liste und deren Verarbeitung: Wir haben gezeigt, wie Sie mehrere CSV-Dateien gleichzeitig laden und in einer Liste speichern.
  4. Daten zusammenführen: Mit den Funktionen concat und merge können Sie mehrere CSV-Dateien in einer einzigen zusammenführen.
  5. Zusammenführen auf Basis eines Schlüssels: Wir haben erklärt, wie man CSV-Dateien mit einem gemeinsamen Schlüssel zusammenführt.
  6. Daten bereinigen und speichern: Wir haben gezeigt, wie man nach dem Zusammenführen Daten überprüft, bereinigt und in einer neuen CSV-Datei speichert.
  7. Anwendungsbeispiele und Übungsaufgaben: Wir haben verschiedene Anwendungsbeispiele und praktische Übungsaufgaben zur CSV-Datei-Verarbeitung angeboten.

Mit diesen Kenntnissen können Sie mehrere CSV-Dateien effizient verarbeiten und Datenanalysen sowie statistische Berechnungen durchführen. Nutzen Sie diesen Artikel als Referenz und wenden Sie Ihr Wissen in der Praxis an.

Python
CSV Daten speichern Datenanalyse Datenbereinigung Datenzusammenführung mehrere Dateien OUTER JOIN Pandas Python Verknüpfung
Inhaltsverzeichnis