crawl.sh 1.2 KB

12345678910
  1. rm *.csv -f
  2. for i in {2000..2021}
  3. do
  4. echo Personen Spenden $i &&curl -o juristische_$i.csv https://lobbypedia.de/wiki/Spezial:Semantische_Suche/-5B-5BKategorie:Parteispende-5D-5D-20-5B-5BParteispende-2FKategorie::juristische-20Person-5D-5D-20-5B-5BJahr::$i-5D-5D/-3FGeldgeber/-3FParteispende-2FKategorie%3DKategorie/-3FBetrag/-3FEmpf%C3%A4nger/-3FJahr-23-2Dn/-3FOrt/-3FBundesland/-3FBranche/-3FSchlagworte/mainlabel%3D/limit%3D10000/order%3Ddescending/sort%3DModification-20date/offset%3D0/format%3Dcsv/default%3Dkeine-20Ergebnisse-20mit-20der-20aktuellen-20Auswahl
  5. echo nat Spenden $i && curl -o nat_$i.csv https://lobbypedia.de/wiki/Spezial:Semantische_Suche/-5B-5BKategorie:Parteispende-5D-5D-20-5B-5BParteispende-2FKategorie::nat%C3%BCrliche-20Person-5D-5D-20-5B-5BJahr::$i-5D-5D/-3FGeldgeber/-3FParteispende-2FKategorie%3DKategorie/-3FBetrag/-3FEmpf%C3%A4nger/-3FJahr-23-2Dn/-3FOrt/-3FBundesland/-3FBranche/-3FSchlagworte/mainlabel%3D/limit%3D10000/order%3Ddescending/sort%3DModification-20date/offset%3D0/format%3Dcsv/default%3Dkeine-20Ergebnisse-20mit-20der-20aktuellen-20Auswahl
  6. done
  7. echo "Combining all Years"
  8. cat nat*.csv | sort -u > nat.csv
  9. cat juristische*.csv | sort -u > juristische.csv