Wir bieten Webscraping und Botentwicklung an. Webcrawler sind heutzutage vielverbreitet und unterstützen Unternehmen und Privatpersonen in jedlichen Bereichen. Daten sind mittlerweile viel mehr Wert, als man denkt. Auch bei der Suchmaschinenoptimierung spielen Daten eine große Rolle.
Daten wie Ranking und Visibility sind für die meisten Webseitenbetreiber sehr wichtig. Diese Daten werden von kostenpflichtigen Tools oder den Suchmaschinen selber zur Verfügung gestellt. Wie kommt man aber an Daten, die niemand anbietet? Dafür gibt es sogenannte Webscraper. Diese Crawler, oder auch Spider untersuchen Webseiten. Die Daten werden dann beispielsweise in einer Datenbank gespeichert und können über eine API abgefragt werden.
Inhalte dieser Seite
Wie funktioniert ein Webscraper?
Webscraper können mit verschiedenen Programmiersprachen gebaut werden. Python, Java oder andere Sprachen werden hierfür häufig verwendet. Mit Libraries wie scrapy, beautifulsoup und Selenium lassen sich die Webscraper verwirklichen und auf Kundenwunsch anpassen.
Laufen Webscraper wirklich automatisch?
Das kommt drauf an. Manche Webscraper machen einen einmaligen Job, andere wiederrum werden zu einem gewissen Crawlzeitpunkt ausgeführt und laufen dann.
Auch automatisierte Lösungen, wie tägliche Ausführung um 12:00 Uhr sind möglich. So lassen sich Datenbanken immer aktuell halten und Aufgaben automatisieren.
Was ist ein typischer Anwendungsfall für Webscraper?
Ein individuell, für dich programmierter Webscraper ist ziemlich flexibel. Das Team von Contentbär entwickelt frei nach Wunsch. Beispiele hierfür sind:
Was kostet es ein Webscraper programmieren zu lassen?
Ein Webscraper wird individuell auf Kundenwunsch programmiert. Die Preise für einen sehr einfachen Webscraper beginnen bei beispielsweise 200 €. Für Bigdata-Webscraping und komplizierte Pipelines, die regelmäßige Wartung brauchen und dynamische Webseiten crawlen, können Kosten von mehreren tausend Euro anfallen.
Wir beraten Sie dazu gerne und kostentransparent.
Ist die Einrichtung des Webscrapers inklusive?
Wir bieten ihnen einen Fullservice an, dass heißt wir übernehmen, falls gewünscht auch die Wartung und Einrichtung ihres Webscrapers. Da wir als Webscraper Programmierer als Experte agieren, bieten wir auch Deployment und Ausführung von eigenen Servern an. Die Ergebnisse können auf Wunsch beispielsweise in ihre Datenbank exportiert werden.
Kostenbeispiele Webscraper
Um ihnen eine transparente Kostenübersicht zu geben, werden im Folgenden 2 Kundenprojekte beschrieben.
1: Webcrawler für dynamischen Content
Der Kunde ist ein Analyst und hat auf Anfrage Werbeeinblendungen analysieren möchten. Dafür muss er natürlich sämtliche Werbeangebote abspeichern. Wir haben das Projekt in 1,5 Monaten mit Scrapy und Selenium umgesetzt. Zeitlich hat das Ganze knapp 60 Stunden mit Deployment in Anspruch genommen. Bei einem damalig vereinbarten Stundenlohn von 35 € sind wir auf einen Preis von knapp 2000 Euro gekommen.
Da wir als Webscraper Programmierer auch Wartung und Weiterentwicklung anbieten, konnten wir den Preis von 35 € halten und realisieren.
2: Webscraper – einmalige Erstellung einer csv Datei ans Amazon Sales Dashbord angelehnt
In diesem Auftrag haben wir als Webscraper Freelancer ein einmaliges Ergebnis geliefert. Der Kunde hat Funktionen die es im Amazon Dashbord nicht gab auf seine Verkäufe anwenden müssen. Für den Kunde wurde ein Webscraper mit Selenium entwickelt, welcher alle relevanten Daten in eine von ihm designte .csv-Datei packt.
Dieser Auftrag hat 10 Stunden Zeit gekostet und wurde mit 550 € vergütet. Da keine Weiterentwicklung- und Wartungsverträge vereinbart wurden, ist der Stundenlohn von 55 € zustande gekommen.
