Als een Apache Nutch Committer is Openindex een expert in webcrawling en webscraping. We kunnen helpen bij het opzetten van een op Nutch gebaseerde webcrawler-service die aan je behoeften voldoet. Of we nemen het nog verder uit handen: we doen het crawlen voor je (Crawling as a Service) en voorzien je alleen van die gegevens die je nodig hebt. Als een feed of rechtstreeks in je systeem geplaatst.

In ieder geval kunnen we met Hadoop een enkele machine of een cluster opzetten, afhankelijk van de schaal die gecrawld moet worden.

Dit kan een subset van het internet zijn of een specifieke databron. Vanuit een grote verscheidenheid aan ongestructureerde content haalt onze data-extractiesoftware de juiste informatie.