Jak zrobić robota sieciowego

witam, czy ktoś zna lub wie jak zrobić robota sieciowego do wyciągania ofert sklepów internetowych i zapisu do pliku csv??

czy takie coś można zrobić w php czy lepiej np w perlu?? czy taki robot jest bardzo trudny do zrobienia??

bardzo proszę o pomoc lub przynajmniej jakieś wskazówki :slight_smile:

to zależy czy dane pobierane z tych sklepów mają być przesyłane bezpośrednio na inną stronę czy na komputer, a najpierw poczytaj coś o prawach autorskich czy przypadkiem nie bedą naruszone w tym przypadku

Możesz wykorzystać bibliotekę cURL i wyrażenia regularne do wyciągania danych.

nie wydaje mi się żeby np. cena i opis produktu były objęte prawami autorskimi, dane mają być zapisywane najpierw do pliku csv w takiej kolejności :kategoria, nazwa, cena, opis, link do zdjęcia, link do produktu, a dopiero po tym plik csv ma być dodawany do bazy danych :slight_smile:

ale czy biblioteka cURL będzie dostępna na hostingu w internecie(jakimkolwiek) a i jak ją zainstalować do swojego serwera(Apache+php5+mysql)??

bardzo proszę o pomoc :slight_smile:

edit: już mi curl działa i na hostingu też jest :slight_smile:

a czy konieczne jest zapisywanie tych danych do pliku. Jeśli te dane będą na twojej stronie to mozna zrobić takie coś że dane bedą pobierane wtedy gdy przeglądający stronę wejdzie w daną kategorie i wtedy skrypt php pobierze dane ze stron które pasują do tej kategorii ale nie wiem czy to bedzie wydajne rozwiązane.

no właśnie o to chodzi, że to nie będzie wydajne rozwiązanie, dlatego dane muszą być skompletowane do pliku a potem z pliku do bazy danych :slight_smile:

aha możesz to wrzucić do Crona żeby zoptymalizować cały proces :wink:

A co do cURL to wszystko zależy od hostingu ale tego robota możesz postawić na darmowym www.000webhost.com, działa tam cURL i cronjobs.

właśnie tam miałem to postawić, dzięki za pomoc :slight_smile: