Erwthsh gia curl

Σε αυτή την περιοχή μπορείτε να βρείτε ή να αναζητήσετε πληροφορίες σχετικές με την PHP

Συντονιστές: WebDev Moderators, Super-Moderators, PHP Moderators

Απάντηση
silo
Δημοσιεύσεις: 66
Εγγραφή: 22 Οκτ 2006 14:20

Erwthsh gia curl

Δημοσίευση από silo » 21 Αύγ 2007 03:38

Kalhmera :)
exw to parakatw

Κώδικας: Επιλογή όλων

<?php
ch = curl_init&#40;&#41;;
curl_setopt&#40;$ch, CURLOPT_URL,"http&#58;//www.zend.com/"&#41;;
curl_setopt&#40;$ch, CURLOPT_RETURNTRANSFER,1&#41;;
$result=curl_exec &#40;$ch&#41;;
curl_close &#40;$ch&#41;;
if&#40; $result &#41;
&#123;
preg_match_all&#40; ‘/<a href="&#40;http&#58;//&#91;^0-9&#93;.+?&#41;"/’, $result, $output, PREG_SET_ORDER &#41;;
foreach&#40; $output as $item &#41;
&#123;

echo "$item&#91;1&#93;<br>";

&#125;


&#125;


?>
To opoio "bgazei" ta links apo mia selida. To erwthma mou einai pws mporw na kanw auto to script na akolou8aei ta links pou bgazei kai na briskei nea.

Elpizw kapoios kalos an8rwpos na apanthsei (oxi oti opoios dn apanthsei 8a einai kakws dld :P)

jimvrasna
Δημοσιεύσεις: 48
Εγγραφή: 21 Απρ 2006 23:57
Τοποθεσία: ΜΑΚΡΙΑ ΜΑΚΡΙΑ
Επικοινωνία:

Erwthsh gia curl

Δημοσίευση από jimvrasna » 21 Αύγ 2007 11:05

Δώσε μου χρόνο εχω μια πτυχιακή οπου υλοποιεί μια search engine να την δω και θα σου πω

silo
Δημοσιεύσεις: 66
Εγγραφή: 22 Οκτ 2006 14:20

Erwthsh gia curl

Δημοσίευση από silo » 21 Αύγ 2007 14:23

Ok filos 8a perimenw :) , opoios allos exei kamia idea parakalw post :D

Άβαταρ μέλους
tix-3-
Δημοσιεύσεις: 827
Εγγραφή: 25 Μαρ 2004 05:12
Τοποθεσία: Θεσσαλονικη-Καβαλα-βεροια(το τριγωνο της καταρας)
Επικοινωνία:

Erwthsh gia curl

Δημοσίευση από tix-3- » 21 Αύγ 2007 14:58

Θεωρητικα αν το κανεις ολο μια function με παραμετρο την σελιδα και σε καθε link κανεις κληση (recursive) με το καινουργιο link (κανωντας ελεγχο αν ειναι full url or relative) θα δουλεψει.
Εντελως αφηρημενα το λεω γιατι αυτην την στιγμη δεν μπορω να κανω τιποτα (sorry :cry: ).
Επισης καλως θα ηταν να λες και σε ποσο βαθος θες να πας.
Αν δεν υπήρχανε οι κνίτες κι'η ηρωίνη...

silo
Δημοσιεύσεις: 66
Εγγραφή: 22 Οκτ 2006 14:20

Erwthsh gia curl

Δημοσίευση από silo » 21 Αύγ 2007 15:37

Eeee apo to prwto pou eipes den polu katalaba ti ennoeis, na pw pws den kserw kai polla polla apo php. Twra otan les ba8os, 8elw na briskei ola ta links gia to domain pou psaxnei bebaia na mporw na kanw exclude kai kapoia.

Eftiaksa auto to kwdika

Κώδικας: Επιλογή όλων

<?php
$utl_2_spider="http&#58;//www.zend.com/";
spider_func&#40;$utl_2_spider&#41;&#123;
ch = curl_init&#40;&#41;;
curl_setopt&#40;$ch, CURLOPT_URL,$utl_2_spider&#41;;
curl_setopt&#40;$ch, CURLOPT_RETURNTRANSFER,1&#41;;
$result=curl_exec &#40;$ch&#41;;
curl_close &#40;$ch&#41;;
&#125;
if&#40; $result &#41;
&#123;
preg_match_all&#40; ‘/<a href="&#40;http&#58;//&#91;^0-9&#93;.+?&#41;"/’, $result, $output, PREG_SET_ORDER &#41;;
foreach&#40; $output as $item &#41;
&#123;

echo "$item&#91;1&#93;<br>";

&#125;


&#125;


?>
Mexri edw kserw gia na pw thn alh8eia ta alla dn ta polu katalaba

Edit: kai na pw pws dn douleuei :evil:

Άβαταρ μέλους
soteres2002
S. & H. Moderator
Δημοσιεύσεις: 1524
Εγγραφή: 05 Μαρ 2004 22:17
Τοποθεσία: Ιωάννινα

Erwthsh gia curl

Δημοσίευση από soteres2002 » 21 Αύγ 2007 23:58

kane oti leei o tix-3! aplos beltistopoiise to oste akoma ki an oriseis poso bathos na episkeptetai apo ti stigmi p briskei ena link, na min kanei askopa loops metaksi selidon. Dld na exeis kapoio "bucket" p na apothikebeis tis selides p idi epikeftikes, agnnoontas tes etsi se epomena loops. Dld an exeis 10 selides p exeis ena navigation p na kanei link oles tis selides metaksi tous, tha kaneis 9 askopes episkepseis... :wink:

Giati den xrisimopoiiseis kapoio indexing mihanismo opos to swish-e gia auto to skopo? Opos kai na to kaneis, thelei poli doulia gia na ftiakseis kati kalo.... Malista, iparxoun ergalia p px boroun na sou dimiourgisoun grafous p na dixnoun tis sindeseis metaksi ton selidon, ktl. KAi meta apo PHP boreis na kaneis query ta indexes, kai na bgazeis pio sophistike apotelesmata gia tis anazitiseis sou, apo ti auto to crawler p thes na grapseis. Meta me ena cron job kaneis update px kathe 24 ores. Episis, to xapian einai episis poli kalo kai exei bindings gia tin PHP. Alla me to swishe boreis na kaneis crawl kai URLS. :P

silo
Δημοσιεύσεις: 66
Εγγραφή: 22 Οκτ 2006 14:20

Erwthsh gia curl

Δημοσίευση από silo » 22 Αύγ 2007 00:12

Pws 8a to kanw olo function ? auto pou ekana gt dn douleuei ? To recursive pws mporw na to kanw ?
Epeidh 8elw na ma8w php 8elw na kanw auto to script (kai epeidh to 8elw ennoeitai), opote kati etoimo sigoura den einai lush...

Απάντηση

Επιστροφή στο “PHP Προγραμματισμός”

Μέλη σε σύνδεση

Μέλη σε αυτήν τη Δ. Συζήτηση: Δεν υπάρχουν εγγεγραμμένα μέλη και 1 επισκέπτης