Advanced Programming Stories » php

Asynchronous multiple file upload με το swfupload

admin — Mon, 31 Oct 2011 10:24:06 +0000

Μέχρι σήμερα έχω δοκιμάσει πολλούς τρόπους για ajax file upload και με κανένα δεν ήμουν ποτέ ευχαριστημένος. Ένας από αυτούς τους τρόπους που δοκίμασα, χρειάστηκε ακόμα και η εγκατάσταση του php extension uploadprogress. Σε συνδιασμό με css replace στο input file controll είχα ένα ικανοποιητικό αποτέλεσμα για asynchronous file upload. Τελικά κατέληξα να δουλεύω με το uplodify ένα jquery plugin χωρίς να μου αρέσει πολύ.

Τον τελευταίο καιρό ασχολήθηκα ξανά με το θέμα και βρήκα ένα πολύ ενδιαφέρων project το swfupload, το οποίο το μόνο του μειονέκτημα είναι ότι δεν είναι jquery plugin. Δεν πειράζει όμως γιατί βρήκα plugin σε jquery που το κάνει port. To swfupload είναι πολύ κάλο γιατί έχει υποστήριξη για multiple files, filter για τύπο αρχείων (πχ *.pdf), button image replace (hover,disable,…), και πολύ καλή διαχείριση των events. Η υλοποίηση του είναι σε flash, έτσι υπάρχει πληροφορία κατά το upload ποσά bytes έχουν ανεβεί. Το σημαντικότερο που με ενθουσίασε είναι ότι μπορείς να ελέγξεις πότε θα ξεκινήσει το upload, δηλαδή διαχωρίζει το select file, από το upload file event.

Όλα τα υπόλοιπα που έχω δοκιμάσει, μόλις επιλέξεις ένα αρχείο, ανεβαίνει κατευθείαν στον server, με αποτέλεσμα να πρέπει να αποθήκευσεις το αρχείο κάπου temporarily ώστε μετά την ολοκλήρωση της φόρμας να μπορείς να το χρησιμοποιήσεις. Αυτό χρειάζεται μέθοδο για file garbage collection σε περίπτωση που δεν ολοκληρωθεί η αποστολή της φόρμας για να σβήνει τα άχρηστα αρχεία.

Σε συνδυασμό με το jQuery progress bar το swfupload γίνεται το απόλυτο tool για upload files. Ας το δούμε λίγο στην πράξη. Θα φτιάξουμε μια φόρμα, με ένα πεδίο, και με επιλογή για 4 text αρχεία (.txt).






Upload files













EMAIL


Files (max 4):

Στο παραπάνω παράδειγμα χρειάζεται στο php.ini η μεταβλητή session.auto_start off γιατί στην συνέχεια θα χρειαστούμε να περάσουμε στο upload script το session_id, ώστε να έχουμε μια σύνδεση του αποθηκευμένου αρχείου με το submit form script. Η σελίδα μας φορτώνει όλα τα απαραίτητα javascript libs καθώς και το main.js, όπου εκεί βρίσκετε ο κύριος κώδικας. Η φόρμα μας έχει το “custom-queue” div, οπού εκεί θα υποδεχθεί τα επιλεγμένα αρχεία, το “btn_file” button όπου εκεί θα φορτωθεί ο κώδικας του swfupload, και 2 hidden div όπου το 1ο έχει το progress bar για το upload των αρχείων και το 2o έχει ένα ajax loader image το οποίο θα εμφανιστεί κατά την αποστολή της φόρμας.

Αυτό είναι ένα απλό upload script που η μόνη του ιδιαιτερότητα είναι ότι χρησιμοποιεί την μεταβλητή $_GET['SID'] για να ξεκινήσει το ίδιο session και για να αποθυκεύσει το αρχείο σε folder ώστε στην συνέχεια να είναι προσπελάσιμο από το submit form script. Στο παράδειγμά μας κάνει create ένα folder με όνομα το $_GET['SID'], και εκεί μέσα βάζει τα αρχεία από το upload. Όσα αρχεία επιλέγουμε τότε φορές θα εκτελεστεί το upload script. Στο τέλος τυπώνουμε το filezize, ώστε αν κάτι έχει γίνει λάθος το filesize θα είναι 0 και το swfupload θα προκαλέσει error event. Περισσότερα σχετικά με το error handling μπορείτε να δείτε στο manual του swfupload.

true);

// TODO:

header('Cache-Control: no-cache, must-revalidate');
header('Expires: Mon, 26 Jul 1997 05:00:00 GMT');
header('Content-type: application/json');
echo json_encode($ret);
?>

Το submit post form είναι ένα απλό ajax script όπου μπορεί να γυρίσει μεταβλητές σε json, όπως success κτλ. Εδώ χρειάζεται κάποιος επιπλέον κώδικας για να σβήνει τα αρχεία αν δεν ολοκληρωθεί η διαδικασία (είχα αναφέρει παραπάνω για file garbage collection), εδώ όμως όπως βλέπετε είναι ποιο απλή η διαδικασία. Τα αρχεία τώρα μπορούμε να τα βρούμε πολύ εύκολα γιατί όπως είπαμε και παραπάνω τα έχουμε αποθυκεύσει με βάση το session_id.

$(document).ready(function(){

$("#upload_form").swfupload({

upload_url : "upload?SID="+SID,
flash_url : "swfupload.swf",

file_size_limit : "10 MB",
file_upload_limit : "0",
file_queue_limit: "4",
file_types: "*.txt",
file_types_description: "Text files",

button_image_url : "img/upload.png",
button_width : 88,
button_height : 22,
button_placeholder : $("#btn_file")[0],
button_window_mode : SWFUpload.WINDOW_MODE.TRANSPARENT

})
.bind("fileQueued", function(event, file){
$("#custom-queue").append(''+file.name+' (x)');
})
.bind('uploadComplete', function(event, file){
// upload has completed, lets try the next one in the queue
$("#file_"+file.id).removeClass('file-progress').addClass('file-done');
if ($('.file-queue').length==$('.file-done').length) {
$("#bar_file").hide();
$("#ajax_loader").show();

$.ajax({
type: "POST",
url: "submit.php",
data: $("#form").serialize(),
dataType: "json",
success: function(data) {
$("#ajax_loader").fadeOut();
$("#bar_file").html('Submit completed').fadeIn();
}
});
}
else {
$(this).swfupload('startUpload');
}
})
.bind("uploadStart", function(event, file){
$("#file_"+file.id).addClass('file-progress');
$("#bar_file").progressBar(0);
})
.bind("uploadProgress", function(event, file, bytesLoaded, bytesTotal){
var percentage = Math.floor(100 * parseInt(bytesLoaded) / parseInt(bytesTotal));
$("#bar_file").progressBar(percentage);
})
.bind("uploadError", function(event, file, errorCode, message){
if (errorCode === SWFUpload.UPLOAD_ERROR.FILE_CANCELLED) {
$("#file_"+file.id).fadeOut('normal',function() { $("#file_"+file.id).remove(); });
}
});

$("#bar_file").progressBar({
boxImage : 'img/progressbar.gif',
barImage : 'img/progressbg_orange.gif'
});

$("#form").submit(function() {
if ($('.file-queue').length==0) {
alert('You must select a file!');
}
else {
$("#bar_file").show();
$("#submit_btn").hide();
$("#SWFUpload_0").width(0);
$("#upload_form").swfupload('startUpload');
}
return false;
});
});

function removeFile(id) {
$("#upload_form").swfupload('cancelUpload',id,true);
return false;
}

Και πάμε στο σημαντικότερο μέρος του project που είναι javascript. Εδώ έχουμε όλα τα bind events για το swfupload, από το load, το select files μέχρι και το submit της φόρμας. Ας τα πάρουμε από την αρχή για να τα δούμε αναλυτικά.

$("#upload_form").swfupload({

upload_url : "upload?SID="+SID,
flash_url : "swfupload.swf",

file_size_limit : "10 MB",
file_upload_limit : "0",
file_queue_limit: "4",
file_types: "*.txt",
file_types_description: "Text files",

button_image_url : "img/upload.png",
button_width : 88,
button_height : 22,
button_placeholder : $("#btn_file")[0],
button_window_mode : SWFUpload.WINDOW_MODE.TRANSPARENT

})

Εδώ φορτώνουμε το swfupload βάζοντας το url από το upload.php (περνάμε και το SID που το έχουμε βάλει σε μια javascript μεταβλητή και περιέχει το session_id, το url που βρίσκεται το swfupload.swf, το μέχρι πόσα αρχεία θέλουμε, τι μέγεθος να έχει το καθένα, και τι τύπο (πχ μπορούμε να βάλουμε “*.pdf,*.odt”). Τέλος το image αρχείο, με το μέγεθος του και σε ποιο element να γίνει bind.

.bind("fileQueued", function(event, file){
$("#custom-queue").append(''+file.name+' (x)');
})

Και κάπου εδώ αρχίζουν τα events, 1ο event το “fileQueued”, το οποίο εκτελείτε κατά την επιλογή αρχείων. Όσα αρχεία επιλεγούν τόσες φορές θα εκτελεστεί. Εδώ το μόνο που θέλουμε να κάνουμε είναι να εμφανίσουμε τα επιλεγμένα αρχεία, στο div “custom-queue”. Τέλος βάζουμε και ένα (x) για αφαίρεσή αρχείου από την λίστα. Για την αφαίρεσή χρειαζόμαστε το file.id. Στο file.name έχουμε το όνομα του αρχείου.

.bind("uploadStart", function(event, file){
$("#file_"+file.id).addClass('file-progress');
$("#bar_file").progressBar(0);
})
.bind("uploadProgress", function(event, file, bytesLoaded, bytesTotal){
var percentage = Math.floor(100 * parseInt(bytesLoaded) / parseInt(bytesTotal));
$("#bar_file").progressBar(percentage);
})
.bind("uploadError", function(event, file, errorCode, message){
if (errorCode === SWFUpload.UPLOAD_ERROR.FILE_CANCELLED) {
$("#file_"+file.id).fadeOut('normal',function() { $("#file_"+file.id).remove(); });
}
});

Τα επόμενα 3 event έχουν να κάνουν με το upload. Στο “uploadStart” αλάζουμε το class στο αρχείο που είναι να ανέβει ώστε να φαίνεται ποιο είναι, και μηδενίζουμε το progress bar. Και αυτό το event εκτελείτε τόσες φορές όσα τα αρχεία που έχουμε επιλέξει. To “uploadProgress” μας δείχνει το progress του upload. Τέλος το “uploadError” εκτελείτε σε περίπτωση σφάλματος. Εδώ το χρησιμοποιούμε και για την αφαίρεση ενός αρχείου από την λίστα.

.bind('uploadComplete', function(event, file){
// upload has completed, lets try the next one in the queue
$("#file_"+file.id).removeClass('file-progress').addClass('file-done');
if ($('.file-queue').length==$('.file-done').length) {
$("#bar_file").hide();
$("#ajax_loader").show();

$.ajax({
type: "POST",
url: "submit.php",
data: $("#form").serialize(),
dataType: "json",
success: function(data) {
$("#ajax_loader").fadeOut();
$("#bar_file").html('Submit completed').fadeIn();
}
});
}
else {
$(this).swfupload('startUpload');
}
})

Το “uploadComplete” είναι το event που εκτελείτε μετά την ολοκλήρωση του upload κάθε αρχείου. Εδώ ελέγχουμε και αν έχει άλλο δίνουμε εντολή για το επόμενο, κ.ο.κ. Αν δεν έχει άλλο κάνουμε submit την φόρμα μας. Για τον έλεγχο αν υπάρχει άλλο αρχείο στην λίστα, χρησιμοποιούμε την class “file-done” την οποία την προσθέτουμε στο div “file-queue” μετά το τέλος του upload. Οπότε με ένα απλό έλεγχο στο length του “file-queue” και του “file-done”, αν είναι ίσα δηλαδή, δεν έχουμε άλλα αρχεία.

$("#form").submit(function() {
if ($('.file-queue').length==0) {
alert('You must select a file!');
}
else {
$("#bar_file").show();
$("#submit_btn").hide();
$("#SWFUpload_0").width(0);
$("#upload_form").swfupload('startUpload');
}
return false;
});

Τέλος αλλάζουμε το submit event της φόρμας ώστε να γίνεται πρώτα το upload. Δίνουμε στο swfupload object width 0, για να εξαφανιστεί το κουμπί upload, κάνουμε hide το submit button, εμφανίζουμε το progress bar και ξεκινάμε το 1o upload, δίνοντάς εντολή στο flash.

Αυτό ήταν ένα απλό παράδειγμα σε σχέση με τις δυνατότητες που παρέχει το swfupload, το οποίο σε συνδυασμό και με άλλα jquery plugins, το αποτέλεσμα μπορεί να είναι καλύτερο.

Όλος ο παραπάνω κώδικας βρίσκεται εδώ και μπορείτε να το κατεβάσατε ελεύθερα.

Reverse WordPress admin module

admin — Mon, 14 Feb 2011 00:59:51 +0000

Αυτό που με εξιτάρει περισσότερο στο τομέα του development είναι όταν έχω ένα πρόβλημα και η λύση είναι στο reverse

Ας υποθέσουμε ότι χρειαζόμαστε να συνδέσουμε μια υπάρχουσα εφαρμογή με το wordpress χωρίς όμως να ξαναφτιάξουμε την εφαρμογή χρησιμοποιώντας τις βιβλιοθήκες του. Χρειαζόμαστε ένα plugin που να εμφανίζει ένα iframe με την εφαρμογή μας. Πολύ εύκολο για κάποιον που έχει ασχοληθεί με plugins στο wordpress. Το δύσκολο είναι πως θα καταλάβει η εφαρμογή, ότι ο χρήστης είναι συνδεμένος, ώστε να μην μπορεί κάποιος να την χρησιμοποιήσει χωρίς login.

Και κάπου εδώ ξεκινάει το reverse. Στα php application (open source), σε αντίθεση με τα executable application το reverse είναι πολύ απλή υπόθεση, γιατί το μόνο που χρειάζεται είναι υπομονή και πολλά echo ή file_put_contents.

Ξεκινώντας από την index.php στο wp-admin έχουμε ένα include στην admin.php όπου στην συνέχεια έχει μια κλήση στην function auth_redirect που βρίσκεται στην wp-includes/ pluggable.php. Στην function auth_redirect έχει μια κλήση στην wp_validate_auth_cookie όπου εκεί βρίσκεται ο έλεγχος για την εγκυρότητα του logged in. Ο έλεγχος βασίζεται σε ένα cookie όπου περιέχει 3 στοιχεία, το username το expires, και τέλος ένα hash value. Με κάποιο αλγόριθμο χρησιμοποιώντας το username κάποια salt και keys, και το encrypted password που έχει o user αποθηκευμένο στην db (mysql), παράγεται ένα hash value το οποίο στην συνέχεια συγκρίνεται με το hast value από το cookie.

Άρα χρειαζόμαστε 2 τιμές για να μπορέσουμε να κάνουμε την σύγκριση και στον δικό μας κώδικα. Η μία είναι το cookie και η δεύτερη η πρόσβαση στην db για να διαβάσουμε το encrypted password. Το cookie μπορούμε να το περάσουμε σαν argument στο iframe και το password μπορούμε να το διαβάσουμε αν γνωρίζουμε τα login/pass της mysql (connection string) και το username του χρήστη.

Φτιάχνουμε λοιπόν ένα plugin που το μόνο που έχει, είναι την εμφάνιση του iframe στην επιλογή ενός item menu.

Αν δούμε καλύτερα στο src του iframe περνάμε 2 μεταβλητές και όχι μόνο το cookie άλλα το AUTH_KEY και το AUTH_SALT όπου τα χρησιμοποιεί ο αλγόριθμος για την παραγωγή του hash value. Αυτά βρίσκονται στο wp-config.php. Για μεγαλύτερη ασφάλεια μπορούμε να τα κάνουμε copy/paste στον δικό μας αλγόριθμο χωρίς να τα περνάμε στο url.

Τώρα δεν μένει παρά να αντιγράψουμε τον κώδικα που παράγει το hast value, και στην συνεχεία να κάνουμε την σύγκριση.
Ο αλγόριθμος είναι βασισμένος σε 2 συνεχόμενα md5 hash values.

query('SELECT `user_pass` FROM `wp_users` WHERE `user_login`="'.addslashes($username).'" LIMIT 1');
if ($db->next()) {
	$pass_frag = substr($db->Record['user_pass'], 8, 4);
	$key = hash_hmac('md5', $username . $pass_frag . '|' . $expiration, base64_decode($_GET['auth_key']));
	$hash = hash_hmac('md5', $username . '|' . $expiration, $key);

	//$hash==$hmac
}
?>

Ζητούνται Web developers

admin — Fri, 25 Sep 2009 17:32:27 +0000

Αν είστε subscriber στο blog μου σίγουρα θα σας ενδιαφέρει η παρακάτω αγγελία. Η αγγελία αφορά το Social Whale, το project με το οποίο ασχολούμαι τους τελευταίους μήνες.

php και sudo

admin — Fri, 06 Feb 2009 11:34:19 +0000

Ένα απο τα ζητήματα που προκύπτουν στο advanced web development είναι η αλληλεπίδραση με το λειτουργικό σύστημα. Για παράδειγμα θέλουμε να τρέξουμε μία εντολή και να δούμε το αποτέλεσμά της. Αυτό γίνεται εύκολα με την shell_exec() ή την exec() ωστόσο απο μόνη της δέν λύνει όλα τα προβλήματα.

Ο apache αλλα και κάθε web server τρέχει με ελάχιστα δικαιώματα που συνήθως του επιτρέπουν να κάνει μόνο βασικά πράγματα. Απο άποψη ασφάλειας αυτό είναι θεμιτό και σε καμία περίπτωση δέν πρέπει να τρέχει με δικαιώματα root γιατί εκεί ένα απλό bug ασφαλείας μπορεί να οδηγήσει σε πλήρη καταστροφή. Την λύση σ’αυτό το πρόβλημα την δίνει το εργαλείο sudo.

Τί είναι το sudo

Το sudo είναι ένα εργαλείο για *nix συστήματα (unix,linux,κτλ) το οποίο επιτρέπει να τρέξουμε κάποια εντολή με δικαιώματα root. Έτσι αντί να κάνουμε vurnerable όλο τον web server μπορούμε όποτε χρειάζεται να τρέχουμε μέσω sudo τις εντολές που θέλουμε.

Sudo configuration

Καταρχήν πρέπει να κάνουμε ένα απλό configuration στο sudo ωστε να δέχεται εντολές απο τον web server. Για την ακρίβεια πρέπει να δώσουμε δικαιώματα στον χρήστη που τρέχει τον apache που συνήθως λέγεται apache. Για σιγουριά δείτε στο httpd.conf το directive User.

Για να κάνουμε το sudo να δέχεται εντολές απο τον web server πάμε στο αρχείο /etc/sudoers και προσθέτουμε την παρακάτω γραμμή:

apache ALL=(ALL) ALL

Αν ο χρήστης δέν ονομάζεται apache αντικαταστήστε το όνομα apache στο παραπάνω. Για να μήν υπάρχουν προβλήματα ασφαλείας θέτουμε και ένα password στον χρήστη apache. Αυτό γίνεται απο κονσόλα με την παρακάτω εντολή:

passwd apache

Αν δέν ακολουθήσετε το τελευταίο βήμα, κάθε php script στον server θα μπορεί να τρέξει εντολές με δικαιώματα root και αυτό μπορεί να οδηγήσει σε σοβαρά προβλήματα ασφαλείας.

Τρέχοντας sudo με php

Αφού τελειώσουμε με τα configuration το υπόλοιπο είναι πολύ εύκολο αρκεί να χρησιμοποιήσετε την παρακάτω php function που δημιούργησα για αυτό τον σκοπό:


define("SUDO","/usr/bin/sudo");
define("SUDO_PASS","pass");

// SUDO START
exec('echo '.SUDO_PASS.'|'.SUDO.' -S -v 2>&1');

// SUDO EXECUTE
echo exec(SUDO . " ls /root 2>&1");

// SUDO STOP
exec(SUDO." -k 2>&1");

Προσέξτε τα δύο define στην αρχή. Το πρώτο είναι το path για την sudo και λογικά δέν χρειάζεται να το πειράξετε. Το δεύτερο όρισμα (SUDO_PASS) πρέπει να περιέχει το password του apache.

Hacking php

admin — Mon, 02 Feb 2009 11:31:07 +0000

Όταν τελείωσα το Reverse Engineering Academy course – και σαν καλός μαθητής που είμουν – μου έγινε η πρόταση να δημιουργήσω ένα project για την REA 2. Φυσικά λόγω του κολλήματος που έχω με την php σκέφτηκα να γράψω μία encrypted έκδοση της βιβλιοθήκης της php στα windows (php4ts.dll)

Φυσικά θα ήταν πιό εύκολο να χρησιμοποιήσω ένα έτοιμο encryption library, ωστόσο έτσι δέν νομίζω οτι μαθαίνεις αρκετά και δεδομένου οτι μιλάμε για ένα project “ελεύθερου χρόνου” άξιζε τον κόπο. Επίσης η όλη εμπειρία που αποκόμισα με βοήθησε στην δημιουργία του php encryption που χρησιμοποιούμε στην NetWerk για διάφορα projects που χρειάζεται encryption.

Τελικά το project δέν μπήκε στην REA 2 και για κακή μου τύχη έχασα όλα τα sources αφού χάθηκαν τα backup και μου κλέψαν το laptop! Ευτυχώς ο zero (admin στην REA) είχε κρατήσει ένα αντίγραφο και μου το έστειλε.

Όσοι λοιπόν θέλετε να εξασκηθείτε στο hacking μπορείτε να κατεβάσετε το zipάκι απο εδώ και να παίξετε με το project. Ενδεχομένως να σας φανούν χρήσιμα και τα εργαλεία για reverse engineering που έχω γράψει παλιότερα.

Αν βρείτε λύση – δηλαδή αν βρείτε τα arguments που χρειάζεται το πρόγραμμα για να καταλάβει πως είστε “php master” – αφήστε ένα σχόλιο. Happy cracking

PHP ping

admin — Fri, 30 Jan 2009 10:31:50 +0000

Σε ένα απο τα τελευταία projects που ασχολούμαι στην NetWerk, η εφαρμογή μου επικοινωνεί με web services που βρίσκονται σε άλλους servers, ωστόσο για την αποφυγή λαθών και για καλύτερο debugging ήθελα να κάνω ping τον server που “μιλάω” ωστε να ξέρω τι συμβαίνει.

Πώς κάνουμε ping με php

Επειδή γενικώς δέν μου αρέσει να ανακαλύπτω τον τροχό κάθε φορά που κάνω κάτι καινούριο, έψαξα στο internet και ανακάλυψα ένα code snippet για ping μέσω php. Το μόνο πρόβλημα, είναι πως εφόσον o server που κάνουμε ping δέν απαντήσει, το scriptάκι κολλάει. Παρακάτω είναι μία αλλαγμένη έκδοση του snippet οπου ορίζεις το timeout.


> 16)
$sum = ($sum >> 16) + ($sum & 0xffff);

return pack('n*', ~$sum);
}

// Making the package
$type= "\x08";
$code= "\x00";
$checksum= "\x00\x00";
$identifier = "\x00\x00";
$seqNumber = "\x00\x00";
$data= "Scarface";
$package = $type.$code.$checksum.$identifier.$seqNumber.$data;
$checksum = icmpChecksum($package); // Calculate the checksum
$package = $type.$code.$checksum.$identifier.$seqNumber.$data;
// And off to the sockets
$socket = socket_create(AF_INET, SOCK_RAW, 1);
if (socket_connect($socket, $argv[1], null)) {

socket_set_option($socket,SOL_SOCKET, SO_RCVTIMEO, array("sec"=>5, "usec"=>0)); // thek add

// If you're using below PHP 5, see the manual for the microtime_float
// function. Instead of just using the m
//     icrotime() function.

//$startTime = microtime(true); // thek remove
$startTime = microtime_float(); // thek add

socket_send($socket, $package, strLen($package), 0);
if (socket_read($socket, 255)) {
//echo round(microtime(true) - $startTime, 4) .' seconds'; // thek remove
echo round(microtime_float() - $startTime, 4) .' seconds'; // thek add
}
else {
echo 'lost connection';
}
socket_close($socket);
}
else {
echo 'lost connection';
}
?>

Στο παραπάνω παράδειγμα το timeout θα γίνει σε 5 δευτερόλεπτα. Αν θέλετε να το αλλάξετε απλώς αλλάξτε το 5 στην παρακάτω γραμμή:

socket_set_option($socket,SOL_SOCKET, SO_RCVTIMEO, array(“sec”=>5, “usec”=>0)); // thek add

Το script τρέχει μόνο απο CLI δίνοντας την εντολή

php -q script.php

όπου script.php είναι το παρών σκριπτάκι και είναι η διεύθυνση που θέλετε να κάνετε ping. Σε επόμενο άρθρο θα γράψω πώς να το κάνετε απο web εφαρμογή.

Google trace script

admin — Mon, 26 Jan 2009 11:18:16 +0000

Ένα απο τα θέματα που μας ενδιαφέρουν σχετικά με το search engine optimization, είναι το κάθε πότε κάνει crawl το google το site μας. Ειδικότερα θέλουμε να δούμε – κυρίως για εγκυκλοπαιδικούς λόγους – πόσος καιρός μεσολαβεί απο ένα crawl μέχρι την παρουσία μιας σελίδας στο index.

Με αυτές τις απορίες κατά νου αποφασίσαμε να δημιουργήσουμε ένα απλό scriptάκι το οποίο απλά καταγράφει κάθε valid request του google. To script είναι πάρα πολύ απλό, ωστόσο ελπίζω να σας χρησιμέψει.

Το Google script

Καταρχήν χρειαζόμαστε ένα mysql database που θα κρατάει τα δεδομένα μας. Στην προκειμένη περίπτωση δημιουργήσαμε ένα database με όνομα “google_spy” και τρέξαμε το παρακάτω SQL για να δημιουργηθεί ο πίνακας που θα κρατάει τα δεδομένα:

CREATE TABLE IF NOT EXISTS `trace` (
  `TraceID` int(10) unsigned NOT NULL auto_increment,
  `Domain` varchar(100) NOT NULL default '',
  `Time` datetime NOT NULL default '0000-00-00 00:00:00',
  `Bot` varchar(100) NOT NULL default '',
  `Url` text NOT NULL,
  PRIMARY KEY  (`TraceID`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

Παρακάτω είναι το php script που κάνει την δουλειά:

Για να το χρησιμοποιείσετε απλώς αλλάξτε τα settings στην αρχή ($db_host, $db_user, $db_pass) και κάντε include το script σε οποιοδήποτε site θέλετε να κρατάτε logs. Σημειώστε οτι το script κρατάει μία εγγραφή ανα visit (που προέρχεται απο το google) οπότε καλό θα είναι να σβήνετε τα δεδομένα ανα τακτά χρονικά διαστήματα.

Αν κάνετε κάποια μετατροπή ή δημιουργήσετε ένα όμορφο interface για το scriptάκι μήν διστάσετε να το μοιραστείτε μαζί μας

10 must εργαλεία για reverse engineering

Kostas Theodorou — Wed, 17 Dec 2008 14:22:41 +0000

Παρακάτω είναι μια λίστα με διάφορα εργαλεία για reverse engineering που μπορείτε να χρησιμοποιήσετε αν ασχολείστε με το “σπόρ”.

Servant Salamander

Το Servant Salamander είναι ένα φανταστικό εργαλείο γενικά για development αλλα και για απλούς χρήστες. Το salamander είναι ένας file manager που θυμίζει λίγο το παλιό norton commander, ωστόσο παρέχει αρκετές ευκολίες για τους επαγγελματίες χρήστες του, όπως file compare, ενσωματομένο ftp και sftp client, κτλ. Αξιοσημείωτο οτι ακόμα και στην αντιγραφή αρχείων είναι πιό γρήγορος απο τα windows

EmEditor

O emEditor είναι ένας απλός text editor ο οποίος παρέχει ένα βασικό code highlighting και “παίζει” με οποιοδήποτε encoding(και UTF8). Δέν παρέχει τις ευκολίες ενός επαγγελματικού IDE ωστόσο είναι πολύ καλό για την περίπτωση που θέλουμε να επεξεργαστούμε ένα αρχείο γρήγορα.

Hex Editor

Ένας hex editor είναι τουλάχιστον απαραίτητος για όποιον ασχολείται με reverse engineering. Προσωπικά χρησιμοποιώ τον WinHex αλλά μπορείτε να δείτε και τον xvi32 που είναι freeware.

IDA Pro Dissasembler & Debugger

Ο IDA Pro είναι ένας πολύ δυνατός dissasembler. Το εργαλείο παρέχει και debugger ωστόσο για αυτή την χρήση καλύτερα προτιμίστε τον…

OllyDbg Debugger

Ο OllyDbg είναι ο πιό εύχρηστος debugger που έχω βρεί μεχρι στιγμής.

RegMon

Το RegMon είναι ένα utility που αγοράστηκε απο την Microsoft. Η δουλειά του είναι να σας δείχνει ποιές εφαρμογές κάνουν αλλαγές στο registry.

FileMon

Το FileMon που επίσης έχει εξαγοραστεί απο την Microsoft είναι ένα εργαλείο που παρακολουθεί τις αλλαγές στο filesystem σε real time.

LordPE

To LordPE(screenshot) είναι ένα freeware εργαλειάκι που διαχειρίζεται πολλά κομμάτια αρχείων PE (Portable Executable)

Winspector

Ο Winspector είναι ίσως το καλύτερο alternative για τον Spy++ που έρχεται με το Visual Studio.

Resource Hacker

Το τελευταίο προγραμματάκι στην λίστα μας, ο Resource Hacker, βοηθάει στην διαχείριση resource files. Μπορείτε να το χρησιμοποιήσετε για να δείτε ή και να επεξεργαστείτε resource files και resources απο εκτελέσιμα αρχεία.

Bonus εργαλείο

Το 11ο εργαλείο που παρουσιάζουμε σήμερα, είναι μια δική μου, open source, προσθήκη για php developers. Ονομάζεται php hexed και χρησιμοποιείται σαν patch script engine και μπορεί να συνεργάζεται με τον Win32Dasm και με τον OllyDbg. Αργότερα θα κάνω post κάποιο παράδειγμα, οπότε αν σας ενδιαφέρει μείνετε συντονισμένοι

FirePHP για την έκδοση 4 του PHP

Kostas Theodorou — Sat, 06 Dec 2008 10:19:36 +0000

Είμαι σίγουρος ότι δεν υπάρχει web developer που να μην γνωρίζει το Firebug. Για όποιον δεν το γνωρίζει είναι ένα firefox extension που βοηθάει τον developer στην κατασκευή ενός site. Μπορείτε να επεξεργαστείτε και να κάνετε debug javascript, css και html πάνω στα πραγματικά δεδομένα και σε πραγματικό χρόνο. Βεβαία οι δυνατότητες του δεν έχουν όρια…, εγώ πχ. σαν reverser τον χρησιμοποιώ και διαφορετικά. Δεν θέλω να επεκταθώ παραπάνω για τον firebug γιατί δεν είναι και το θέμα του άρθρου. Όποιος όμως θέλει να μάθει περισσότερα μια αναζήτηση στο google και θα βρει αξιόλογα πράγματα. Εγώ βρηκα σε ένα ελληνικό blog 11 tips.

Ξεφύγαμε στο θέμα μας. FirePHP ένα πολύ δυνατό firefox extension που παράλληλα με το firebug μπορούμε να κατευθύνουμε τα php (error και debug) μηνύματα μας στην κονσόλα του firebug. Στο site του firephp μπορείτε να βρείτε μία php class που μπορείτε να την ενσωματώσετε στο project σας και να χρησιμοποιείτε την firebug console.

Τι γίνεται όμως αν χρησιμοποιείτε την έκδοση 4 του php ακόμα ? Δεν υπάρχει τίποτα και δεν πρόκειται να βγάλουν, διότι όσο έψαξα, όλοι λένε “php4 is dead”. Προσωπικά δεν νομίζω να ισχύει αυτό διότι υπάρχουν πολλά projects που τρέχουν σε php4 και δεν έχουν περάσει σε php5. Εμείς π.χ. στην Netwerk δεν έχουμε γυρίσει 100% σε php5 σε όλα μας τα project.

Έτσι σκέφτηκα να δημιουργήσω from scratch (πολύ το γουστάρω αυτό) μία function που να εμφανίζει της μεταβλητές που θέλω, σε πρώτη φάση, και στην συνέχεια να την ενσωματώσω στον error handler του php και στον mysql error handler ώστε να μου εμφανίζει τα php και mysql errors. Το ποιο ωραίο είναι ότι μπορείς να δεις και ένα dump από ένα mysql query με μορφή table καθώς και ένα πολύπλοκο array ή object, γιατί ανοίγει ένα παραθυράκι στη μέση της οθόνης με scroll.

Το καλό με τον firephp είναι ότι δεν σου χαλάει το site ένα error που θα εμφανιστεί ή ένα dump που θέλεις να κάνεις. Άντε πολύ ασχοληθήκαμε με την θεωρεία, πάμε σε λίγο ανάλυση και κώδικα.

Πως δουλεύει ο firephp; Πολύ έξυπνο χρησιμοποιεί δικούς του headers με μία πολύ έξυπνη δομή. Υπάρχει η προηγούμενη έκδοση X-FirePHP (ασχολήθηκα λίγο και την παράτησα) και η τωρινή X-Wf που είναι πολύ ποιο βελτιωμένη.

Έφτιαξα λοιπόν μια function την dev (την ονόμασα έτσι γιατί την είχα και παλιά, απλά τα τύπωνε στον browser), η οποία στην ουσία στέλνει τα κατάλληλα headers. Για json χρησιμοποείσα την php class Services_JSON.

function dev($a0) {
static $messageIndex=1;
if ($messageIndex==1) {
header('X-Wf-Protocol-1:http://meta.wildfirehq.org/'.'Protocol/JsonStream/0.2');
header('X-Wf-1-Plugin-1:http://meta.firephp.org/'.'Wildfire/Plugin/FirePHP/Library-FirePHPCore/0.2.0');
header('X-Wf-1-Structure-1:http://meta.firephp.org/'.'Wildfire/Structure/FirePHP/FirebugConsole/0.1');
}
$type='INFO';
$args=func_get_args();
if (is_string($type)) {
$a0=strtoupper($a0);
if ($a0=='LOG' || $a0=='INFO' || $a0=='WARN' || $a0=='ERROR' || $a0=='TABLE') {
array_shift($args);
$type=$a0;
}
}

include_once('json.php');
$json = new Services_JSON();
$_ar=debug_backtrace();
if (strstr($_ar[0]['file'],'cmysql')) {
array_shift($_ar);
}
elseif (is_array($args[0]) && $args[0][msg]) {
$_ar[0]=$args[0];
$args[0]=$args[0][msg];
}
foreach($args as $arg) {
if (is_resource($arg)) $arg=get_resource_type($arg);
$meta=array('Type'=>$type,'File'=>$_ar[0]['file'],
'Line'=>$_ar[0]['line']);
$msg='['.$json->encode($meta).','.$json->encode($arg).']';
$parts=explode("\n",chunk_split($msg,5000,"\n"));
for($i=0; $i
$part = $parts[$i];
if ($part) {
if(count($parts)>2) {
header('X-Wf-1-1-1-'.$messageIndex.':'.
(($i==0)?strlen($msg):'').'|'.
$part.'|'.(($i
}
else {
header('X-Wf-1-1-1-'.$messageIndex.':'.
strlen($part).'|'.$part.'|');
}
$messageIndex++;
}
}
}
}

Έπειτα χρησιμοποίησα την set_error_handler και την σύνδεσα με την dev για να έχω και τα php error.

function errorHandler($errno, $errmsg, $filename, $linenum, $vars) {
if(error_reporting()!=0) {
$errortype = array(
E_ERROR           => "ERROR",
E_WARNING         => "WARN",
E_PARSE           => "ERROR",
E_USER_ERROR      => "ERROR",
E_USER_WARNING    => "WARN",
);
if ($errortype[$errno]) {
dev($errortype[$errno],array("msg"=>$errno.': '.
$errmsg,"file"=>$filename,"line"=>$linenum));
}
}
}
set_error_handler("errorHandler");

Σύνδεσα την κλάση που έχω για mysql query ώστε τα error να τα στέλνω στην dev. Τέλος μέσω της dev με τύπο table έδωσα τα αποτελέσματα των queries.

function dump() {
$dbDump = new CMySql();
$dbDump->query($this->Query,-1);
$body=array();
$title = $this->Query." (rows: ".$dbDump->num_rows().", fields: ".($dbDump->num_fields()-1).")";
if ($dbDump->next()) {
$header = array();
foreach($dbDump->record() as $i=>$v) $header[]=$i;
$body[] = $header;
do {
$row = array();
foreach($dbDump->record() as $v) $row[]=$v;
$body[] = $row;
}
while ($dbDump->next());
}
dev('table',array($title, $body));
}

Υπάρχουν και άλλοι τύποι στα headers που δεν ασχολήθηκα ακόμα. Trace, Dump και Groups, αλλά αυτά ας τα αφήσουμε στην php5, για να μην μας πουν ότι κάνουμε και προπαγάνδα κατά της ή ότι στηρίζουμε μόνο την php4. Απλά είναι κρίμα το firephp να είναι προνόμιο της php5, μόνο και μόνο επειδή το αποφάσισαν κάποιοι. Το μόνο configuration που χρειάζεται για να λειτουργήσουν τα παραπάνω, είναι να είναι ανοιχτό το output buffering ή να χρησιμοποιήσετε την ob_start()

Php mp3 id3 tag supports UTF-16

Kostas Theodorou — Wed, 05 Nov 2008 10:15:05 +0000

Βρήκα ένα php script για mp3 id3 tag, για να το χρησιμοποιήσω με μία ajax form, ώστε όταν επιλέγεις ένα αρχείο mp3 να σου εμφανίζει αυτόματα τα στοιχεία του τραγουδιού (όνομα, συγκρότημα κτλ). Όλα καλά ώσπου ανακάλυψα ότι μπορεί ένα αρχείο να έχει τα στοιχεία στο v2 του id3 σαν UTF-16. Αυτό το κατάλαβα όταν στην φόρμα αντί να εμφανιστούν χαρακτήρες εμφάνιζε κουτάκια, ενώ με ένα mp3 player εμφανιζόταν κανονικά. Τότε με ένα hex editor και συγκεκριμένα τον αγαπημένο μου WinHex ανακάλυψα ότι τα στοιχεία ήταν σε UTF-16. Έτσι πείραξα λίγο το script, και τώρα υποστηρίζει και UTF-16.

Στην γραμμή 244 αντί για:
$this->v2[$name] = substr($frame, 1);
έβαλα αυτό:
$this->v2[$name] = $encoding=="\01" ? iconv("UTF-16","UTF-8",substr($frame, 1)) : substr($frame, 1);