Linux-Tricks/Oneliner on OiePoie!

Oneliner to remove duplicates while maintaining the original order

Sat, 12 Jan 2008 16:58:01 +0100

If you have got a list like this:

one
two
one
three
one
two
four

and you want to remove the duplicates from the list, chances are that you will end up with this result:

four
one
three
two

Because you are using a command like:

sort -u < list.txt

or the longer form:

cat list.txt | sort | uniq

There is an easy way to keep the original order of the list and remove the duplicates in an oneliner.
For this you need to number the entries in the list with this command:

nl list.txt

If you don't have nl on your system, you can use cat -n or whatever tickles your fancy.
This will give you the list:

     1  one
     2  two
     3  one
     4  three
     5  one
     6  two
     7  four

We will use the numbering to restore the original order when we are done removing the duplicates.
Next thing is to sort the list on the second field:

nl list.txt | sort -k2

     7  four
     1  one
     3  one
     5  one
     4  three
     2  two
     6  two

and tell sort to remove the lines with duplicate fields:

nl list.txt | sort -k2 -u

     7  four
     1  one
     4  three
     2  two

All that is left is to restore the original order:

nl list.txt | sort -k2 -u | sort -n

     1  one
     2  two
     4  three
     7  four

and get rid of our inserted numbering:

nl list.txt | sort -k2 -u | sort -n | cut -f2-

one
two
three
four

Imagine trying to do this on a Windows box, I wouldn't know where to start 😉

Sniffing Google’s blacklist for firefox

Sun, 25 Nov 2007 16:40:05 +0100

Firefox 2 has a new security feature which protects you from entering private data on phishing websites or getting infected with malware on a website which promises you heaven and earth.
Protection is done by comparing the website address (URLagainst a so called blacklist. The blacklist is maintained by the good folks at Google, they take care of updating the blacklist regulary and firefox automagically downloads new versions.
Curious by nature, i wanted to know which websites were in the blacklist, so i took a peek in my .mozilla/firefox/… directory where all the users stuff is stored. The blacklist itself is easy identified by it’s name: urlclassifier2.sqlite and the extension betrays what kind of system is used to store the bad sites: sqlite.

SQLite is actually a database program, but in it’s simplest form. You don’t need to run a database engine and setup permissions, etc. But the complete database is stored into a file. So this is the KIS principle to the max, and it works great as long as the database doesn’t grow to large or to complex.

Next thing to do is fire up sqlite and have a look at the structure of the database:

$ sqlite3  urlclassifier2.sqlite
SQLite version 3.4.2
Enter ".help" for instructions
sqlite> .tables
goog_black_enchash goog_black_url goog_white_domain goog_white_url
sqlite> .schema
CREATE TABLE 'goog_black_enchash' (key TEXT PRIMARY KEY, value TEXT);
CREATE TABLE 'goog_black_url' (key TEXT PRIMARY KEY, value TEXT);
CREATE TABLE 'goog_white_domain' (key TEXT PRIMARY KEY, value TEXT);
CREATE TABLE 'goog_white_url' (key TEXT PRIMARY KEY, value TEXT);

Looks simple enough, the bad sites are probably in: goog_blac_url

qlite> select * from goog_black_url LIMIT 3;
uggc://ybtva.zlfcnpr.psz.shfrnpgvba.hfre.fcynfu.ubzr.zlgbxra.76701n2644n8605.pn0qpor.pbz/vaqrk.cuc|c
uggc://ealfcnprv.pbz/vaqrk.pszshfrnpgvba=ybtva.cebprff&ZlGbxra-wrrqk4r1ssn-s3kg3k2ns0-4r3-sfs3n421-s7goskks3ks231.ugz|c
uggc://eeaelfcnpr.pbz/vaqrk.psz-shfrnpgvba657Qybtva.cebprff8526ZlGbxraf79843964886883084155.ugz|c
sqlite> .quit

Hmm, it turns out that the content is encoded through the famous ROT13 methode. The reason being that the file otherwise might be flagged as harmfull by locally running antivirus software.

So we need a ROT13 decoder, this is easilly done with the unix utility tr and the complete construct snugly fits into a oneliner:

echo "SELECT * FROM goog_black_url LIMIT 3;" | sqlite3 \
urlclassifier2.sqlite | tr N-ZA-Mn-za-m A-Za-z

Which will output something like:

http://login.myspace.cfm.fuseaction.user.splash.home.mytoken.76701a2644a8605.ca0dcbe.com/index.php|p
http://rnyspacei.com/index.cfmfuseaction=login.process&ZyGoken-jeedx4e1ffa-f3xt3x2af0-4e3-fsf3a421-f7tbfxxf3xf231.htm|p
http://rrnryspace.com/index.cfm-fuseaction657Qlogin.process8526ZyGokens79843964886883084155.htm|p

If you’re brave, you might cut ‘n paste one of the URL’s in your firefox browser and see what happens 😉

Radio 1 nieuws luisteren met Linux

Wed, 26 Jul 2006 14:23:15 +0200

Ik wil zelf graag op de hoogte blijven van het nieuws maar als ik op de klok kijk of het tijd is voor het journaal is het altijd te vroeg of te laat. Zelfs als de radio aan is ben ik vaak druk met andere dingen bezig zodat ik het journaal niet bewust hoor.
De oplossing is natuurlijk het journaal laten afspelen op het moment dat je de tijd wilt nemen om te luisteren. Met een beetje debuggen op de website vindt je de eigenlijke URL waar de stream met het journaal is verstopt. Vervolgens kan je die makkelijk vanaf de commandline afspelen met:

mms://cachemedia.omroep.nl/rambo01/0/nos/radio1nieuws/NOS_Nieuws.wma

Het bufferen van mplayer duurt even, maar daarna kan je tijdens het afspelen met alle vier de pijltjes toetsen voor- of achteruit “spoelen” in de stream.

Als je zo’n stream zou willen opslaan op disk onder Linux moet je eens kijken naar het pakket mimms.

mimms -o journaal.wma mplayer mms://streams.omroep.nl/nos/radio1nieuws/NOS_Nieuws.wma

Uiteraard moet je het copyright van het aangebodene in de gaten houden, niet alles mag opgeslagen worden.
Het is met mimms ook mogelijk om video streams op te nemen.

Om zelf makkelijk stream URL’s te vinden terwijl je met je browser aan het klikken bent is
streamsniff bijzonder handig.
streamsniff kan je als root gewoon opstarten en vervolgens met firefox (of desnoods IE) op websites klikken waar multimedia content staat.

Truuk
Om te zoeken welke shoutcast streams er zijn om via Internet radio te luisteren kan je op de volgende
Google Query klikken.

Tip
Zelf luister ik graag naar Radio Paradise, lekkere muziek zonder reclames.
Ze hebben diverse streams om online te luisteren, een daarvan is een 64 kbps AAC stream die vergelijkbaar qua kwaliteit is met 128 kbps mp3. Om deze stream onder Linux te luisteren kan je VLC (VideoLan Client) gebruiken:

vlc http://www.radioparadise.com/musiclinks/rp_64aac-2.m3u