Script per il bulk download da Archive.org

In questi giorni mi e` capitato di dover scaricare varie collezioni da archive.org, una libreria digitale multimediale la cui missione e` l’accesso universale a tutta la conoscenza.

Principalmente lo uso per scaricare tantissime registrazioni live di vari concerti registrati a mio avviso in maniera impeccabile.

Nel sito si trova una guida per scaricare in bulk usando wget e gli strumenti del sito, ma risulta piuttosto prolissa e complicata se si vuole fare un download al volo.

Questo e` lo script che uso, modificato da questo script: e` scritto in bash e funziona su tutte le distribuzioni sulle quali e` installato wget, tail e sed.

#!/bin/bash

# Write here the extension of the file that you want to accept
#filetype =.flac
#append this to line 24
#-A .$filetype
#Write here the extension of the file that you want to reject, divided by a comma
fileremove = .null

if [ “$1” = “” ]; then
  echo USAGE: archivedownload.sh collectionname
  echo See Archive.org entry page for the collection name.
  echo Collection name must be entered exactly as shown: lower case, with hyphens.
  exit
fi
echo Downloading list of entries for collection name $1…
wget -nd -q “http://archive.org/advancedsearch.php?q=collection%3A$1&fl%5B%5D=identifier&sort%5B%5D=identifier+asc&sort%5B%5D=&sort%5B%5D=&rows=9999&page=1&callback=callback&save=yes&output=csv” -O identifiers.txt
echo Processing entry list for wget parsing…
tail -n +2 identifiers.txt | sed ‘s/”//g’ > processedidentifiers.txt
if [ “`cat processedidentifiers.txt | wc -l`” = “0” ]; then
  echo No identifiers found for collection $1. Check name and try again.
  rm processedidentifiers.txt identifiers.txt
  exit
fi
echo Beginning wget download of `cat processedidentifiers.txt | wc -l` identifiers…
wget -r -H -nc -np -nH -nd -e -R $fileremove robots=off -i processedidentifiers.txt -B ‘http://archive.org/download/’
rm identifiers.txt processedidentifiers.txt
echo Complete.

Francesco Mecca

L’FBI contro la crittografia

Nativi digitali: oltre il recinto della Generazione Google

Facebook per molti utenti è l’unico sito visitato, tanto da essere per molti sinonimo e sostituto integrale di Internet. Qui le regole d’uso vengono decise unilateralmente, senza dibattito […] È un ambiente chiuso, controllato secondo criteri bizzarri e soprattutto insindacabili. Il parco pubblico è stato sostituito dal centro commerciale. E ad un miliardo e cento milioni di utenti questo va benissimo.

I dati indicano che stiamo rinunciando progressivamente agli elementi tecnici fondamentali che hanno permesso lo sviluppo della Rete, sostituendoli con un ecosistema hardware e software progressivamente sempre più chiuso. La mia preoccupazione è che tutto questo non crea nativi digitali. Crea polli di batteria

Cosi` si chiude l’articolo di Paolo Attivissimo sui (falsi) nativi digitali, su quelli che per molti genitori sono piccoli Mozart della tecnologia capaci di maneggiare con naturalezza dispositivi piatti e lucidi e di navigare senza impacci in un mare di icone quadrate.

Ma fra queste icone non si cela la conoscenza.

Gli smartphone e tutti i dispositivi che molti di noi definiscono perfino intimi _nonostante rendono la connessione al web trasparente, impalpabile, sono scatole chiuse sia fisicamente che legalmente, e ci privano quindi della possibilita` (e del diritto) di smontare, aprire, guardare e diventare _hacker (nel senso originario del termine).

I dispositivi mobili non stanno costruendo la strada verso la conoscenza e la liberta` democratica, stanno fissando attorno a noi un alto recinto protetto dal falso mito di un Web 2.0 democratico.

Chi trova un amico… trova un business

Nel 1970 gli sviluppatori del sistema Xerox Star introdussero nei loro sistema il Desktop.

La “scrivania” non e` altro che una metafora che venne usata da Alan Kay e dal centro di ricerca Xerox per poter permettere agli utenti di orientarsi in un ambiente del tutto estraneo utilizzando metafore che si ricollegano ad oggetti del tutto conosciuti.

40 anni dopo il desktop e` praticamente scomparso, non serve perche` ormai i nuovi dispositivi portatili sono fool-proof (almeno per i “nativi digitali”) ed invece si e` affermata una nuova metafora vincente: l’amicizia.

L’amicizia e` la metafora che alimenta il business delle piattaforme nel mondo del web sociale, e le stesse piattaforme agiscono da filtro per la nostra esperienza nel web e nel mondo reale. Cosi` come i fotografi con la passione e l’esperienza sviluppano l’occhio da inquadratura, i “nativi digitali” acquisiscono l’occhio da social, quella skill che permette loro di riconoscere l’occasione giusta per misurarsi con una condivisione in piu`.

Ma la metafora dell’amicizia sta anche alimentando attorno a noi una “filter bubble” che attraverso algoritmi sceglie cosa nasconderci. La ricerca di Google, in generale tutto il web della “smart personalization”, come definito da Eli Pariser nel suo libro “What the Internet is hiding from you“, non fa altro che restituirci una ricerca distorta e chiusa tra noi e i nostri amici, dei risultati che “sono percepiti” come migliori.

Inoltre cosa succede quando, cosi` come lo studente reputato dal professore poco intelligente finisce per agire come tale, il nostro motore di ricerca e il nostro social network decidono chi siamo?

Che la rete non ci catturi

dsully: please describe web 2.0 to me in 2 sentences or less.
jwb: you make all the content. they keep all the revenue – bash.org

Se il Web di Tim Berners Lee era il Web della possibilita`, il Web 2.0 e` il Web della consapevolezza.

Dobbiamo imparare a tracciare un confine fra noi e le piattaforme, dobbiamo capire quanto sono alti i muri che “gli ecosistemi digitali”, termine quanto mai improprio, costruiscono attorno a noi, dobbiamo sapere quali dati sono nostri, quali dati possiamo barattare.

Per evitare che il servizio ci trasformi in servitori.

Per evitare che la piattaforma si trasformi in una gabbia dorata.

E soprattutto perche` per pensare digitale e` comunque necessario prima pensare.

fonte

Nei prossimi anni si creera` un divario sempre piu` ampio fra chi ha scelto come modellare la propria identita` digitale e chi, invece, non ha lo sguardo piu` lungo del suo schermo e si lascia guidare da un meccanicismo acritico quanto mai radicato nella moderna societa` dei consumi.

La strada per la riduzione del divario digitale e la democratizzazione del web passa per le scuole e l’istruzione, forse uno dei pochi settori dove le istituzioni pubbliche hanno piu` potere della macchina del denaro della Silicon Valley.

Aerei FBI: pericolo per la privacy o sicurezza per i cittadini?

Recentemente l’Associated Press ha dichiarato che sono stati avvistati numerosi aerei americani che volavano a bassa quota nei pressi di alcune città americane. Dopo averli tracciati si è scoperto che gli aerei erano in possesso dell’FBI, che ne aveva menzionato ben 115 nel documento di bilancio federale del 2009.

Per molti anni questi aerei avevano aiutato l’FBI con le operazioni di sorveglianza al suolo, ora invece sono stati equipaggiati con telecamere hi-tech e dispositivi in grado di tracciare migliaia di telefoni e risalire ai propri possessori anche se non si stanno effettuando chiamate, anche se a quanto detto dall’agenzia quest’ultima tecnologia è usata raramente.

Charles Grasseley, presidente della commissione Giustizia del Senato, ha detto: “E’ importante che le forze dell’ordine abbiano gli strumenti essenziali per rintracciare e catturare i criminali, ma quando un’operazione monitora anche i cittadini americani che non sono sospettati, dobbiamo essere sicuri di salvaguardare la libertà degli americani innocenti”.

L’FBI ha dichiarato che l’attrezzatura degli aerei serviva per investigazioni in corso e non per la sorveglianza di massa, associando a questi aerei 13 compagnie fittizie come  FVX Research, KQM Aviation, NBR Aviation e PXW Services. Queste finte aziende vengono utilizzate per proteggere la sicurezza dei piloti, l’FBI ha detto e per proteggere anche l’identità del velivolo in modo che i sospetti sul terreno non sanno che sono seguiti.
Per vedere il documento pubblico clicca qui

Ma l’FBI non è stata la prima ad adottare questi metodi, infatti la DEA, Drug Enforcement Administration, ha anche registrato imprese fittizie, secondo un rapporto dell’ ispettore generale 2011 del Dipartimento di Giustizia.

Aspetti fondamentali del programma del FBI sono trattenuti dal pubblico nelle versioni censurate di rapporti ufficiali da ispettore generale del Dipartimento di Giustizia, e l’FBI è stata anche attenta a non rivelare i suoi voli di sorveglianza in atti giudiziari. L’agenzia non dirà quanti aerei sono attualmente nella sua flotta.

Nel corso delle ultime settimane sono stati rintracciati aerei della flotta del FBI su più di 100 voli su almeno 11 stati più il Distretto di Columbia, incluse parti di di Boston, Chicago, Dallas, Houston, Minneapolis, Phoenix, Seattle e California del sud.

Alcuni voli orbitavano attorno grandi edifici chiusi per lunghi periodi in cui la fotografia aerea sarebbe meno efficace che i segnali di raccolta elettronica
David Gomez, un ex agente dell’FBI , ha detto che il velivolo di sorveglianza dell’FBI sono utilizzati per aiutare la sorveglianza a terra, permettendo agli agenti durante un inseguimento di rimanere indietro e non far saltare la copertura.

L’FBI ha chiesto di non divulgare i nomi delle compagnie finte, ma l’Associated Press ha rifiutato la richiesta perchè queste sono elencate in documenti pubblici e in database governativi.

Le forze dell’ordine hanno detto che gli avvocati del Dipartimento di Giustizia hanno approvato la decisione di creare società fittizie e che la Federal Aviation Administration era a conoscenza della pratica. L’FBI ha messo in pratica questi metodi sin dal tardo 1980, secondo un rapporto del 1990 della General Accounting.

Guida pratica a LUKS

“When privacy is outlawed, only outlaws will have privacy”

Phil Zimmerman

Questa e` una guida pratica all’uso di LUKS su Linux.

LUKS e` un acronimo che sta per Linux Unified Key Setup ed e` il formato standard per il disk-encryption, creato nel 2004, si distingue da molti altri formati crittografici per la particolareggiata documentazione e soprattutto per esser stato sottoposto ad auditing, ovvero il processo di controllo del codice sorgente per verificarne l’integrita`, l’efficacia e la robustezza degli algoritmi e l’assenza di backdoor o bug software critici.

Il primo passo per utilizzare LUKS e` installarlo sulla propria distribuzione, o controllare se e` gia` presente.

Preparare la partizione

In questo esempio la partizione /dev/sda1 viene formattata e sovrascritta.

# cryptsetup -y -v luksFormat /dev/sda1
WARNING!
======== 
This will overwrite data on /dev/sda1 irrevocably.
Are you sure? (Type uppercase yes): YES 
Enter LUKS passphrase: 
Verify passphrase: 
Command successful.

In questo post useremo i parametri di default che sono:

# cryptsetup -v –cipher aes-xts-plain64 –key-size 256 –hash sha1 –iter-time 1000 –use-urandom –verify-passphrase luksFormat /dev/sda1

ed equivalgono al precedente; se si vuole adottare un livello di sicurezza maggiore e personalizzata si puo` eseguire

#cryptsetup benchmark

e scegliere il cypher e l’algoritmo che si preferisce. Si ricorda che il numero relativo alla dimensione della chiave e` la meta` di quello usato da LUKS, ovvero 512 bit in questo caso.

Il prossimo comando inizializza il volume dopo aver inserito la chiave per il volume. Il terzo argomento e` il nome che si vuole scegliere per la partizione.

La password scelta non puo` esser in nessun modo recuperata.

#cryptsetup luksOpen /dev/sda1 testvolume
Enter passphrase for /dev/sda1:

Ora /dev/sda1 correttemente inizializzato viene mappato su /dev/mapper/testvolume. Per verificare lo stato del volume:

# cryptsetup -v status testvolume
/dev/mapper/testvolume is active.
type: LUKS1
cipher: aes-cbc-essiv:sha256
keysize: 512 bits
device: /dev/sda1
offset: 4096
sectors size: 419426304
sectors mode: read/write
Command successful.

Formattare la partizione

Ora ci si deve assicurare che in caso di un’analisi esterna ogni dato venga visto come una serie random di zero ed uno senza valore e assicurarsi che non ci sia un leak di informazioni relative all’uso del disco:

# dd if=/dev/zero of=/dev/mapper/testvolume

Poi creare un filesystem, in questo caso ext4

# mkfs.ext4 /dev/mapper/testvolume

Montare e chiudere il disco

Per montare da /dev/mapper il disco e poterlo utilizzare digitare:

# mount /dev/mapper/testvolume /mnt/testvolume

e per chiudere il volume in maniera sicura:

# umount /mnt/testvolume
# cryptsetup luksClose testvolume

Cambiare password

LUKS supporta anche piu` di una password per volume quindi si procede aggiungendo una nuova password:

# cryptsetup luksAddKey /dev/sda1
 Enter any passphrase:
 Enter new passphrase for key slot:
 Verify passphrase:

e poi rimuovendo quella precedente:

# cryptsetup luksRemoveKey /dev/sda1

Oppure in alternativa si puo` utilizzare

#cryptsetup luksChangekey /dev/sda1

Se si volesse rendere completamente inaccessibile il volume basta rimuovere la chiave attraverso il comando:

#cryptsetup luksErase /dev/sda

questa opzione non richiede password ed e` irreversibile.

Francesco Mecca