DANNATO GALLA CHE VUOLE VEDERE COSA HO SCRITTo

anno3/apprendimento_automatico/preparazione.org

@@ -555,3 +555,56 @@ do:
 until (no change in μ₁, ..., μₖ
 ritorna μ₁, ..., μₖ
 #+END_SRC
+*** K-Medoids clustering
+#+BEGIN_SRC
+Input: input data D⊆X; k \#clusters; Distance metric Dis: X×X→R
+Inizializza casualmente k punti μ₁, ..., μₖ ∈D
+repeat
+    assign each x∈D to argminⱼ Dis(x,μⱼ)
+    for j=1 to k do:
+        Dⱼ ← {x∈D| x assigned to cluster j}
+        μⱼ = argmin_{x∈Dⱼ} ∑_{x'∈Dⱼ} Dis(x,x')
+until no change in μ₁, ..., μₖ
+return μ₁, ..., μₖ
+#+END_SRC
+*** TODO Proximity graph for measuring clusters (Silhouettes)
+*** Hierarchical clustering
+Non richiede di fissare k.
+Il ~dendrogram~ e` un albero binario con gli elementi di D come
+foglie.
+- Linkage function: L: 2ˣ×2ˣ→R: calcola la distanza fra due subset
+  dell'instance space data una metrica per la distanza.
+  + Single linkage: smallest pairwise distance fra elementi
+  + Complete linkage: largest pointwise distance
+  + Average linkage: average pointwise distance
+  + Centroid linkage: distanza fra i centroidi
+- HAC(D, L)
+#+BEGIN_SRC
+Input: D⊆X; linkage function L
+Inizializza clusters di singleton
+creae una foglia a livello zero per ogni punto
+repeat:
+    trova la coppia <x,y> con il minore linkage e merge
+    genera parent di <x,y>
+until si ottiene un solo cluster
+return constructed dendrogram
+#+END_SRC
+** Kernels
+Disₖ(x,y) = sqrt K(x,x) + 2K(x,y) + K(y,y)
+| pseudo metric quando k e` un kernel semidefinito
+- Kernelized K-Means
+#+BEGIN_SRC
+inputs: D⊆X; k
+randomly initialize D₁, ..., Dₖ; (D₁ ∪ ... ∪ Dₖ = D)
+repeat
+    assign each x to argminⱼ 1/|Dⱼ| ∑_y Disₖ(x,y)
+    for j = 1 ... k:
+        Dⱼ ← {x∈D | x assigned to cluster j}
+until no change in D₁,...,Dₖ
+return D₁, ..., Dₖ
+#+END_SRC
+- Cosine similarity: $cos θ = \frac{x\cdot y}{\Vert{x}\Vert \cdot
+  \Vert{y} \Vert} = \frac{K(x,y)}{\sqrt{K(x,x)\times K(y,y)}}$
+** 5-cross validation
+dividi il dataset in 5 partizioni, 4 per il training set 1 per il test
+set e permuta.

todo.org

@@ -26,11 +26,13 @@
   + [ ] (w_0,w_1) ortogonale all'iperpiano
   + [ ] dimostrazione dualita` grangiana
   + [ ] Mercer condition
+  + [ ] kernel semidefinito
 - [ ] Meo [0/3]
   + [ ] Vedi bene gini index
   + [ ] Ranking e regression trees
   + [ ] subgroup discovery and ongoing
   + [ ] Voronoi
+  + [ ] Proximity graph for measuring clusters
 - [X] Esercizi [3/3]
   - [X] es1: perche` min_impurity decrease
   - [X] chiedi a Galla`, Marco e Naz quali sono tutti gli es