diff --git a/anno3/apprendimento_automatico/ltximg/org-ltximg_3a0d170f8063d6728500a6795104201c4072f7d4.png b/anno3/apprendimento_automatico/ltximg/org-ltximg_3a0d170f8063d6728500a6795104201c4072f7d4.png new file mode 100644 index 0000000..86b82cf Binary files /dev/null and b/anno3/apprendimento_automatico/ltximg/org-ltximg_3a0d170f8063d6728500a6795104201c4072f7d4.png differ diff --git a/anno3/apprendimento_automatico/ltximg/org-ltximg_82de31bd34b1ae579873d2150bf0083eeeb96097.png b/anno3/apprendimento_automatico/ltximg/org-ltximg_82de31bd34b1ae579873d2150bf0083eeeb96097.png new file mode 100644 index 0000000..45ee882 Binary files /dev/null and b/anno3/apprendimento_automatico/ltximg/org-ltximg_82de31bd34b1ae579873d2150bf0083eeeb96097.png differ diff --git a/anno3/apprendimento_automatico/preparazione.org b/anno3/apprendimento_automatico/preparazione.org index 526a8eb..55eca08 100644 --- a/anno3/apprendimento_automatico/preparazione.org +++ b/anno3/apprendimento_automatico/preparazione.org @@ -555,3 +555,56 @@ do: until (no change in μ₁, ..., μₖ ritorna μ₁, ..., μₖ #+END_SRC +*** K-Medoids clustering +#+BEGIN_SRC +Input: input data D⊆X; k \#clusters; Distance metric Dis: X×X→R +Inizializza casualmente k punti μ₁, ..., μₖ ∈D +repeat + assign each x∈D to argminⱼ Dis(x,μⱼ) + for j=1 to k do: + Dⱼ ← {x∈D| x assigned to cluster j} + μⱼ = argmin_{x∈Dⱼ} ∑_{x'∈Dⱼ} Dis(x,x') +until no change in μ₁, ..., μₖ +return μ₁, ..., μₖ +#+END_SRC +*** TODO Proximity graph for measuring clusters (Silhouettes) +*** Hierarchical clustering +Non richiede di fissare k. +Il ~dendrogram~ e` un albero binario con gli elementi di D come +foglie. +- Linkage function: L: 2ˣ×2ˣ→R: calcola la distanza fra due subset + dell'instance space data una metrica per la distanza. + + Single linkage: smallest pairwise distance fra elementi + + Complete linkage: largest pointwise distance + + Average linkage: average pointwise distance + + Centroid linkage: distanza fra i centroidi +- HAC(D, L) +#+BEGIN_SRC +Input: D⊆X; linkage function L +Inizializza clusters di singleton +creae una foglia a livello zero per ogni punto +repeat: + trova la coppia con il minore linkage e merge + genera parent di +until si ottiene un solo cluster +return constructed dendrogram +#+END_SRC +** Kernels +Disₖ(x,y) = sqrt K(x,x) + 2K(x,y) + K(y,y) +| pseudo metric quando k e` un kernel semidefinito +- Kernelized K-Means +#+BEGIN_SRC +inputs: D⊆X; k +randomly initialize D₁, ..., Dₖ; (D₁ ∪ ... ∪ Dₖ = D) +repeat + assign each x to argminⱼ 1/|Dⱼ| ∑_y Disₖ(x,y) + for j = 1 ... k: + Dⱼ ← {x∈D | x assigned to cluster j} +until no change in D₁,...,Dₖ +return D₁, ..., Dₖ +#+END_SRC +- Cosine similarity: $cos θ = \frac{x\cdot y}{\Vert{x}\Vert \cdot + \Vert{y} \Vert} = \frac{K(x,y)}{\sqrt{K(x,x)\times K(y,y)}}$ +** 5-cross validation +dividi il dataset in 5 partizioni, 4 per il training set 1 per il test +set e permuta. diff --git a/todo.org b/todo.org index f0258c7..4f7b265 100644 --- a/todo.org +++ b/todo.org @@ -26,11 +26,13 @@ + [ ] (w_0,w_1) ortogonale all'iperpiano + [ ] dimostrazione dualita` grangiana + [ ] Mercer condition + + [ ] kernel semidefinito - [ ] Meo [0/3] + [ ] Vedi bene gini index + [ ] Ranking e regression trees + [ ] subgroup discovery and ongoing + [ ] Voronoi + + [ ] Proximity graph for measuring clusters - [X] Esercizi [3/3] - [X] es1: perche` min_impurity decrease - [X] chiedi a Galla`, Marco e Naz quali sono tutti gli es