123 replies to this topic

[debaser]

Iscritto ma ho letto workload di 10+ h/w (se non ricordo male) e non sono proprio sicuro di avercele..

[botty]

io sto aspettando che inizi regression models che mi serve per la scuola, spero di non ossessionarmi troppo

[Ortodosso]

Iscritto ma ho letto workload di 10+ h/w (se non ricordo male) e non sono proprio sicuro di avercele..

 

Cagata, o almeno prima settimana un due ore di video (da vedere tranquillamente a 1.5x), più homework che si poteva fare anche a mano, io ci ho messo due ore ma perché l'ho voluto fare in Julia* che non avevo mai usato Soprattutto bello perché pratico, con molti elementi operational, e con un taglio fresco (se hai letto il libro lo sai).

 

Poi ovvio che un minimo di familiarità la devi avere, ma non è il tuo problema, tipo non stanno neanche a spiegare i fondamenti di linear algebra.

 

Vale la pena anche solo per sentire l'accento di Jure Leskovec (vorld vide veb e soprattutto un fantastico algórritm).

 

Se lo fai posta qui soluzioni.

 

Spoiler

function PageRank(M, beta=.85)

  n = size(M)[1]

  A = M * beta + (1-beta) * 1/n

  r = ones(n) / n

  r_old = r

  while sum(abs(r_old - r)) < .0001

    r_old = r

    r = *(A, r)

  end

  return r

end

 

beta = .7

M = [0 0 0; 0.5 0 0; 0.5 1 1]

 

PageRank(M, beta) * 3

 

N = [0 0 1; .5 0 0; .5 1 0]

 

function GetA(M, beta=.85)

  n = size(M)[1]

  A = M * beta + (1-beta) * 1/n

  return A

end

 

GetA(N)

 

function PageRankIterLimit(M, beta=.85, iter=5)

  n = size(M)[1]

  A = M * beta + (1-beta) * 1/n

  r = ones(n)

  r_old = r

  i = 0

  while i <= 5

    r_old = r

    r = *(A, r)

    i += 1

  end

  return r

end

 

function PageRankInit1(M, beta=.85)

  n = size(M)[1]

  A = M * beta + (1-beta) * 1/n

  r = ones(n)

  r_old = r

  while sum(abs(r_old - r)) < .0001

    r_old = r

    r = *(A, r)

  end

  return r

end

 

PageRankInit1(N, 1)

PageRankIterLimit(N, 1, 5)

function flat(A = Vector)

   result = {}

   grep(a) = for x in a

               isa(x,Array) ? grep(x) : push!(result,x)

             end

   grep(A)

   result

 end

 

function Mapper(X = Vector)

    d = [{(k, x) for k in keys(factor(x))} for x in X]

  return flat(d)

end

 

using DataFrames

 

function Reducer(l = Vector[Dict])

  k = [k for (k, v) in a]

  v = [v for (k, v) in a]

  df = DataFrame(K = k, V = v)

  agg = by(df, :K, df->sum(df[:V]))

  return agg

end

 

inputs = [15, 21, 24, 30, 49]

 

res = inputs |> Mapper |> Reducer

 

* sintassi da mani nei capelli

[debaser]

Guarda, pure la mia idea era di farlo in Julia.
L'ho provato poco tempo fa per implementare una cosetta e già ho bestemmiato (specialmente perché scassa veramente tanto per i tipi). Magari provo va.

[Ortodosso]

Scassa per i tipi se li specifichi, se no fa abbastanza bene l'inferenza dai. Poi qui tanto son tutti Vector quindi grandi cazzi non ce ne sono. Soluzioni sopra sono in Julia.

[Ortodosso]

Soluzioni S02E01 (solo domande 4 e 6, le altre si fanno a mente e volendo anche queste, ma per imparare un minimo di Julia):

 

Spoiler

function MakeShingles(s::String, n::Int)

  shingles = Set(String[])

  for i in 1:length(s)-n+1

    ngram = s[i:i+n-1]

    push!(shingles, ngram)

  end

  return shingles

end

 

a = MakeShingles("ABRACADABRA", 2)

b = MakeShingles("BRICABRAC", 2)

intersect(a, b)

 

A = [0 0]

B = [100 40]

C = [56 13; 56 15; 55 5; 66 5]

 

Pkg.add("Distances")

using Distances

 

Ad = vcat(pairwise(Cityblock(), A', C'),

     pairwise(Euclidean(), A', C'))

Bd = vcat(pairwise(Cityblock(), B', C'),

     pairwise(Euclidean(), B', C'))

 

R = (Ad .< Bd)

 

[debaser]

Ah quella della settimana scorsa poi l'ho fatto, se mi ricordo lo metto (vabbè che son tre righe di codice).

Tra l'altro facendo altra roba mia ho visto che per plottare posso sfruttare PyPlot, che mi ha fatto tirare un piccolo sospiro di sollievo.

[Ortodosso]

Se no c'è Gadfly che è molto buono.

[debaser]

Che merda i video della seconda settimana però. Il buon Ullman che legge paro paro dal prompter fa cascare le palle.

[http://infolab.stanf...llman/#polemics ]

[Ortodosso]

Resisti, dopo torna JURE. Comunque sì, la seconda settimana la densità si è abbassata di botto. Ullman sembra Bale in American Hustle, vent'anni dopo.

[good vibrations]

Com'è invece il livello della specialization in Data Analysis?

[debaser]

In che senso? Gli istruttori sono bravi, se c'è Jeff Leek e Peng.

quello "advanced" della week 2 l'ho lasciato, ché vedermi altri due video di Ulmann: no grazie.
nomi di variabili unicode: la sboronata suprema, ma quanto è bello.

Spoiler

# map names to indices
function toIndex(M)
   index = Dict()
   MM=Any[]
   for (i,v) in enumerate(keys(M))
      index[v]=i
      push!(MM,None)
   end
   for (v,pred) in M
      MM[index[v]] = length(pred)>0 ? Int[index[u] for u in pred] : None[]
   end
   return MM, index
end

function pagerank(M, beta=0.7, maxIt=100, ɛ=0.01)
   N = length(M)
   d = zeros(Int,N)
   for i in vcat(M...)
      d[i]+=1
   end
   r = ones(N)
   for t=1:maxIt
      r_old = r
      r = ones(N)
      for j in 1:N
         r[j] = sum(Float64[beta*r_old[i]/d[i] for i in M[j]])
      end
      r += (N-sum(r))/N
      if norm(r-r_old,1) < ɛ
         break
      end
   end
   return r
end


println("Question 1")
M = ["a"=>[],"b"=>["a"],"c"=>["a","b","c"]]
MM, index = toIndex(M)
r = pagerank(MM,0.7)
for k in keys(M)
   println("$k: $(r[index[k]])")
end

println("Question 3")
M = ["a"=>["c"],"b"=>["a"],"c"=>["a","b"]]
MM, index = toIndex(M)
r = pagerank(MM,1.0,5)
for k in keys(M)
   println("$k: $(r[index[k]])")
end

function mapreduce(v)
   hs = Dict()
   for (p,i) in vcat(map((x) -> [(i,x) for i in keys(factor(x))], v)...)
      hs[p]=[get(hs,p,Int[]),i]
   end
   return [(p,sum(v)) for (p,v) in hs]
end

mapreduce([15,21,24,30,49])
 
function shingle(a,n=2)
   shingles=Set()
   for i in 1:length(a)-n+1
      push!(shingles,a[i:i+n-1])
   end
   shingles
end

map((x)->200x[1]+80x[2]>100^2+40^2 && x[1]+x[2]<70,[(51,15),(57,5),(50,18),(52,23)])

comunque devo capire come usarlo nel modo giusto, perché ho provato a fare un paio di cose su dimensioni più grosse e a volte mi è sembrato (inspiegabilmente) lento come la morte.

[Life Is Insignificant]

Com'è invece il livello della specialization in Data Analysis?

Io la sto facendo, adesso sono al quinto corso (Reproducible Research), quelli fatti finora mi sono sembrati molto utili e impegnativi, soprattutto per la difficoltà degli assignment e dei projects da fare. 

[Ortodosso]

In che senso? Gli istruttori sono bravi, se c'è Jeff Leek e Peng.

quello "advanced" della week 2 l'ho lasciato, ché vedermi altri due video di Ulmann: no grazie.
nomi di variabili unicode: la sboronata suprema, ma quanto è bello.

 

Come si vede che tu sei un programmatore serio e io no (non per le variabili unicode)

[Ortodosso]

Debaser, hai fatto la domanda 2 dell'homework 3A di MMDS? 

 

Io l'ho sempre sbagliata, alla fine l'ho fatta guardando il grafico a occhio

 

Ho questa Laplaciana qua:

 

http://www.wolframal...0,-1,0,0,-1,2}}

 

mi gira il cazzo perché

 

- a seconda che cerchi gli eigenvectors/values in wolfram, julia o R vengon fuori robe diverse o scalate strane (PD)

- non si capisce che cazzo sia il second smallest eigenvector, in valore assoluto dell'eigen value o no?

- nessuna delle robe che vengon fuori sembra essere quella giusta

 

esci il codice.

[debaser]

Come scrivevo nello status, a me tornava. Domani te lo recupero.

[Ortodosso]

Ne va della mia sanità mentale

[debaser]

la cosa più banale: la matrice che hai messo dentro wolfram alpha è sbagliata

nel terzo elemento della diagonale ci va un 2.

l'autovettore associato al second-smallest eigenvalue dovrebbe essere [-0.5 0 -0.5 0 0.5 0.5].

 

tra l'altro la domanda su come si conta il penultimo autovalore (in valore assoluto?) perde di senso, perché la matrice laplaciana credo sia SDP*, quindi tutti gli autovalori sono >= 0.

 

*è una sensazione e andrebbe dimostrato, ma wikipedia conferma.

 

 

[la domanda in sé si rispondeva anche a occhio sì, il grafo era stupido]

[Ortodosso]

porcodio porcodio porcodio porcodio porcodio porcodio porcodio porcodio porcodio porcodio porcodio 

 

a parte quella che era sbagliata, poi ho controllato su Julia e ho fatto un errore diverso non vedendo che C era connesso anche al figa di F da cui mi venivano robe diverse tra Julia e WA.

 

grazie

 

ma perché non si possono mettere le labels diocan

[Thælly]

Non capisco una beata minchia ma orty che sbrocca è carinissimo fallo più spesso