125 replies to this topic

[good vibrations]

Com'è invece il livello della specialization in Data Analysis?

[debaser]

In che senso? Gli istruttori sono bravi, se c'è Jeff Leek e Peng.

quello "advanced" della week 2 l'ho lasciato, ché vedermi altri due video di Ulmann: no grazie.
nomi di variabili unicode: la sboronata suprema, ma quanto è bello.

Spoiler

# map names to indices
function toIndex(M)
   index = Dict()
   MM=Any[]
   for (i,v) in enumerate(keys(M))
      index[v]=i
      push!(MM,None)
   end
   for (v,pred) in M
      MM[index[v]] = length(pred)>0 ? Int[index[u] for u in pred] : None[]
   end
   return MM, index
end

function pagerank(M, beta=0.7, maxIt=100, ɛ=0.01)
   N = length(M)
   d = zeros(Int,N)
   for i in vcat(M...)
      d[i]+=1
   end
   r = ones(N)
   for t=1:maxIt
      r_old = r
      r = ones(N)
      for j in 1:N
         r[j] = sum(Float64[beta*r_old[i]/d[i] for i in M[j]])
      end
      r += (N-sum(r))/N
      if norm(r-r_old,1) < ɛ
         break
      end
   end
   return r
end


println("Question 1")
M = ["a"=>[],"b"=>["a"],"c"=>["a","b","c"]]
MM, index = toIndex(M)
r = pagerank(MM,0.7)
for k in keys(M)
   println("$k: $(r[index[k]])")
end

println("Question 3")
M = ["a"=>["c"],"b"=>["a"],"c"=>["a","b"]]
MM, index = toIndex(M)
r = pagerank(MM,1.0,5)
for k in keys(M)
   println("$k: $(r[index[k]])")
end

function mapreduce(v)
   hs = Dict()
   for (p,i) in vcat(map((x) -> [(i,x) for i in keys(factor(x))], v)...)
      hs[p]=[get(hs,p,Int[]),i]
   end
   return [(p,sum(v)) for (p,v) in hs]
end

mapreduce([15,21,24,30,49])
 
function shingle(a,n=2)
   shingles=Set()
   for i in 1:length(a)-n+1
      push!(shingles,a[i:i+n-1])
   end
   shingles
end

map((x)->200x[1]+80x[2]>100^2+40^2 && x[1]+x[2]<70,[(51,15),(57,5),(50,18),(52,23)])

comunque devo capire come usarlo nel modo giusto, perché ho provato a fare un paio di cose su dimensioni più grosse e a volte mi è sembrato (inspiegabilmente) lento come la morte.

[Life Is Insignificant]

Com'è invece il livello della specialization in Data Analysis?

Io la sto facendo, adesso sono al quinto corso (Reproducible Research), quelli fatti finora mi sono sembrati molto utili e impegnativi, soprattutto per la difficoltà degli assignment e dei projects da fare. 

[Ortodosso]

In che senso? Gli istruttori sono bravi, se c'è Jeff Leek e Peng.

quello "advanced" della week 2 l'ho lasciato, ché vedermi altri due video di Ulmann: no grazie.
nomi di variabili unicode: la sboronata suprema, ma quanto è bello.

 

Come si vede che tu sei un programmatore serio e io no (non per le variabili unicode)

[Ortodosso]

Debaser, hai fatto la domanda 2 dell'homework 3A di MMDS? 

 

Io l'ho sempre sbagliata, alla fine l'ho fatta guardando il grafico a occhio

 

Ho questa Laplaciana qua:

 

http://www.wolframal...0,-1,0,0,-1,2}}

 

mi gira il cazzo perché

 

- a seconda che cerchi gli eigenvectors/values in wolfram, julia o R vengon fuori robe diverse o scalate strane (PD)

- non si capisce che cazzo sia il second smallest eigenvector, in valore assoluto dell'eigen value o no?

- nessuna delle robe che vengon fuori sembra essere quella giusta

 

esci il codice.

[debaser]

Come scrivevo nello status, a me tornava. Domani te lo recupero.

[Ortodosso]

Ne va della mia sanità mentale

[debaser]

la cosa più banale: la matrice che hai messo dentro wolfram alpha è sbagliata

nel terzo elemento della diagonale ci va un 2.

l'autovettore associato al second-smallest eigenvalue dovrebbe essere [-0.5 0 -0.5 0 0.5 0.5].

 

tra l'altro la domanda su come si conta il penultimo autovalore (in valore assoluto?) perde di senso, perché la matrice laplaciana credo sia SDP*, quindi tutti gli autovalori sono >= 0.

 

*è una sensazione e andrebbe dimostrato, ma wikipedia conferma.

 

 

[la domanda in sé si rispondeva anche a occhio sì, il grafo era stupido]

[Ortodosso]

porcodio porcodio porcodio porcodio porcodio porcodio porcodio porcodio porcodio porcodio porcodio 

 

a parte quella che era sbagliata, poi ho controllato su Julia e ho fatto un errore diverso non vedendo che C era connesso anche al figa di F da cui mi venivano robe diverse tra Julia e WA.

 

grazie

 

ma perché non si possono mettere le labels diocan

[Thælly]

Non capisco una beata minchia ma orty che sbrocca è carinissimo fallo più spesso

[dirac]

Statisticsierung als Eigenwertproblem

[Scoff]

Ciao a tutti, sono disperato e cerco aiuto pure qui, dal momento che si parla di statistica.

Come posso risolvere questo esercizio?

 

Siano X e Y due variabili casuali tale che Y=3+2x. Trova il valore predetto e la varianza di Y dato E(y) =15 e Var(x)=4

 

Supponi che X abbia una distribuzione normale N (15,4) cosa possiamo dire circa la distribuzione di Y?

 

Scusate l' uso improprio del thread ma sono nella cacca..

[debaser]

dai queste sono veramente stupide, scommetto che ti basterebbe leggere la prima pagina degli appunti (ammesso tu ne abbia).

 

andiamo male, molto male 

 

[Scoff]

dai queste sono veramente stupide, scommetto che ti basterebbe leggere la prima pagina degli appunti (ammesso tu ne abbia).

 

andiamo male, molto male 

 

 

 

 

 

No appunti non ne ho e non ho potuto frequentare il corso. Su regressione, intervalli di confidenza e test di ipotesi sono preparato, lo giuro!

[Ortodosso]

Y ~ N(33, 2) caprotta

[Scoff]

Y ~ N(33, 2) caprotta

si ma perchè? quali sono i passaggi? 

 

P.S. piano con gli epiteti...

[bELLE ELLEish]

Scoff, mi sa che nel testo intendevi E(x), no? Comunque se ancora avessi bisogno...

 

 

Y ~ N(33, 16) caprotta

si ma perchè? quali sono i passaggi? 

 

P.S. piano con gli epiteti...

 

Clicca le 3 cose evidenziate per i "perché" e passaggi wikipediani.

Mentre in parole povere: sai che X dà una campana e se la trasformi linearmente, cioè la trasli a destra (+3) dopo averla allargata (2x), sempre una campana hai. 

[lasa]

sono mezzo malato ma non è 16 la varianza di Y? ( 2²*var(X) )

[Marguati]

No appunti non ne ho e non ho potuto frequentare il corso. Su regressione, intervalli di confidenza e test di ipotesi sono preparato, lo giuro!

però una connessione ad internet sì che ce l'hai, cercati una dispensa no?

[Ortodosso]

Si sono un pirla, avevo in mente che si re-realizzasse X due volte

[Scoff]

 

No appunti non ne ho e non ho potuto frequentare il corso. Su regressione, intervalli di confidenza e test di ipotesi sono preparato, lo giuro!

però una connessione ad internet sì che ce l'hai, cercati una dispensa no?

 

appunto, una connessione a internet ce l'ho e quindi perchè non chiedere aiuto a qualcuno?

[Kalt Kalt]

Scoff, mi sa che nel testo intendevi E(x), no? Comunque se ancora avessi bisogno...
 

Y ~ N(33, 16) caprotta

si ma perchè? quali sono i passaggi? 
 
P.S. piano con gli epiteti...

Clicca le 3 cose evidenziate per i "perché" e passaggi wikipediani.
Mentre in parole povere: sai che X dà una campana e se la trasformi linearmente, cioè la trasli a destra (+3) dopo averla allargata (2x), sempre una campana hai.

Mi allaccio per una domanda molto di forma: tu dici nel Link che Y ha legge Normale perché combinazione lineare di va Normali,però qui hai un termine additivo costante +3, che non ti fa avere una rigorosa combinazione lineare. Oppure sì?
O per avere a questo risultato si utilizza il fatto che la funzione f(x)=2x+3 è continua e quindi misurabile?

[debaser]

eh?

quello che ti serve è la linearità del valore atteso, stop
la trasformazione se vuoi non è lineare ma affine, ok


edit: ah parlavi solo del tipo di distribuzione. beh ma quello è valido per qualsiasi, se aggiungi una costante mica cambia una sega nella pdf, al netto di una traslazione

[Marguati]

No appunti non ne ho e non ho potuto frequentare il corso. Su regressione, intervalli di confidenza e test di ipotesi sono preparato, lo giuro!

però una connessione ad internet sì che ce l'hai, cercati una dispensa no?

appunto, una connessione a internet ce l'ho e quindi perchè non chiedere aiuto a qualcuno?

perché si chiede aiuto per quello che non si trova sui libri di solito, invece quello che hai chiesto tu è tipo un quesito di livello zero di statistica dal quale si capisce che per te "valore atteso" e "varianza" sono solo nomi. Per questo mi sembra più produttivo leggersi una dispensa anziché avere la risposta, altrimenti resteranno solo dei nomi e al prossimo esercizio ti bloccherai uguale. Questo è un consiglio, poi fai come vuoi

[Moreno Saporito]

 

perché si chiede aiuto per quello che non si trova sui libri di solito, 

 

 

 

 

qualcuno mi insegna le proporzioni?

 

 

 

e anche di peggio

[Scoff]

Dunque, prima ci ho scherzato un pò su, ma in realtà ho le dispense e i libri dell' esame di statistica (ne ho fatto uno nella triennale e ricordo di averlo pure passato al primo colpo), datemi pure della capra e dell' ignorante ma non riesco a venirne fuori.

 

Seguendo il manuale mi ci ritrovo nell' esercizio ed arrivo a questo punto:

 

 

So che una distribuzione normane si distribuisce conte con: e quindi la densità di probabilità per un valore x si basa sulla media della variabile μ e sullo scarto quadratico medio σ².

 

So che il valore atteso E(x) è il valore medio della variabile casuale calcolato sulla base di un numero elevato di prove ripetute.

 

Ora, so che il valore atteso sarà E(y)= μy = 3+2μx e che E[(y-μy)²] = E[(2(X-μx)]²= 4E[(X-μx)²].  Var(Y)=4 var(X), la deviazione standard di Y è la radice quadra della sua varianza e perciò Var(Y)=2

 

Non ho però capito se questo è il metodo usato da Ortodosso, e come trovare il valore di μ=33.

[strafanich]

E[Y] = E[3+2x] = 3+2E[x] = ...

[debaser]

Ma se l'hai pure scritto

[Scoff]

Trova il valore predetto e la varianza di Y dato E(y) =15 e Var(x)=4

 

 

Errore di battitura, dovevo scrivere E(x)= 15, ecco perchè non capivo dove saltava fuori..

[strafanich]

Domanda. Conoscete qualche testo/corso/whatever sulla teoria dei business spare parts? Non troppo generale ma intermedio, trovo solo pubblicazioni e tesi senza visione d'insieme.

[debaser]

cosa intendi? mica ho capito

[strafanich]

cosa intendi? mica ho capito

Una roba tipo questo: http://www.amazon.co...66896474&sr=1-1

Che puzzi meno di cialtronata

[debaser]

A cosa ti serve di preciso?
E che sarebbero ste spare parts, cosa hanno di particolare? Sull'inventory management c'è un mondo di roba, ma di spare parts non ho mai sentito parlare.


edit: un paio di survey così al volo li ho visti, se hai bisogno te li scarico e te li mando.

[strafanich]

A cosa ti serve di preciso?
E che sarebbero ste spare parts, cosa hanno di particolare? Sull'inventory management c'è un mondo di roba, ma di spare parts non ho mai sentito parlare.


edit: un paio di survey così al volo li ho visti, se hai bisogno te li scarico e te li mando.

Di preciso niente, volevo farmi un po' un'idea, mi potrebbe servire per lavoro.

Inventory management in generale ne ho letti un paio e alla fine dicono tutti le stesse cose, però in effetti le spare parts, che poi sarebbero i pezzi di ricambio after sales, sono un po' un discorso a parte, moltissime SKU (stock keeping units) con consumo sporadico.

[Jet]

Un mio amico che studia Scienze Politiche (fanno Statistica pure lì) mi ha passato questo meme che hanno fatto al loro prof

Mi sono sganasciato la prima volta che le ho viste (davanti allo sguardo basito di un mio amico che studia Scienze della Comunicazione e non ne ha capita una )

 

 

piano con gli insulti

[Kalt Kalt]

Mio cruccio personale: so che la combinazione lineare di variabili aleatorie con legge Gaussiana è anche essa una variabile aleatoria con legge Gaussiana. Ma questo risultato da dove lo ottengo? Perché io pensavo fosse una conseguenza di questo teorema Sia X un vettore gaussiano. Allora Y=AX+b è anche esso un vettore gaussiano dove la matrice A può essere di qualsiasi dimensione (quindi anche 1 riga n colonne).
Solo che mi sono ricordato che per definire un vettore gaussiano è necessario e sufficiente che la combinazione lineare delle componenti del vettore mi diano una distribuzione Gaussiana per ogni coefficiente ai che moltiplica la i-esima componente

Non so se mi sono spiegato, ciao

[debaser]

Su Wikipedia ci sono tre dimostrazioni diverse

[Kalt Kalt]

Dove? Perché io su Wikipedia, alla pagina Distribuzione Normale, mi era parso di leggere solo l'enunciato, senza alcuna dimostrazione o motivazione del perché. Intendi magari Wikipedia anglosassone?

[debaser]

Certo, intendo quella in inglese.

[Marguati]

C'è una cosa che mi ronza in testa da quando sono stato ad un seminario molto interessante, e mi pare la cosa giusta da condividere su questo topic perché è un'idea molto bella, magari chi studia statistica apprezza.

Shannon nel suo lavoro sulla teoria dell'informazione aveva dimostrato che se hai due variabili casuali indipendenti e identicamente distribuite allora
Entropia((X + Y)/√2) ≥ Entropia(X),
cioè l'entropia della somma normalizzata non può essere inferiore all'entropia di una singola variabile. Iterando questo comporta la stessa disuguaglianza per somme che contengono un numero di termini che è una potenza di due, ma è rimasto a lungo un problema aperto di capire se si potesse dire
Entropia( S_n ) ≥ Entropia( S_(n−1) )
per tutti gli n, dove S_n è la somma normalizzata di n variabili
S_n = (X_1 + ... + X_n)/√n.
Questo è stato dimostrato nel 2004.

Quindi quando prendete la somma normalizzata di variabili casuali i.i.d. state facendo aumentare l'entropia. Più ne prendete, più l'entropia cresce. Questo significa che l'entropia si approssima all'entropia massima concessa. E cosa realizza l'entropia massima di una distribuzione di probabilità? una normale gaussiana.
La morale è
 

Il Teorema Centrale del Limite è guidato da un principio che è analogo al Secondo principio della termodinamica.

[Ganzfeld]

Qualcuno sa utilizzare il software R per fare analisi statistiche? Chi è interessato preferirei che mi contattasse in privato. Naturalmente sono disposto a pagare per l' eventuale "servizio".

[good vibrations]

Su Coursera ci sono buoni corsi per imparare a smanettarci

[Ganzfeld]

Su Coursera ci sono buoni corsi per imparare a smanettarci

Diciamo che è una cosa che purtroppo mi serve sull' immediato.

[Ortodosso]

Scrivimi

[arvic]

Qualcuno sa utilizzare il software R per fare analisi statistiche? Chi è interessato preferirei che mi contattasse in privato. Naturalmente sono disposto a pagare per l' eventuale "servizio".

 

Prendo spunto da questo richiesta di aiuto di Ganz per farne una a mia volta: per monitorare un impianto abbiamo costruito un db che ne acquisisce i dati di funzionamento in forma costante.

Questo mi permette, ad un primo livello, di scegliere solo i dati che reputo interessanti (diciamo 5 variabili su 100) e analizzarle tra loro per capire come sta andando l'impianto. Ad un livello superiore però, mi piacerebbe capire se e quanto le altre 95 variabili possano influenzare il funzionamento dell'impianto (diciamo le 5 che inizialmente ho analizzato).

Ora, io non so praticamente nulla di programmazione e di statistica e quindi sta cosa la farà un'altra persona per me, ma vorrei capirne qualcosa in più, visto che la userò sempre di più.

Mi han detto di usare la Principal Component Analisys ma non ci capisco un cazzo   .

 

Qualcuno mi sa dire se c'è qualche corso on line per iniziare a capirne qualcosa in più su analisi dati e se questo metodo è sensato rispetto a quanto mi serve?

O non son riuscito neanche a spiegarmi?

 

Sono sempre nella tragica situazione in cui non so se vale la pena iniziare a studiare da zero o arrendermi all'evidenza di non poter ricucire il gap, cosa dite?

[Ganzfeld]

Leggo solo ora la risposta di orotodosso! (vabbè, alla fine ero riuscito a combinare lo stesso )

[pooneil]

Io sto cercando di costruirmi una carriera nell'analisi dati, ed ho trovato molto utili i corsi di Udacity Descriptive Statistics e Inferential Statistics. Per quanto riguarda la programmazione c'è Intro to Computer Science sempre su Udacity (per Python) e i due super bignami di Datacamp (Intro to Data Science rispettivamente per Python e per R).

Non ho trovato invece altrettanto utili i corsi di Intro to Data Science di Udacity sia per R che per Python: al livello a cui sono arrivato, richiedono troppo tempo per approfondire gli spunti che offrono. Tempo che ora non ho, dato che al momento ricerco l'efficienza più che l'efficacia per fare salti di qualità.

Pensavo invece di cominciare a girare su Github, evitare gli errori del neofita, entrare a fare parte di qualche lobby, compilare il programma della settimana con scala voti oggettiva, commentare le pietre miliari, accumulare punti reputazione, lanciare qualche hype e poi lamentarmi del declino della piattaforma.

 

Per quanto riguarda la tua preoccupazione corrente, se le variabili fossero (molte) meno, io farei una regressione lineare multipla.

Ma te lo dico più come esercizio mio per vedere se sono in grado di rispondere alla tua domanda.

[Ortodosso]

Non ti sei spiegato benissimo. Impianto di che? Hai una misurazione che ne riassume la qualità di funzionamento? Si può passare a parlare di modelli (tra cui PCA) solo quando hai un'idea di quello che vorresti predirre/spiegare.

[arvic]

Impianto di aria compressa e l'obiettivo è ridurre al massimo il consumo energetico specifico, diciamo kWh/Nm3 prodotto, per adesso ignorando il modo in cui viene usata.
Voglio capire: a) quali variabili infuenzano il consumo specifico, b) quanto lo influiscono e c) trovare l'ottimo per ridurre al minimo il consumo specifico

[debaser]

Ohhh che bel problemino. Ma su quali variabili puoi agire?

Ci sono tante cose diverse che potresti fare; quello che farei io personalmente così al buio (non è detto sia la cosa più giusta, se ce n'è una) è cercare di modellare il sistema (pure questo puoi farlo in diversi modi - in soldoni, capire come varia il consumo in funzione delle variabili che puoi e non puoi controllare) e, in seconda battuta, infilarlo in un problema di ottimizzazione (o se vuoi vederlo come un problema di controllo ottimo, se hai un sistema dinamico nel tempo). Disclaimer: immagino che ortodosso potrebbe vedere tutta la faccenda un altro punto di vista..

La seconda fase in prima analisi potrebbe anche limitarsi pragmaticamente al dire: ok, queste sono le variabili del modello che più influenzano l'output in questa/quella direzione, modifichiamole di tot in questa/quella direzione. Se uno ha un modello accurato/complicato, si può anche fare cose più sofisticate (a piacere ).

Il suggerimento della PCA non l'ho tanto capito a dire il vero: ti permette di avere una riduzione di dimensionalità ma proiettando le tue variabili di partenza in uno spazio che non ha un significato "fisico". A te servirebbe più quella che viene chiamata "feature selection" forse? Anche se pure la PCA potresti usarla nel tuo modello.