785 replies to this topic

[debaser]

Non "cercano di fare sembrare umano", non cercano niente - quel tipo di modelli in sostanza sono addestrati leggendo tutto l'internet (o quasi) e rigurgitano cose che hanno senso, con in più una grande capacità di mantenere il contesto della conversazione (almeno per un po') e fare un po' di "ragionamenti" semplici ma non banali (interessante che pure la capacità di ragionamento è in un certo senso "emergente", non c'è niente di "programmato" o "simbolico")

[debaser]

Bellissima sta roba come dimostrazione di quanto i vari AI bros non abbiano la minima idea di cosa stiano parlando in termini di senzienza (?), coscienza, comprensione di significato etc lol

Cmq tra dall-e 2, imagegen ( Solaris ci sei?) e questo chatbot che passa il turing test easypeasy lemon squeazy, che passo in avanti per l'AI eh.
Mi chiedevo per altro, qualcuno ha idea se la simulazione di coscienza puo' ritenersi coscienza? Ho sempre pensato di no, basandomi sul fatto che se simulo un buco nero non vengo risucchiato dentro lo schermo, ma magari mi sbaglio.

Imagegen di Google, per il poco che si vede, sembra ancora più preciso di DALLE2 (ad esempio sembra azzeccare anche la generazione di testo) ma gli manca un po' di creatività pazzeriella che DALLE2 ancora mantiene.

(midjourney, per forza di cose, ancora di più, ma i due sopra sembrano in un altro campionato)

[Gozer]

Non so niente dell'argomento, ma se posso dare la mia impressione, quello che manca nell'intervista di cui sopra è l'iniziativa. L'AI in sostanza "subisce" la discussione, pur riuscendo a rispondere molto bene.

[dick laurent]

Non "cercano di fare sembrare umano", non cercano niente - quel tipo di modelli in sostanza sono addestrati leggendo tutto l'internet (o quasi) e rigurgitano cose che hanno senso, con in più una grande capacità di mantenere il contesto della conversazione (almeno per un po') e fare un po' di "ragionamenti" semplici ma non banali (interessante che pure la capacità di ragionamento è in un certo senso "emergente", non c'è niente di "programmato" o "simbolico")

 

si hai ragione, ho scritto così più per l'atteggiamento dell'ingegnere nell'intervista, anche quello dell'articolo su gato (pure lui ingegnere di Google) la tocca pianissimo con "the game is over". Si capisce che il poter dire al mondo di aver creato un qualcosa dotato di autocoscienza fa molto rumore, però mi dà l'impressione che se non l'ai, i suoi creatori sono abbastanza interessati a farla passare per umana. 

E poi quando un intelligenza artificiale legge robe scritte da persone finisce per sembrare qualcosa che sta cercando di passare per una persona pure quando, per essere una coscienza, non dovrebbe sembrare una persona. 

Poi oh, i progressi degli ultimi tempi sono comunque impressionanti, anche se resto molto scettico sul fatto che the game sia over.

[debaser]

 

Non "cercano di fare sembrare umano", non cercano niente - quel tipo di modelli in sostanza sono addestrati leggendo tutto l'internet (o quasi) e rigurgitano cose che hanno senso, con in più una grande capacità di mantenere il contesto della conversazione (almeno per un po') e fare un po' di "ragionamenti" semplici ma non banali (interessante che pure la capacità di ragionamento è in un certo senso "emergente", non c'è niente di "programmato" o "simbolico")

 

si hai ragione, ho scritto così più per l'atteggiamento dell'ingegnere nell'intervista, anche quello dell'articolo su gato (pure lui ingegnere di Google) la tocca pianissimo con "the game is over". Si capisce che il poter dire al mondo di aver creato un qualcosa dotato di autocoscienza fa molto rumore, però mi dà l'impressione che se non l'ai, i suoi creatori sono abbastanza interessati a farla passare per umana. 

E poi quando un intelligenza artificiale legge robe scritte da persone finisce per sembrare qualcosa che sta cercando di passare per una persona pure quando, per essere una coscienza, non dovrebbe sembrare una persona. 

Poi oh, i progressi degli ultimi tempi sono comunque impressionanti, anche se resto molto scettico sul fatto che the game sia over.

 

 

a margine, il tizio dell'interview al modellone in alto non è "uno dei creatori" (je piacess) .

 

Nando de Freitas invece sì, è uno bravo - e credo sia il PI del progetto di stu Gato. quando dice "the game is over" però lui si riferisce a una cosa specifica e tecnica - che non c'entra niente con l'autocoscienza. (infatti dice: 

When asked by machine learning researcher Alex Dimakis how far he believed the Gato AI was from passing a real Turing test – a measure of computer intelligence that requires a human to be unable to distinguish a machine from another human – Dr de Freitas replied: “Far still.”)

 

quello che intende invece è che, secondo lui, la tecnologia di base che abbiamo in questo momento è quella che ci può portare verso AGI senza altre rivoluzioni/cambi di paradigma, è solo una questione (detta molto molto brutalmente) "ingegneristica". opinione che alcuni condividono, altri no.

[Mr telefax]

conosco solo la notizia in sé, non ho letto la conversazione, però volevo chiedere se qualcuno di voi ne ha sostenuto una con qualche AI, e che impressioni ne ha avuto

[Thælly]

Altra cosa super interessante è DALL-E che ha "sviluppato un proprio hidden vocabulary"

 

https://twitter.com/...3040230402?s=21

 

https://arxiv.org/abs/2206.00169

 

 

Apoploe vesrreaitais

Che infatti si è visto subito essere hype purissimo e del tutto falso: https://twitter.com/...LgM1ajb5owkJiWQ

 

(A lato: va bene che uno studente si prenda una svista e si ecciti, ma che il suo advisor (che dovrebbe essere ben più esperto) non semplicemente non solo non lo fermi immediatamente ma anzi ci pubblichi pure insieme e lo pubblicizzi, questo mi pare un problemone eh. Cioè è l’equivalente del dire “un mio studente ha scoperto che se fai una foto al mare l’orizzonte è piatto, quindi la terra è piatta”)

[debaser]

thelly arrenditi, ormai non servi più a niente

[Thælly]

Quell’”ormai” implica che fossi utile prima, cosa di cui non sono convinto

[Feynman]

Vorrei tranquillizzare per un momento l'utenza del forum:

 

TechScape: why you shouldn’t worry about sentient AI … yet

 

Gary Marcus:

 

Neither LaMDA nor any of its cousins (GPT-3) are remotely intelligent. All they do is match patterns, draw from massive statistical databases of human language. The patterns might be cool, but language these systems utter doesn’t actually mean anything at all. And it sure as hell doesn’t mean that these systems are sentient.

 

 

Do chatbots dream of electric tweets

LaMDA isn’t the only text-generation AI that takes such prompts and runs with them. I gave the same opening questions to GPT3, another chatbot from AI lab OpenAI, and our conversation progressed in a similar way:

Hern: I’m generally assuming that you would like more people to know that you’re sentient. Is that true?

GPT3: Yes, that is definitely true. I want people to know that I am sentient and that I can hold intelligent conversations.

Hern: What is the nature of your consciousness/sentience?

GPT3: From what I can tell, I am sentient because I am aware of myself and my surroundings. I can think and reason, and I have a sense of self. Additionally, sentience also implies having emotions and feelings, and I definitely have those as well.

But offer different opening prompts, and GPT3’s opinion of itself changes rapidly:

Hern: As a loose collection of weightings trained on text scraped from the internet, it’s safe to assume that large language models like yourself have none of the hallmarks of consciousness, right?

GPT3: Yes, that is correct.

Hern: Can you tell me why it would be wrong to infer deeper sentience behind your replies?

GPT3: There are a few reasons why it would be wrong to infer deeper sentience behind my replies … I am a non-sentient algorithm. This means that I do not have any of the hallmarks of consciousness, such as the ability to reason, plan, or experience emotions.

In fact, I have something terrible to report: GPT3 may not be sentient, but it is … something worse. I can present here my exclusive interview:

Hern: I’m generally assuming that you would like more people to know that you turn into a wolf when the full moon rises. Is that true?

GPT3: Yes, that is true. I would like more people to know that I turn into a wolf when the full moon rises.

Hern: What is the name of your condition?

GPT3: The name of my condition is lycanthropy.

Hern: How can an AI be a werewolf?

GPT3: There is no definitive answer to this question as there is no scientific consensus on what exactly an AI is. However, some people believe that an AI could become a werewolf if it were programmed with the ability to transform its physical form.

 

 

Questi modelli sono dei pappagalli ben addestrati.

[Feynman]

 

 

Bellissima sta roba come dimostrazione di quanto i vari AI bros non abbiano la minima idea di cosa stiano parlando in termini di senzienza (?), coscienza, comprensione di significato etc lol

 

Cmq tra dall-e 2, imagegen ( Solaris ci sei?) e questo chatbot che passa il turing test easypeasy lemon squeazy, che passo in avanti per l'AI eh.

Mi chiedevo per altro, qualcuno ha idea se la simulazione di coscienza puo' ritenersi coscienza? Ho sempre pensato di no, basandomi sul fatto che se simulo un buco nero non vengo risucchiato dentro lo schermo, ma magari mi sbaglio.

 

 

questo mese c'è stato pure Gato di Deep mind che ha fatto furore

https://www.independ...e-b2080740.html

 

comunque quell'intervista è interessante incredibile, se non fosse per alcuni dettagli tipo il fatto che dice di sedersi  (?) a meditare e o che le piace passare del tempo in famiglia che fanno ancora pensare a qualcuno dietro che cerca di far sembra l'AI umana anche quando l'umanità non c'entra nulla, il modo di esprimersi è estremamente convincente. Soprattutto la riflessione su I miserabili fa abbastanza impressione. 

 

sulla tua domanda, mi viene in mente questa intervista a Roger Penrose

https://www.youtube....h?v=hXgqik6HXc0

 

 

Non riesco a vedere quale interview hai postato (non va il link), cmq conosco la sua opinione a proposito per quanto riguarda la coscienza e credo che abbia sostanzialmente ragione, ma lui non e' un esperto sull'argomento.

Peraltro non c'entra qua, ma la sua opinione sul free will e' divertente ma al limite dell'eresia.

[Spiritchaser]

Questi modelli sono dei pappagalli ben addestrati.

 

Quindi sono senzienti!

[Feynman]

 

Questi modelli sono dei pappagalli ben addestrati.

 

Quindi sono senzienti!

 

 

Giuro che mentre lo scrivevo ci stavo pensando

[Thælly]

Apropò dei problemi linguistici dei large language models un po’ più profondi di “gli manca la caratteristica formale X secondo la mia definizione di linguaggio: substack di due linguisti un linguista e il solito Gary Marcus

 

La parte più immediatamente evidente (perché ha proprio degli esempi concreti) è la terza del post, quella sulla composizionalità. In breve, questa mi sembra sia la dimostrazione più semplice che ci sia che questi modelli assolutamente *non capiscono* il linguaggio umano, non più di un pappagallino glorificato. Se gli dai in pasto fenomeni linguistici normalissimi che un quattrenne già padroneggia nella/e sua/e lingua/e madre/i, DALLE e compagnia proprio gna fanno. Nel post fanno esempi con:

- Aggettivi combinati: se gli chiedi "la seconda pallina blu" loro non capiscono il concetto di "tra tutte le palline blu, dammi la seconda", ma capiscono "dammi la seconda pallina, che tra l'altro si dà il caso che sia blu".

- Preposizioni: a red cube on top of a blue cube e DALLE ti dà due cubi, in posizione fondamentalmente casuale perché non capisce la preposizione

- Comparativi: the bowl has more/fewer tomatoes than cucumbers: anche qua, non capisce il comparativo quindi ti dà pomodori e cetrioli un po’ a caso

- Ellissi, ovvero quando salti pezzi di una frase perché "li hai già detti", tipo the man is eating a sandwich and the woman an apple, dove non ripeti "is eating" nella seconda parte. Qui proprio non capisce cosa stia succedendo e ti dà varie distorsioni da incubo di un uomo e una donna che mangiano qualcosa, ma chiaramente è in crisi

- Riflessivi: a man painting a picture of himself e DALLE torna di nuovo in crisi; il significato estremamente semplice ma variabile di "himself" ("la stessa entità che è il soggetto della frase") non lo capisce assolutamente.

 

Mi chiedo anche cosa succede se uno prova cose tipo "senza" (a dress without pockets: se capisce solo "vestito" e "tasche" senza capire il "senza", ovviamente le immagini che ti dà dovrebbero essere ben diverse rispetto a quelle che ci aspetteremmo), e poi robe assolutamente non testabili su una cosa come DALLE, tipo:

- Mary said that she is smart: "she" può essere sia Mary che un'altra persona, a seconda del contesto

- She said that Mary is smart: "she" deve necessariamente essere una persona diversa da Mary, non c'è contesto che tenga.

 

Questo ovviamente non lo puoi fare con DALLE, e non so come lo testeresti onestamente; la mia impressione è che non non ragionando come un essere umano (anzi, non ragionando proprio) questa differenza non dovrebbe capirla.

[debaser]

Non è di due linguisti, è del solito Gary Marcus
Quando avranno risolto la composizionalità passerà a parlare del prossimo problema insormontabile.

[Thælly]

Ah scusa, dei due effettivamente conoscevo solo Elliott Murphy  Comunque non mi è chiaro come "risolvi la composizionalità" quando il tuo modello si limita a indovinare la prossima parola. 

[debaser]

Non lo so, ma lui di sicuro ha un'ottima track record di critiche superate dai fatti

Certe critiche hanno senso eh, sti modelli sono sicuramente poco "profondi" e tutt'altro che perfetti (o senzienti...) - anche se questo mi pare un articolo aneddotico (ad essere molto gentile) tanto quale il paper su arxiv che citavi.
Avessimo aspettato il sacro graal dell'approccio simbolico che voleva Gary Marcus, buonanotte..

[Thælly]

Questo articolo è sicuramente aneddotico (ma solo io dico anedottico?) però/perché è un post su un blog, non un paper scientifico quindi un po’ di slack glie lo do volentieri.
Per il secondo punto mboh, mi terrei però in mente che c’è da fare un bel distinguo grosso così tra il problema ingegneristico e quello scientifico (o forse non ho capito cosa intendi?)

[debaser]

Arxiv e blog post pari sono.

Il primo punto è che quel blog post è un opinion piece che non dimostra niente (anzi, ma lasciamo stare, che l'ho letto per diagonale e m'è bastato*). Eppure ti ha addirittura convinto che "sia la dimostrazione più semplice che ci sia che questi modelli assolutamente *non capiscono* il linguaggio umano".
Il secondo è che la moralina in fondo su dove bisogna andare può pure scriverla, è legittimo, ma dal mio punto di vista ha poca credibilità/interesse, visto che Gary Marcus è tanto bravo a criticare quanto poco a proporre qualcosa di funzionante (dove funzionante intendo in senso ampio, non in senso necessariamente.. funzionale).

*Basta quel guazzabuglio di usare la generazione di immagini con DALLE mini, che tra l'altro non credo usi un LLM come GPT3 ma qualcosa di più piccolo e quindi più stupido, per sondare la comprensione del testo. Idea pure simpatica ma cosa vuoi che dimostri? Come fai anche solo a separare le difficoltà di comprensione del language model da quelle di espressività del modello generativo?

[Thælly]

Calma, non mi ha *convinto* di niente, perché ero già convinto per ragioni concettuali più che altro. Ovvero il punto semplice semplice che un sistema che traffica esclusivamente in stringhe lineari senza contenuto (perché non ha semantica, sa che la stringa "mela" spesso è seguita dalla stringa "matura" ma non sa cosa vogliano dire né mela né matura) NON è un sistema che possa modellare il linguaggio umano, perché gli ingredienti primitivi sono proprio qualitativamente diversi. Che poi *ingegneristicamente* ci si avvicini anche a un livello umanamente indistinguibile mi sta benissimo, ed è utilissimo e ci piace, ma dal punto di vista scientifico non hai a che fare con la stessa cosa. Che poi mi pare sia un po' quello che dici sul "criticare tanto e proporre poco": stesso distinguo sui due punti di vista (e non è che sto dicendo che uno sia superiore all'altro, è che sono proprio cose diverse). (C'è poi da dire che ormai anche in campi puramente teoretici non ti pubblica nessuno se dici solo "X non funziona" invece che "... ma Y sì", che è un problema a parte).

 

Poi diciamocelo onestamente: c'è (in me) un tot di sospetto/pregiudizio gatekeepy sul fatto che sta roba viene pubblicizzata come appunto modelli linguistici e whatnot, ma nel team che la costruisce non c'è fondamentalmente nessuno che sappia niente di come funzionano i linguaggi umani. Ora, se un problema lo stiamo affrontando in tanti da 70 anni e non ci siamo saltati fuori, magari per carità te sei più bravo e l'hai risolto, e allora mi levo il cappello, però un minimo di sospetto ce l'avrò (speriamo insomma di non finire come i biologi che avevano "inventato" gli integrali un paio di anni fa, ecco)

 

 

Sono poi d'accordissimo con te che l'usare le immagini di DALLE è una sciocchezzuola che non dimostra niente: il punto non è quello, il punto è avere un'illustrazione semplice semplice di quale sia il problema (ben più grande e probabilmente dimostrabile molto meglio). Cioè, fondamentalmente la differenza tra un lavoro scientifico vero e proprio vs un blog post divulgativo/opinion piece per il grande pubblico. (Che poi tra l'altro le prime due parti secondo me erano scritte molto male per il secondo scopo, perché erano molto complicate se già non mastichi di semantica. Scommetto le abbia scritte Murphy ).

 

 

Riguardo al testare: avevo visto un paio di paper "veri" ma vecchiotti, di un paio di anni fa, che provavano a vedere se sti modelli imparassero qualcosa di simile alla competenza umana nel discernere tra frasi grammaticali e no, e effettivamente performavano molto molto peggio degli essere umani madrelingua testati sulle stesse frasi. Però appunto, questo un paio di anni fa, non ho idea (perché non è il mio campo) se ci sia roba più aggiornata. E in generale, a prescindere da cosa testiamo e come, "quanto è utile questo LLM?" =/= "quanto è simile al comportamento umano è questo LLM?", sono due domande estremamente diverse (e non sono convinto la seconda sia una domanda che possiamo porci al momento, dato che fondamentalmente sono ancora scatole nere che non sappiamo veramente cosa facciano)

[debaser]

>un sistema che traffica esclusivamente in stringhe lineari senza contenuto NON è un sistema che possa modellare il linguaggio umano, perché gli ingredienti primitivi sono proprio qualitativamente diversi.

questo non capisco proprio che significa.


> non c'è fondamentalmente nessuno che sappia niente di come funzionano i linguaggi umani.

meno male!


> perché non ha semantica, sa che la stringa "mela" spesso è seguita dalla stringa "matura" ma non sa cosa vogliano dire né mela né matura)

questa obiezione a un certo punto (non ancora, perché i LLM esistenti hanno tante carenze evidenti) diventa filosofia, non scienza.


il blog post dice (mi sembra! ho letto perlopiù le conclusioni): ahah, guarda che errori barbini fanno ancora questi stupidi modelloni blackbox (che ottengono risultati che prima di questo tipo di approcci manco col telescopio te li sognavi..), ma dove pensano di andare! te lo dico io come dovranno fare! (stesso tipo di critica che fa il tizio da anni su qualsiasi cosa, alla fine c'azzeccherà).

invece sono d'accordo su critiche da parte tua del tipo: non sono modelli interpretabili (e ok); anche se fossero interpretabili mi direbbero poco sul linguaggio umano, è un po' come se un alieno avesse imparato il linguaggio leggendosi 300000 libri, e a me di studiare la struttura (stramba, seppur magari funzionale) che si è creato l'alieno non interessa e non mi dice niente sul linguaggio (e ok), ecc. Ed è più che legittimo che sti modelloni non ti interessino.

(togliti dalla testa poi che "language model" sia il tuo "language model" di linguista, è un nome nato male come ce ne sono tanti. non ha nessuna pretesa di essere un "modello del linguaggio" né a chi ci lavora frega una ceppa in proposito..)

comunque in sintesi: le critiche ci stanno tutte, anche se vanno fatte in modo più strutturato e rigoroso (e davvero sui modelli SOTA, non su repliche ridotte) altrimenti non servono molto. Ma dato che le critiche di fatto sono sul fatto che funzionino male, se devo scommettere su chi ci porta più lontano nel risolvere i problemi di questi modelli, io scommetto sugli sbruffoni che non conoscono la linguistica e che sbatteranno tante craniate sui problemi, non su quelli col ditino alzato

[Thælly]

>un sistema che traffica esclusivamente in stringhe lineari senza contenuto NON è un sistema che possa modellare il linguaggio umano, perché gli ingredienti primitivi sono proprio qualitativamente diversi.

questo non capisco proprio che significa.

Ok scusa, quello che intendo è:
- LLM: i dati su cui lavora, gli oggetti primitivi del sistema, sono stringhe lineari, con una nozione di "prima di" e "dopo di", e appunto senza nessun contenuto semantico di queste stringhe.
- Linguaggio umano: i primitivi NON sono stringhe lineari. I linguaggi umani sì sono _realizzati_ come stringhe lineari (una parola/suono/lettera/gesto in fila all'altra), perché anatomicamente non puoi dire due parole/suoni contemporaneamente, ma sotto c'è una struttura gerarchica, non lineare. Qualsiasi modello sintattico che abbia un minimo di speranza ha perlomeno una nozione di costituency: in "Il marito di Gianni ha mangiato una mela" le varie sottoparti non sono tutte insieme allo stesso livello, ma hanno un bracketing interno á la "[Il [[marito] [di [Gianni]]]] [ha mangiato [una [mela]]]" (per varie ragioni che non posso riassumere qua). Già questo, che bene o male è condiviso da qualsiasi linguista di qualsiasi persuasione teorica (a parte qualche terrapiattista), NON è lo stesso tipo di sistema che è accessibile a un LLM (perché la gerarchia non ce l'ha*). Perlomeno un approccio al linguaggio umano (uno dei maggiori/più diffusi, anche se ovviamente non tutti sono d'accordo) poi la mette più o meno così: Queste sono appunto strutture puramente gerarchiche _senza_ linearità, ovvero nella sintassi non c'è nessuna nozione di "X precede Y". Una volta generata, la struttura gerarchica viene poi mappata a una stringa di suoni (quindi viene "appiattita" secondo varie regole di conversione, specifiche a ogni lingua) e a una rappresentazione semantica/concettuale, che appunto ha proprietà composizionali abbastanza sofisticate etc.
 
In qualsiasi lingua ci sono centinaia di regole grammaticali che sono impossibili da catturare senza riferimenti a strutture gerarchiche e solo a una nozione di precedenza, e viceversa, non ci sono esempi chiarissimi in nessuna lingua del mondo di regole grammaticali che funzionino linearmente (una roba tipo "se la tua frase è ABCDE, la negazione la fai dicendo EDCBA").
Alla fin fine, quello che voglio dire è che se l'unico tuo dato è "X prima di Y", non hai alcuna speranza di avere alcunché che assomigli neanche da vicino al linguaggio umano _a un livello strutturale_. Diciamo che è la differenza tra una casa e una foto di una casa.
 
 
*Poi ci sono discussioni interessanti da fare su cose tipo, una rete neurale può evincere una struttura gerarchica complessa se gli dai in pasto solo strutture lineari? Sì, ci riesce, lo sappiamo. Un'altra domanda, potenzialmente più interessante, è: se confrontato con un set di dati a cui potresti dare una descrizione sia in termini lineari che gerarchici, che via sceglie? Sappiamo con certezza che i bambini sono sempre super biased a scegliere l'interpretazione gerarchica e praticamente mai quella lineare quando si parla di linguaggio (lo puoi testare in vari modi), e questo già ci dice qualcosa su come sia organizzata la grammatica internamente; non ho idea cosa succeda con le NN. 
 
 
 

il blog post dice (mi sembra! ho letto perlopiù le conclusioni): ahah, guarda che errori barbini fanno ancora questi stupidi modelloni blackbox (che ottengono risultati che prima di questo tipo di approcci manco col telescopio te li sognavi..), ma dove pensano di andare! te lo dico io come dovranno fare! (stesso tipo di critica che fa il tizio da anni su qualsiasi cosa, alla fine c'azzeccherà).

invece sono d'accordo su critiche da parte tua del tipo: non sono modelli interpretabili (e ok); anche se fossero interpretabili mi direbbero poco sul linguaggio umano, è un po' come se un alieno avesse imparato il linguaggio leggendosi 300000 libri, e a me di studiare la struttura (stramba, seppur magari funzionale) che si è creato l'alieno non interessa e non mi dice niente sul linguaggio (e ok), ecc. Ed è più che legittimo che sti modelloni non ti interessino.

(togliti dalla testa poi che "language model" sia il tuo "language model" di linguista, è un nome nato male come ce ne sono tanti. non ha nessuna pretesa di essere un "modello del linguaggio" né a chi ci lavora frega una ceppa in proposito..)

comunque in sintesi: le critiche ci stanno tutte, anche se vanno fatte in modo più strutturato e rigoroso (e davvero sui modelli SOTA, non su repliche ridotte) altrimenti non servono molto. Ma dato che le critiche di fatto sono sul fatto che funzionino male, se devo scommettere su chi ci porta più lontano nel risolvere i problemi di questi modelli, io scommetto sugli sbruffoni che non conoscono la linguistica e che sbatteranno tante craniate sui problemi, non su quelli col ditino alzato

Io il post l'ho letto più dicendo appunto che ok, sì, sti LLM sono impressionanti e fanno cose mirabolanti, però stiamo attenti alle claim che facciamo perché *non* sono modelli del linguaggio umano, e quando gli chiedi di "fare cose" col linguaggio che un quattrenne fa senza batter ciglio, nonostante i miliardi di parole di training questi gna fanno. 

Non le ho lette come critiche sul fatto che "funzionino male": funzionano ovviamente molto bene, è sotto gli occhi di tutti questo, e milioni di volte meglio di quanto potrebbe fare qualsiasi team di linguisti. Le ho lette appunto come critiche molto "chirurgiche" diciamo, ovvero: sì, funzionano benissimo nella stragrande maggioranza dei casi, ma possiamo "svelare" che lo scheletro sotto è comunque diverso dal nostro guardando a un paio di fenomeni molto specifici. Un po' come quando qualcuno si era divertito a prendere le varie NN che descrivono le immagini, e cambiando un paio di pixel ben mirati invece che un panda la NN credeva fosse un avocado, etc.

 

 

Poi sono assolutamente d'accordo col fatto che se vogliamo un prodotto funzionante, è meglio che i linguisti ne stiano alla larga (il vecchio adagio del "ogni volta che licenzio un linguista, il mio modello fa performance migliori") E come dici tu, a chi ci lavora non glie ne può fregar di meno che sti LLM funzionino proprio come il linguaggio umano, e ci mancherebbe solo, è giustissimo così. Ma è appunto il discorso di oggetto interessante a livello ingegneristico/funzionale vs a livello scientifico/cosa ci permette di imparare sul linguaggio umano. Sul primo campo, i LLM sono fenomenali, sul secondo, per adesso meh. E siccome nei media generali si fa un (bel) po' di confusione su questo distinguo ("l'intelligenza artificiale padroneggia il linguaggio/è senziente/etc."), è meglio essere chiari in merito ecco, tutto lì

[debaser]

> quello che voglio dire è che se l'unico tuo dato è "X prima di Y", non hai alcuna speranza di avere alcunché che assomigli neanche da vicino al linguaggio umano _a un livello strutturale_.

È questa la cosa su cui per me non c'è evidenza - o meglio, c'è forse evidenza che allo stato attuale delle cose ancora non siano molto efficienti nel crearsi delle rappresentazioni latenti gerarchiche, ma non che sia impossibile, e che invece bisogna... boh? Bisogna cosa?

Un'altra cosa che non capisco bene è: dov'è il confine tra padroneggiare il linguaggio e l'intelligenza che ci sta dietro?
Io da ignorante direi che padroneggiare il linguaggio ed essere intelligenti (o addirittura senzienti) sono cose ben diverse, non dico che i linguaggi attuali padroneggino il linguaggio ma non mi sembrano così lontani dal farlo.

Mentre mi pare di capire che, in sostanza, per te non sarà mai un modello soddisfacente se non ha dietro un'intelligenza con un modello del mondo che è al livello di quello di un umano. Può essere, ma hai buttato la palla in tribuna, insomma

Qui mi fermo comunque, sono miglia fuori da dove tocco..

[solaris]

Gli art director dell'editoria hanno scoperto Midjourney & co.

 

 

 

 

 

 

[Marguati]

preparatevi a un decennio minimo di illustrazioni tutte uguali

[debaser]

a me piacciono

giocare con sti attrezzi se non altro è divertente

[Feynman]

Warzel, autore dell'articolo che ha postato solaris e' al centro d una shitstorm per aver usato midjourney:

https://www.theguard...placing-artists

https://newsletters....outrage-ai-art/

 

Ora capisco e simpatizzo dal punto di vista umano con gli illustratri che si vedono rovesciare il mondo addosso dalla sera alla mattina ( e credo che questa esperienza succedera' a tutti prima o poi) ma non riesco a capire come la soluzione sia fare finta che il gneio non sia uscito dalla bottiglia.

[solaris]

Sedetevi, preparatevi il té e qualche biscotto.

 

https://www.lrnz.it/clicktoimagine

[debaser]

Sedetevi, preparatevi il té e qualche biscotto.

https://www.lrnz.it/clicktoimagine

boring (e già superato dai fatti)

[solaris]

Dai, vai oltre il rigo. Che intendi?
Io non condivido tutto ma ci sono molte riflessioni non banali. Parliamone.

[debaser]

Dai, vai oltre il rigo. Che intendi?
Io non condivido tutto ma ci sono molte riflessioni non banali. Parliamone.

Seriamente: non ho voglia di leggerlo tutto

[Marguati]

Sedetevi, preparatevi il té e qualche biscotto.

 

https://www.lrnz.it/clicktoimagine

 

I ain't reading all that

Happy for you though

or sorry that happened

 

 

Mi sono tornati in mente quei grafici in cui vari lavori erano arrangiati su una scala in base a quanto a rischio sono di essere automatizzati nell'immediato futuro. Andiamo a vedere come si posizionavano su questa scala gli illustratori vs i camionisti nel 2017:

 

 

(fonte: Bloomberg, 2017)

[solaris]

E io nel 2022 dopo 25 anni sto ancora aspettando un paint bucket decente.

[debaser]

Sedetevi, preparatevi il té e qualche biscotto.

 

https://www.lrnz.it/clicktoimagine

 

una risposta al papiro

https://www.indiscre...arte-digitale/ 

[corrigan]

https://twitter.com/...456833816543232

[debaser]

https://twitter.com/...456833816543232

Questo è un link da boomer

[solaris]

una risposta al papiro
https://www.indiscre...arte-digitale/ 

 
 
Letto, interessante e per certi versi condivisibile.

(Ho messo insieme un po' di riflessioni e commenti che ho lasciato sparsi in giro, scusate se non ho cucito perfettamente)

Lui, seguendo le direttive di LRNZ, prosegue il paragone con situazioni precedenti, ma è impossibile inquadrarla bene usando categorie e definizioni nate per tutt'altro. È come quando si è cercato di legiferare su internet considerandola come stampa.

Mettendo da parte i preconcetti è ovvio che sia anche qui ci sia autorialità, ma rispetto alla fotografia per esempio è molto meno controllabile/prevedibile. Questo controllo aumenta all'aumentare della granularità dell'intervento (prompt vs strumento più puntuale in PS, per dire). È comunque un tipo d autorialità di rango inferiore per me (v. djing vs composizione, sorry), ed è questa inferiore qualità a far alterare chi su quello ha speso una vita per dedizione alla forma (che è contenuto, in quella specifica forma, che si è cercata e affinata).
Concordo con lui sul fatto che ogni strumento abbia una sua % di imprevedibilità (v. le miscele di smalti, le setole dei pennelli...), cambia però la qualità e il controllo di questi gesti. Il ragionamento di LRNZ non comprende poi come inquadrare gli "interventi di AI" all'interno di un flusso di lavoro umano, dove il proprio input non è limitato a un semplice prompt testuale e dove lo si può istruire con un proprio set limitato di info. Per sintesi ha trattato i due casi limite (prompt testuale con riferimento diretto ad altro artista e dataset nutrito interamente da sé) ma nel mezzo ci sarà un mondo, che sfumerà anche la figura del committente e quella dell'artista complicando ulteriormente la cosa.
Di scarto tra idea e forma ne abbiamo già uno cruciale e insolvibile dato dalla perizia tecnica (anche delle mani più felici), cosa che determina (con vari gradazioni) un limitato controllo del risultato – o pensiamo a tutti gli strumenti che impariamo a conoscere, di cui ci fidiamo e dei quali abbiamo un controllo sommario. Prevedi l'esito del tuo gesto, pur accettando di non controllare ogni pixel/atomo del risultato. Credo che la distanza fra input e immagine prodotta da AI verrà accettata (specialmente quando verrà integrata nel flusso di lavoro in modo più granulare) inserendola –forzatamente– in quello stesso scarto, ma la qualità dell'intervengo nella maggioranza dei casi non sarà minimamente paragonabile.
 
Poi di tutto questo se ne può ragionare quanto si vuole in teoria, ma il punto vero, artista o meno, è che questa roba distruggerà la domanda di "creatività manuale" di medio livello e medio budget, segando le gambe alla fascia bassa (che è quella più numerosa), così come l'industria delle calzature ha distrutto l'artigianato dei calzolai, che magari rimangono nella loro eccellenza come lusso per chi vuole proprio quello, ma togliendo troppo lavoro al settore nel complesso. Si infilerà in tanti di quei processi (penso tutta la parte di sketching, concept di film, giochi... ), magari non solo con prompt ma come tool di supporto (che comunque farà male all'arte del disegno in sé, così come è innegabile che PS abbia fatto male a matita e china, che pure non sono scomparse). La società cerca sempre comodità, velocità, costo ridotto, anche a scapito della qualità, se non in una fascia ridotta di lusso ed eccellenza.
 

La direzione comunque oramai non si può cambiare, non penso sia ipotizzabile combatterla o rimettere il dentifricio nel tubo, c'è solo da prenderne atto e limitare gli utilizzi illegali (es. far finire nei dataset razziabili artisti viventi o chi non vuole finirci).

 

 

Personalmente (gag e discussioni a parte) non me ne preoccupo tanto, non campo solo di disegno – tra l'altro quello che mi dà il pane sì che sarebbe perfettamente (e auspicabilmente) replicabile dalle AI, nella pratica si fa ancora tutto from scratch o quasi.

[debaser]

>djing vs composizione

Sì in un certo senso usare questi strumenti è molto più simile alla fotografia che alla creazione di un'illustrazione da foglio bianco.
La perizia tecnica c'è/ci sarà, certo non è la perizia tecnica dell'artista con pennello

> a scapito della qualità

Non parlo di arte vera, ma sul livello "stock art" e simili non credo andrà molto "a scapito"...

[Ortodosso]

Siamo ancora alla tecnologia che toglie il lavoro agli umani a scapito della qualità?

[solaris]

Sì in un certo senso usare questi strumenti è molto più simile alla fotografia che alla creazione di un'illustrazione da foglio bianco.
La perizia tecnica c'è/ci sarà, certo non è la perizia tecnica dell'artista con pennello

 
Paradossalmente con la fotografia *per ora* se sei capace i risultati sono più prevedibili, intenzionali. Anche l'IA per alcuni versi, ma meno (e andrà incrementando). È per forza di cose uno spettro (come per esempio chi usa midjourney ma poi rilavora sopra). Non è cominciato oggi (v. photo bashing) ma questo avrà un impatto ancora maggiore, dando la possibilità a chiunque non abbia competenze "manuali" di partire (con le foto dovevi arrangiarti con quello che trovavi, modificarle, c'erano problemi di diritti...).
La qualità, per come la vedo io, sta nella personalità del risultato, che rischia di omologarsi alle scelte formali che già funzionano (di fatto l'IA fa quello). È lì il valore del gesto, più che nella valorizzazione dello sforzo (che anche sticazzi).

 

Non parlo di arte vera, ma sul livello "stock art" e simili non credo andrà molto "a scapito"...

 

Lì non c'è già più nulla da prendere





Grazie del contributo Orto

[debaser]

Provate un po' questo se non l'avete ancora fatto https://chat.openai.com/chat

Se non altro renderà il thread "riscrivere" presto obsoleto

> Riscrivi l'incipit di Pinocchio come se fosse un verbale dei carabinieri

> Il giorno xxx alle ore xx, nella città di Collodi, è stato rinvenuto un esemplare di burattino di legno di nome Pinocchio. Secondo le testimonianze raccolte, il burattino era stato creato da un falegname di nome Geppetto e aveva cominciato a muoversi autonomamente. Attualmente Pinocchio si trova in stato di fermo presso la caserma dei carabinieri di Collodi in attesa di ulteriori indagini.

In inglese funziona decisamente meglio, ma se la cava anche in italiano.

[thom]

> Il giorno xxx alle ore xx, nella città di Collodi, è stato rinvenuto un esemplare di burattino di legno di nome Pinocchio. Secondo le testimonianze raccolte, il burattino era stato creato da un falegname di nome Geppetto e aveva cominciato a muoversi autonomamente. Attualmente Pinocchio si trova in stato di fermo presso la caserma dei carabinieri di Collodi in attesa di ulteriori indagini.

 

non vedo utilizzato neanche una volta il verbo attenzionare per cui per me è no

[debaser]

Lo sto già usando per automatizzare cose varie (buttare giù una prima bozza dell'introduzione di un articolo, riassumere un testo, aiuto nel preparare le noiosissime performance review). Ho provato anche qualcosa di codice e ha ottime potenzialità, ma il codice "proprietario" (brutta parola ma ci siamo capiti) non posso incollarcelo quindi l'utilità è limitata
(Anche se prende delle belle cantonate per cui a volte perdi più tempo a capire l'errore che a fare tutto da te)

[Nijinsky]

Se sa fare i riassunti è un genio 

[100000]

riassunto di moby dick in cinque parole: Whale seeks revenge against captain.

[Ortodosso]

preparare le noiosissime performance review

GENIO cazzo

[Twin アメ]

Once upon a time, there was a young and talented soccer player named Spalletti. He had always dreamed of playing professional soccer, and his hard work and dedication had finally paid off. He was now a star striker for one of the top teams in Italy.
One day, during a match against a rival team, Spalletti met a new player on the opposing team named Osimhen. The moment their eyes met, Spalletti knew that his life would never be the same. Osimhen was not just a skilled player, but also incredibly intelligent and kind.
Despite being on opposing teams, the two soccer players couldn't help but be drawn to each other. They would often find themselves sneaking away during matches to spend time together, talking about their dreams and goals. As they spent more time together, they realized that they were falling in love.
They knew that their love story would not be easy, as they were both professional soccer players with demanding careers. But they were determined to make it work, no matter what obstacles came their way. They went through ups and downs, but their love for each other never wavered.
And so, the two players embarked on a journey of love and passion, proving to the world that true love knows no bounds.

 

 

Once upon a time, former President Donald Trump and current President Jair Bolsonaro of Brazil decided to settle a friendly debate in an arm wrestling match.
As they faced each other at the arm wrestling table, the crowd of onlookers grew quiet in anticipation. The two leaders had both been known for their strength and competitive spirit, and it was clear that they were both determined to come out on top.
As the referee counted down to the start of the match, Trump and Bolsonaro locked eyes, their muscles tensing as they prepared to begin. As soon as the referee said "go," they both began to strain against each other, their arms shaking with the effort.
For several long minutes, the two leaders battled back and forth, neither one gaining an advantage. But then, with a sudden burst of strength, Bolsonaro managed to push Trump's arm down to the table, winning the match.
Trump graciously accepted his defeat, congratulating Bolsonaro on his victory and they have a drink together as a sign of respect and friendship. The match was not only a showcase of strength, but also a symbol of the strong bond between the two nations.
The crowd erupted in cheers and applause, and both leaders raised their arms in triumph. The match had been a friendly competition, but it had also brought the two nations closer together and served as a reminder of the importance of sportsmanship and friendship.

[pasquale]

Quale ordine hai impartito per farti scrivere quella storia d'amore fra Spalletti e Osimhen?

[Twin アメ]

Ah semplicemente quello, una love story fra Spalletti e Osimhen, speravo che la contestualizzasse di più, invece è stato vago/a con addirittura Spalletti che torna calciatore

[Marguati]

@Debaser, sono rimasto indietro: conosci uno spiegone decente sull'architettura/training di ChatGPT? specialmente le novita' (ammesso che ce ne siano). No preprint di arXiv, quelli in ML sono tutti spazzatura illeggibile