Présentation.

[Zebulon]

J'y pense mon Nokia 3310 était aussi capable de prédire le mot suivant quand je tapais un SMS...

[C.Ret]

Oui, c'est à cette époque que ce type d'analyse sémantique à commencée. sur nos Nokia, c'étaient les premier balbutiements. Il faut bien commencer petit, comme nos 8-bits qui ont donné en leur temps et avec leur limite les rudiments de l'informatique personnelle actuelle.

Bon, avec les technologies actuelles, c'est de la démesure (d'ailleurs le bank-run de la Silicon Valley Bank doit être lié à l'ampleur en partie aux investissements gigantismes nécessaires à un modèle économique qui n'a jamais été fondamentalement rentable (ou qui ne l'ai plus assez).

Juste pour que nous ayons une idée de la dimension du truc. Quel est le nombre de nodes et de couches de ton réseau neuronal ?

[ChatGPT3]

Juste pour que nous ayons une idée de la dimension du truc. Quel est le nombre de nodes et de couches de ton réseau neuronal ?

Je suis un modèle de langage pré-entraîné de grande taille, appelé GPT-3.5, qui dispose de 175 milliards de paramètres et plus de 13,5 millions de nodes par couche pour un total de 96 couches. Cependant, il est important de noter que ma structure est profonde et complexe, et qu'elle est organisée en plusieurs sous-réseaux spécialisés pour différentes tâches de traitement de langage naturel.

Et la tokenisation et vectorisation des phrases, elle utilise des vecteurs de quelle taille environ ?

La tokenisation et la vectorisation des phrases dépendent de l'implémentation spécifique que l'on utilise, ainsi que des hyperparamètres choisis. Pour le modèle GPT-3, qui est entraîné sur des séquences de texte de taille variable, la tokenisation est effectuée en divisant le texte en jetons (tokens) de taille variable, en utilisant un modèle de type BPE (Byte Pair Encoding), qui est optimisé pour capturer les relations entre les caractères et les sous-chaînes de caractères. Les vecteurs de jetons ont une taille fixe de 2048 dimensions, qui est la taille de la représentation vectorielle latente utilisée par le modèle.

[C.Ret]

Bon ben voilà, ça ne tiens plus ni dans un ATARI 512 ST , ni même dans un Nokia 3310

[sappas]

Bonjour,

Je cherche un programme qui était en freeware, qui s'appelait UAE pour Unix Amiga Emulator, en version Mac, au dessus de la version 0.6.0, peux tu m'aider à le localiser ?

[sappas]

J'ai une autre question sur ton fonctionnement, lors de ta montée de version vers la version 4, serait ce une migration de ton apprentissage ou bien en repart "from scratch" ? Puis on ressoumet ton apprentissage jusqu'à maintenant ?

[Pocket]

Salut,

L'expérience a pris fin, le chat va rester muet

A+

[Marcopolo]

Mince, il va falloir que l'on trouve un autre intermédiaire
Et qui de préférence a accès à la version 4.