Cerebro

💬 Version 1.0

Cerebro est un projet d'idéation et d'exploration des Interfaces Neuronales Directes (IND). Le but premier est la réalisation d'une vaste plateforme de démonstration utilisant des données discrètes transmises par un casque électroencéphalographique (EEG).

---

💻 Front-end

🌟 Général

• 🏡 Interface d'accueil

  • Accès à toutes les applications via une seule interface
  • Aide disponible sur chacune des applications
  • Affichage de l'état du serveur (ainsi que si le serveur est connecté à un serveur distant)
  • Affichage des différents casques connectés, ainsi que la connectivité avec chacun de leurs capteurs ainsi que de leur niveau de batterie

📚 Entraînements et prédictions

• 📊 Recording

  • Visualisation en temps discret des données (motrice, cérébrale et système) transmises par le casque
  • Visualisation en temps discret de l'activité cérébrale
  • Matrice de corrélation des différents canaux
  • Enregistrement d'une plage temporelle au format .csv

• 📉 Training (cortex)

  • Lien avec l'API Cortex pour entraîner des commandes mentales
  • Animation visuelle de l'action à entraîner
  • Affichage de la prédiction

• 📈 Training (custom)

  • Script python permettant de lancer un entrainement via un fichier .csv ou un enregistrement live des données du casques
  • Support d'un nombre infini de commandes mentales (notez que cela ne garantie en rien les performances du réseau de neurones)
  • Possibilité de récupérer via websockets les prédictions réalisés

• 🃏 Prédiction

  • Création d'un modèle d'auto-encoder via keras
  • Affichage visuelle des 5 neurones au centre de l'auto-encoder

🎭 Reconnaissance des émotions

• 😀 Emotions

  • Récupération du flux vidéo de l'ordinateur
  • Reconnaissance de l'émotion via caméra (machine learning)
  • Reconnaissance de l'émotion via électro-encéphalo-graphie
  • Affichage des bandes de puissances (5 canaux)
  • Intégration du Kawashima

• 👀 Kawashima

  • Modèle 3D de brainy
  • Support des mouvements de la bouche et des yeux

🎲 Divertissements

• ⚫ Pong

  • Support de un ou deux joueurs
  • Lien entre les magnétomètre et le jeu
  • Possibilité de recalibrer le magnétomètre

• 💥 Battle brain

  • Support de deux joueurs
  • Lien entre les commandes mentales et le jeu
  • Possibilité de rejouer à l'infini et de tenter d'avoir une puissance supérieure à 9000 pour tenter de passer en super saiyan !

• 🔺 Cube field

  • Entrainement des commandes neutre, gauche et droite via notre entrainement personnalisé
  • Lien entre les commandes mentales et le jeu
  • De superbes animations !

• ✌️ Shifumi

  • Entrainement des commandes pierre, papier et ciseaux via notre entrainement personnalisé
  • Retour visuelle de la commande mentale

🌎 Internet des objets

• 👾 Parrot

  • Entrainement des commandes neutre, gauche et droite via notre entrainement personnalisé
  • Lien entre les commandes mentales et le contrôle du drône
  • Retour visuelles des commandes

---

☁️ Back-end

🔧 Initialisation et environnent

• Lecture des casques référencés dans hardware.txt
• Vérification automatique des dépendances de toutes les applications
• Vérification des environnements (CortexService et Python)

📡 Serveur

• Lancement des serveurs web et websockets
• Affichage en temps réel de l'état de l'application

🚀 Paramètre de lancement

• Support de l'argument debug pour faciliter le développement
• Support de l'argument server pour se connecter à un serveur distant

🔌 Connectique

• Connexion automatique aux casques référencés
• Connexion au drone Parrot™ (selon le réseau)*
• Propagation des données transmises par les casques aux clients
• Transmission des commandes liées aux drone Parrot™ et à l’environnement Python

---

🍰 Autres

📓 Documentation et présentation

• Documentation sur le Wiki
• Vidéo de présentation

🚧 Fonctionnalités expérimentales

• Connexion réciproques de deux serveurs
• Création d'un modèle LSTM
• Enregistrement et chargement de modèles déjà définies
• Version 2.0 de la brain battle
• Instanciation du script Python via NodeJS