ThoughtWorks
  • Kontakt
  • Español
  • Português
  • English
  • 中文
Übersicht
  • Delivery Mindset trifft Software-Exzellenz

    Verfolgen Sie einen innovativen Ansatz in der Softwareentwicklung, um noch schneller erfolgreich zu sein.

    Erkenntnisgestützte Entscheidungsfindung

    Nutzen Sie Ihre Datenbestände, um neue Geschäftsmöglichkeiten zu erschließen.

  • Betriebsmodelle ohne Reibungsverluste

    Verbessern Sie die Fähigkeit Ihres Unternehmens, auf Veränderungen zu reagieren.

    Plattform Strategie

    Entwicklung dynamischer Technologieplattformen, die sich an Ihre Geschäftsstrategie anpassen.

  • Experience Design und innovative Produkte

    Liefern Sie schnell außergewöhnliche Produkte und Kundenerlebnisse. Entwickeln Sie Design und Funktion kontinuierlich weiter.

    Partnerschaften

    Nutzung unseres Netzwerks aus vertrauenswürdigen Partnern, um noch bessere Ergebnisse für unsere Kunden zu erzielen.

Übersicht
  • Automobil
  • Clientech, Energie und Versorgung
  • Banken und Versicherungen
  • Gesundheit
  • Medien
  • Non-Profit
  • Öffentlicher Sektor
  • Handel und E-Commerce
  • Reise und Transport
Übersicht

Unsere Empfehlungen

  • Technologie

    Ausführliche Betrachtungen neuer Technologien.

  • Business

    Aktuelle Business-Insights, Strategien und Impulse für digitale Querdenker.

  • Kultur

    Insights zu Karrieremöglichkeiten und unsere Sicht auf soziale Gerechtigkeit und Inklusivität.

Digitale Veröffentlichungen und Tools

  • Technology Radar

    Unser Leitfaden für aktuelle Technologietrends.

  • Perspectives

    Unsere Publikation für digitale Vordenker*innen

  • Digital Fluency Model

    Ein Modell zur Priorisierung digitaler Fähigkeiten, um für das Unvorhersehbare bereit zu sein.

  • Decoder

    Der Technology-Guide für Business Entscheider

Alle Insights

  • Artikel

    Expertenwissen für Ihr Unternehmen.

  • Blogs

    Persönliche Perspektiven von ThoughtWorkern aus aller Welt.

  • Bücher

    Stöbern Sie durch unsere umfangreiche Bibliothek.

  • Podcasts

    Spannende Gespräche über das Neueste aus Business und Technologie.

Übersicht
  • Bewerbungsprozess

    Finde heraus, was dich in unserem Bewerbungsprozess erwartet.

  • Hochschulabsovent*innen und Quereinsteiger*innen

    Dein Einstieg in die IT-Welt.

  • Stellenangebote

    Finde offene Stellen in deiner Region.

  • In Kontakt bleiben

    Abonniere unsere monatlichen Updates.

Übersicht
  • Konferenzen und Events
  • Diversity und Inclusion
  • Neuigkeiten
  • Open Source
  • Management
  • Social Change
  • Español
  • Português
  • English
  • 中文
ThoughtWorksMenü
  • schließen   ✕
  • Unsere Services
  • Unsere Kunden
  • Insights
  • Karriere
  • Über uns
  • Kontakt
  • Zurück
  • schließen   ✕
  • Übersicht
  • Delivery Mindset trifft Software-Exzellenz

    Verfolgen Sie einen innovativen Ansatz in der Softwareentwicklung, um noch schneller erfolgreich zu sein.

  • Experience Design und innovative Produkte

    Liefern Sie schnell außergewöhnliche Produkte und Kundenerlebnisse. Entwickeln Sie Design und Funktion kontinuierlich weiter.

  • Betriebsmodelle ohne Reibungsverluste

    Verbessern Sie die Fähigkeit Ihres Unternehmens, auf Veränderungen zu reagieren.

  • Erkenntnisgestützte Entscheidungsfindung

    Nutzen Sie Ihre Datenbestände, um neue Geschäftsmöglichkeiten zu erschließen.

  • Partnerschaften

    Nutzung unseres Netzwerks aus vertrauenswürdigen Partnern, um noch bessere Ergebnisse für unsere Kunden zu erzielen.

  • Plattform Strategie

    Entwicklung dynamischer Technologieplattformen, die sich an Ihre Geschäftsstrategie anpassen.

  • Zurück
  • schließen   ✕
  • Übersicht
  • Automobil
  • Clientech, Energie und Versorgung
  • Banken und Versicherungen
  • Gesundheit
  • Medien
  • Non-Profit
  • Öffentlicher Sektor
  • Handel und E-Commerce
  • Reise und Transport
  • Zurück
  • schließen   ✕
  • Übersicht
  • Unsere Empfehlungen

  • Technologie

    Ausführliche Betrachtungen neuer Technologien.

  • Business

    Aktuelle Business-Insights, Strategien und Impulse für digitale Querdenker.

  • Kultur

    Insights zu Karrieremöglichkeiten und unsere Sicht auf soziale Gerechtigkeit und Inklusivität.

  • Digitale Veröffentlichungen und Tools

  • Technology Radar

    Unser Leitfaden für aktuelle Technologietrends.

  • Perspectives

    Unsere Publikation für digitale Vordenker*innen

  • Digital Fluency Model

    Ein Modell zur Priorisierung digitaler Fähigkeiten, um für das Unvorhersehbare bereit zu sein.

  • Decoder

    Der Technology-Guide für Business Entscheider

  • Alle Insights

  • Artikel

    Expertenwissen für Ihr Unternehmen.

  • Blogs

    Persönliche Perspektiven von ThoughtWorkern aus aller Welt.

  • Bücher

    Stöbern Sie durch unsere umfangreiche Bibliothek.

  • Podcasts

    Spannende Gespräche über das Neueste aus Business und Technologie.

  • Zurück
  • schließen   ✕
  • Übersicht
  • Bewerbungsprozess

    Finde heraus, was dich in unserem Bewerbungsprozess erwartet.

  • Hochschulabsovent*innen und Quereinsteiger*innen

    Dein Einstieg in die IT-Welt.

  • Stellenangebote

    Finde offene Stellen in deiner Region.

  • In Kontakt bleiben

    Abonniere unsere monatlichen Updates.

  • Zurück
  • schließen   ✕
  • Übersicht
  • Konferenzen und Events
  • Diversity und Inclusion
  • Neuigkeiten
  • Open Source
  • Management
  • Social Change
Blogs
Wählen Sie ein Thema
Alle Themen ansehenschließen
Technologie 
Agiles Projektmanagement Cloud Continuous Delivery  Data Science & Engineering Defending the Free Internet Evolutionäre Architekturen Experience Design IoT Sprachen, Tools & Frameworks Modernisierung bestehender Alt-Systeme Machine Learning & Artificial Intelligence Microservices Plattformen Sicherheit Software Testing Technologiestrategie 
Geschäft 
Financial Services Global Health Innovation Retail  Transformation 
Karriere 
Karriere Hacks Diversity und Inclusion Social Change 
Blogs

Themen

Thema auswählen
  • Technologie
    Technologie
  • Technologie Überblick
  • Agiles Projektmanagement
  • Cloud
  • Continuous Delivery
  • Data Science & Engineering
  • Defending the Free Internet
  • Evolutionäre Architekturen
  • Experience Design
  • IoT
  • Sprachen, Tools & Frameworks
  • Modernisierung bestehender Alt-Systeme
  • Machine Learning & Artificial Intelligence
  • Microservices
  • Plattformen
  • Sicherheit
  • Software Testing
  • Technologiestrategie
  • Geschäft
    Geschäft
  • Geschäft Überblick
  • Financial Services
  • Global Health
  • Innovation
  • Retail
  • Transformation
  • Karriere
    Karriere
  • Karriere Überblick
  • Karriere Hacks
  • Diversity und Inclusion
  • Social Change
IoTTechnologie

How NAO robots can help children understand emotion

Lina Alagrami Lina Alagrami

Published: Oct 22, 2018

Autistic children can experience difficulties in relating to others and understanding emotions. Now, help is at hand, thanks to a mask-wearing, kid-friendly robot.

This is the work of London-based ThoughtWorker, Lina Alagrami — who explored this topic at XConf EU.

Having worked with NAO robots — the commercially available teaching robots from SoftBank for three years, after initially experimenting with them at Queen Mary University of London. Lina began working on a project to create an interactive application for an NAO robot that could work with autistic children to help them interpret different emotions.

According to studies by the UK’s NHS, autistic children can struggle to relate to other kids, as they find it difficult to understand the feelings and emotions displayed by others. This makes it hard for them to start or join in conversations. By minimizing the human element and introducing games with NAO robots into a learning programme, children are less likely to concentrate on physical interaction and instead focus on the learning and education that the robot provides.

Lina’s project, The Mask of eNAOtion, is based on the creation of a method to detect how different emotions are expressed. Lina’s aim was to help young children understand what the different emotions are and how to express them, to aid their interaction with other children.

Based on a ‘Simon Says’ style game, the NAO robot asks the child to copy a specified emotion (the prototype version of the game includes four emotions; happy, sad, angry and shocked), then checks to see if the child has successfully copied it. If not, the robot asks the child to try again until the emotion is successfully copied. When the child is successful, the NAO robot congratulates them and moves on to the next emotion.

Lina’s methodology for enabling the emotion detection was to create an LED mask (The Mask of eNAOtion) which was fitted to the front of the robot. The mask is made up of a matrix of LEDs spread across three PCBs. An integrated circuit controls the 40 LEDs which make up the ‘face’ on the robot’s mask. The integrated circuit can be controlled to set the LEDs using microcontrollers (such as an Arduino or a Raspberry PI), or USB to Serial modules, which were the preferred method for this project. The USB to Serial module allows the NAO robot to send specific commands to the integrated circuit, telling it which LEDs to turn on or off, creating the happy, sad, angry and shocked faces.

Q&A with Lina Algrami

What was the reaction when you tried out The Mask of eNAOtion game with children for the first time?

As the mask is a prototype it's not really that friendly looking; I tried it with my younger siblings, ages three and ten (both are not autistic).

At first, the three-year-old was confused as to why the robot was wearing the mask, but after explaining it's used to display different emotions as the robot doesn't really have a face, she moved past it and continued to play the game.

When displaying the different emotions, she found it easy to get happy, angry and shocked but struggled with sad. For her, sad meant crying, not frowning — and that's what the robot was displaying. I had to explain she needed to copy what the robot was showing on the mask. The ten-year-old had no problem playing the game, but being surrounded by his family when it came to displaying these emotions, he'd laugh and so the robot would ask him to try again. Once again, sad was one that was tricky.

If you were doing this project again, what would you do differently?

The first thing I would do differently is the mask design. The NAO robot has two cameras (top and bottom), for this game, the bottom one had to be disabled as it's covered by the mouth PCB. For better emotion detection, using both cameras would be better, so I'd like to explore different mask designs that'll allow enabling the bottom camera. I'd also look into wireless communication between the robot and the LEDs — maybe using Wi-Fi or sound recognition (from the robot) to control the mask.

What was the biggest learning?

I specifically chose this project because it combines both hardware and software. So I'd say the whole thing was full of learning, from really digging into the different USB to Serial devices and the different protocols, all the way to emotion detection and finding the perfect threshold for different emotions. But if I had to narrow to just one learning, it would definitely be don't trust hardware — one loose wire can ruin everything!
 
Weitere Blogposts
Machine Learning & Artificial Intelligence

Recognizing human facial expressions with machine learning

Angelica Perez
Mehr hier
Machine Learning & Artificial Intelligence

How artists are reshaping emerging technology research

Andrew McWilliams
Mehr hier
Machine Learning & Artificial Intelligence

How art programs drive innovation at ThoughtWorks

Andrew McWilliams
Mehr hier
  • Unsere Services
  • Unsere Kunden
  • Insights
  • Karriere
  • Über uns
  • Kontakt

WeChat

×
QR code to ThoughtWorks China WeChat subscription account

Presseanfragen | Datenschutz | Impressum | Modern Slavery statement ThoughtWorks| Barrierefreies Webdesign | © 2021 ThoughtWorks, Inc.