schallwelleA.jpg

Technologie

Die Spracherkennungslösungen von LemonSpeech basieren auf den neuesten Erkenntnissen aus den Bereichen Künstliche Intelligenz und Deep Learning und wurden in den letzten sieben Jahren an der Universität Hamburg erforscht und erprobt. Durch eine einzigartige Kombination aus Software und Hardware ermöglicht es LemonSpeech eigene kompakte und kostengünstige Spracherkennungsserver innerhalb eines Firmennetzes zur Verfügung zu stellen. Die Systeme bieten in den allermeisten Fällen bessere Worterkennungsraten als die Cloud-Dienste der Global Player, während allgemeine Probleme von Cloud-Diensten wie eingeschränkter Datenschutz und langsame Antwortzeiten behoben werden. Transkriptionsdienste oder Protokolle werden so schnell, sicher und mit erhöhter Worterkennungsrate durchgeführt. Die neuartige bidirektionale Verarbeitungskette ermöglicht eine erheblich gesteigerte Performance im Bereich Voice-Control. Die Vokabularanpassung an Anwendungsdomänen bietet eine weitere erhebliche Steigerung der Worterkennungsraten und der Ausführbarkeit von Sprachbefehlen. Die in den letzten zwei Jahren erforschte Geräuschunterdrückung komplettiert das System und verbessert die Performance vor allem in geräuschintensiven Umgebungen.

local.png
Lokale
Server

Unsere Sprachverarbeitungstechnologie wird auf lokalen Servern innerhalb von Unternehmen betrieben und gewährleistet so schnelle Antwortzeiten und Datenschutz. Die eingesprochenen Sprachdaten verlassen das Unternehmen nicht.

e78b55748f9f97634a83fdded066b62d.png
Bidirektionale Verarbeitungskette 

Die völlig neuartige bidirektionale Verarbeitungskette bezieht Weltwissen über die Anwendung mit ein, verbessert die Worterkennungsrate und erkennt nicht plausible oder nicht ausführbare Eingaben der Benutzer. Fehlerhafte Eingaben werden automatisch oder nach Rücksprache mit dem Nutzer korrigiert.

index.png
Domänen-
anpassung

Die Sprachverarbeitung wird an Ihre Anwendungsdomäne angepasst. Damit gewährleisten wir eine hohe Worterkennung auch in Einsatzfeldern mit einem hohen Anteil an Fachbegriffen. Dafür kann Fachvokabular bequem eingepflegt und so sicher erkannt werden. Außerdem lernt das System selbstständig Fachvokabular dazu.

20-204278_14-jan-icon-megaphone-transparent-background-megaphone-icon.png
Geraüsch-unterdrückung

Sprache tritt in der Praxis immer mit Nebengeräuschen auf. Dies sind u.a. Hintergrundgeräusche, aber auch Störgeräusche, die durch das System entstehen können. Die Anfälligkeit gegenüber Nebengeräuschen entscheidet über die potentiellen Einsatzgebiete und die benötigte Mikrofonqualität. Wir entwerfen unsere Systeme und Sprachverarbeitungspipeline um ein möglichst robustes System zur Verfügung zu stellen.

Performance

In wissenschaftlichen Experimenten haben wir die Leistungsstärke von LemonSpeech mit einem Global Player im Bereich der Cloud-basierten Spracherkennung gemessen. Dabei zeigt die von LemonSpeech entwickelte Technologie sowohl eine deutlich verbesserte Qualität als auch wesentlich schnellere Verarbeitungsgeschwindigkeiten.

Grafik Performanz TIMIT.png
Grafik Performanz Rec Accuracy.png
Grafik Performanz Speed.png
Grafik Performanz spez Domäne.png

Wissenschaftliche Publikationen

Zu dem Bereich der robusten Sprachverarbeitung sowie der von uns entwickelten bidirektionalen Verarbeitungskette sind bereits 22 wissenschaftlichen Arbeiten veröffentlicht worden.

Controlling the Noise Robustness of End-to-End Automatic Speech Recognition Systems

Matthias Möller, Johannes Twiefel, Cornelius Weber, Stefan Wermter

Proceedings of the International Joint Conference on Neural Networks (IJCNN 2021) - Jul 2021.

Robust Bidirectional Processing for Speech-controlled Robotic Scenarios  

Johannes Twiefel

PhD thesis from University of Hamburg - 2020.

Teach Your Robot Your Language! Trainable Neural Parser for Modeling Human Sentence Processing: Examples for 15 Languages  

Xavier Hinaut, Johannes Twiefel

IEEE Transactions on Cognitive and Developmental Systems, Volume 12, Number 2, pages 179--188 - 2019.

                                               

Combining Articulatory Features with End-to-end Learning in Speech Recognition

Leyuan Qu,Cornelius Weber,Egor Lakomkin,Johannes Twiefel,Stefan Wermter

Proceedings of the International Conference on Artificial Neural Networks (ICANN), doi:10.1007/978-3-030-01424-7_49 - Oct 2018. 

The Impact of Personalisation on Human-Robot Interaction in Learning Scenarios

Nikhil Churamani,Paul Anton,Marc Brügger,Erik Fliesswasser,Thomas Hummel,Julius Mayer,Waleed Mustafa,Hwei Geok Ng,Thi Linh Chi Nguyen,Quan Nguyen,Marcus Soll,Sebastian Springenberg,Sascha Griffiths,Stefan Heinrich,Nicolás Navarro-Guerrero,Erik Strahl,Johannes Twiefel,Cornelius Weber,Stefan Wermter

Proceedings of the Fifth International Conference on Human Agent Interaction, pages 171--180, doi:10.1145/3125739.3125756 - Oct 2017. 

 

Semi-Supervised Phoneme Recognition with Recurrent Ladder Networks

Marian Tietz,Tayfun Alpay,Johannes Twiefel,Stefan Wermter

Proceedings of the 26th International Conference on Artificial Neural Networks (ICANN 2017), doi:10.1007/978-3-319-68600-4_1 - Sep 2017. 

 

Syntactic Reanalysis in Language Models for Speech Recognition

Johannes Twiefel,Xavier Hinaut,Stefan Wermter

Proceedings of the 7th Joint IEEE International Conference on Development and Learning and on Epigenetic Robotics (ICDL-EpiRob), pages 215--220, doi:10.1109/DEVLRN.2017.8329810 - Sep 2017. 

 

Hey Robot, Why Don't You Talk To Me?

Hwei Geok Ng,Paul Anton,Marc Brügger,Nikhil Churamani,Erik Fliesswasser,Thomas Hummel,Julius Mayer,Waleed Mustafa,Thi Linh Chi Nguyen,Quan Nguyen,Marcus Soll,Sebastian Springenberg,Sascha Griffiths,Stefan Heinrich,Nicolás Navarro-Guerrero,Erik Strahl,Johannes Twiefel,Cornelius Weber,Stefan Wermter

Proceedings of the IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN), pages 728--731, doi:10.1109/ROMAN.2017.8172383 - Aug 2017. 

 

Multi-modal Integration of Dynamic Audiovisual Patterns for an Interactive Reinforcement Learning Scenario

Francisco Cruz,German I. Parisi,Johannes Twiefel,Stefan Wermter

IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 759--766, doi:10.1109/IROS.2016.7759137 - Oct 2016. 

 

A Robotic Home Assistant with Memory Aid Functionality

Iris Wieser,Sibel Toprak,Andreas Grenzing,Tobias Hinz,Sayantan Auddy,Ethem Can Karaoĝuz,Abhilash Chandran,Melanie Remmels,Ahmed El Shinawi,Josip Josifovski,Leena Chennuru Vankadara,Faiz Ul Wahab,Alireza M. Bahnemiri,Debasish Sahu,Stefan Heinrich,Nicolás Navarro-Guerrero,Erik Strahl,Johannes Twiefel,Stefan Wermter

Proceedings of the 39th German Conference on Artificial Intelligence (KI2016), Volume 9904, pages 102--115, doi:10.1007/978-3-319-46073-4_8 - Sep 2016. 

 

Recurrent Neural Network for syntax learning with flexible predicates for robotic architectures

Xavier Hinaut,Johannes Twiefel,Stefan Wermter

2016 Joint IEEE International Conference on Development and Learning and Epigenetic Robotics (ICDL-EpiRob), doi:10.1109/DEVLRN.2016.7846807 - Sep 2016. 

 

A Robotic Home Assistant with Memory Aid Functionality

Iris Wieser,Sibel Toprak,Andreas Grenzing,Tobias Hinz,Sayantan Auddy,Ethem Can Karaoĝuz,Abhilash Chandran,Melanie Remmels,Ahmed El Shinawi,Josip Josifovski,Leena Chennuru Vankadara,Faiz Ul Wahab,Alireza M. Bahnemiri,Debasish Sahu,Stefan Heinrich,Nicolás Navarro-Guerrero,Erik Strahl,Johannes Twiefel,Stefan Wermter

Video Session of 25th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN 2016), pages 369 - Aug 2016. 

 

Using Natural Language Feedback in a Neuro-inspired Integrated Multimodal Robotic Architecture

Johannes Twiefel,Xavier Hinaut,Marcelo Borghetti,Erik Strahl,Stefan Wermter

Proceedings of the 25th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN), pages 52--57 - Aug 2016. 

 

Semantic Role Labelling for Robot Instructions using Echo State Networks

Johannes Twiefel,Xavier Hinaut,Stefan Wermter

European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning (ESANN), pages 695--700 - May 2016. 

 

Recurrent Neural Network Sentence Parser for Multiple Languages with Flexible Meaning Representations for Home Scenarios

Xavier Hinaut,Johannes Twiefel

IROS Workshop on Bio-inspired Social Robot Learning in Home Scenarios -  2016. 

 

A recurrent neural network for multiple language acquisition: Starting with English and French

Xavier Hinaut,Johannes Twiefel,Maxime Petit,Peter Dominey,Stefan Wermter

Proceedings of the 2015 International Conference on Neural Information Processing Systems (NIPS 2015), Workshop on Cognitive Computation: Integrating Neural and Symbolic Approaches, Volume 1583 - Dec 2015. 

 

Performing a Cleaning Task in a Simulated Human-Robot Interaction Environment

Francisco Cruz,Johannes Twiefel,Stefan Wermter

IEEE/RSJ International Conference on Intelligent Robots and Systems, Workshop An Open-source Recipe for Teaching/Learning Robotics with a Simulator - Oct 2015. 

 

Humanoidly speaking--learning about the world and language with a humanoid friendly robot

Xavier Hinaut,Johannes Twiefel,Marcelo Borghetti,Luiza Mici,Stefan Wermter

IJCAI Video competition, Buenos Aires, Argentina - Jul 2015. 

 

Interactive Reinforcement Learning through Speech Guidance in a Domestic Scenario

Francisco Cruz,Johannes Twiefel,Sven Magg,Cornelius Weber,Stefan Wermter

International Joint Conference on Neural Networks (IJCNN), pages 1341--1348, doi:10.1109/IJCNN.2015.7280477 - Jul 2015. 

 

Improving Humanoid Robot Speech Recognition with Sound Source Localisation

Jorge Dávila-Chacón,Johannes Twiefel,Jindong Liu,Stefan Wermter

Artificial Neural Networks and Machine Learning - ICANN 2014, pages 619--626, doi:10.1007/978-3-319-11179-7_78 - Sep 2014. 

 

Improving Domain-independent Cloud-based Speech Recognition with Domain-dependent Phonetic Post-processing

Johannes Twiefel,Timo Baumann,Stefan Heinrich,Stefan Wermter

Proceedings of the 28th AAAI Conference on Artificial Intelligence (AAAI-14), pages 1529--1535 - Jul 2014. 

 

Object Learning with Natural Language in a Distributed Intelligent System - A Case Study of Human-Robot Interaction

Stefan Heinrich,Pascal Folleher,Peer Springstübe,Erik Strahl,Johannes Twiefel,Cornelius Weber,Stefan Wermter

IEEE First International Conference on Cognitive Systems and Information Processing (CSIP 2012), Volume 215, pages 811--819, doi:10.1007/978-3-642-37835-5_70 - Dec 2012.