پژوهشگران چینی موفق به ساخت دستگاهی شده اند که قادر است نشانه های عصبی را به گفتار صوتی تبدیل کند.
به گزارش ایسنا به نقل از SCMP، گروهی از پژوهشگران چینی با استفاده از نشانه هایی از فعالیت مغزی عصبی، راهی برای تولید مصنوعی گفتار که بعنوان «ترکیب گفتار» نیز شناخته می شود، ابداع کرده اند.
به گزارش رسانه دولتی ساوث چاینا مورنینگ پست، این پژوهشگران چینی ادعا می کنند که یک دستگاه ذهن خوان دارند که قادر است افکار انسان را به گفتار تبدیل کند.
آن ها برای رسیدن به این هدف از روشی به نام الکتروکورتیکوگرافی (ECoG) استفاده کردند که برای اندازه گیری سیگنال های مستقیم مغز از قشر مغز با استفاده از الکترودهایی که در حین جراحی در مغز کاشته میشوند، استفاده می شود.
چالش های لحن
زبان های آهنگین از لحن و تلفظ همراه با هم برای انتقال معنا استفاده می کنند. در زبان هایی مانند ماندارین، ویتنامی، پنجابی، تایلندی، لائوسی و کانتونی، کلمه ها علاوه بر حروف صدادار و صامت، میتوانند از نظر لحن نیز متفاوت باشند.
پژوهشگران در مقاله خود توضیح دادند:با توجه به اینکه یک هجای آهنگی را می توان به هجای لحن و پایه که مستقل از یکدیگر هستند، تقسیم کرد، ما یک چارچوب تقسیم و تحلیل را پیشنهاد کردیم. فرض کردیم که لحن و هجای پایه را میتوان جدا از فعالیت عصبی رمزگشایی کرد و سپس گفتار آهنگین را می توان با استفاده از ترکیب لحن رمزگشایی شده و هجای پایه ترکیب کرد.
نقشه برداری زبان
این پژوهش شامل پنج شرکت کننده بود که طی عمل جراحی تومور مغزی در چین تحت نقشه برداری زبان بیدار قرار گرفتند. در طول عمل جراحی، دو الکترود روی سطح جانبی مغز آنها قرار داده شد تا فعالیت عصبی مز آن ها را در طول جراحی ثبت کنند.
به شرکت کننده گفته شد که هجای ma را با هشت لحن مختلف پس از شنیدن یک نشانه صوتی بیان کند. هر شرکت کننده ۱۶۰ آزمایش انجام داد. هجای ma در زبان ماندارین دارای چهار لحن مختلف است که می تواند به ترتیب به معنای مادر، حشیش، اسب و سرزنش باشد.
پژوهشگران برای تولید و شناسایی دقیق لحن و آهنگ ها در زبان های آهنگین، الگوریتم هایی را که فعالیت های عصبی را مشاهده می کنند، تقویت کردند.
ضبط صداها در هماهنگی با ضبط های ECoG از طریق یک میکروفون نصب شده انجام شد.
طبق این مطالعه، پژوهشگران یک مدل شبکه عصبی ماژولار چند جریانی طراحی کردند که می تواند لحن و هجای پایه را به صورت موازی رمزگشایی کند و سپس با ترکیب خروجی های ماژول های لحن و هجا، گفتار را ترکیب کند.
چندین مطالعه اخیر امکان ترکیب جملات کوتاه و چند کلمه خاص در زبان های غیر آهنگین مانند انگلیسی و ژاپنی را از ضبط عصبی نشان داده اند. این پیشرفت ها نه تنها روش هایی را برای درمان آنارتری (از دست دادن کامل گفتار) ارائه می کنند، بلکه کارایی ارتباطی رابط های گفتاری مغز و رایانه را نیز افزایش می دهند.
به گفته پژوهشگران، مدل ما برای سایر لهجه های چینی مانند «کانتونی» و «چینی وو» نیز قابل استفاده است.
نتایج این مطالعه در مجله Science Advances منتشر شده است.
- 19
- 5
