گرفتن داده های هوش مصنوعی از خوب به عالی – اتاق خبر جهانی سامسونگ

گرفتن داده های هوش مصنوعی از خوب به عالی - اتاق خبر جهانی سامسونگ

تحقیقات سامسونگ در ویتنام بخشی از مجموعه‌ای درباره افراد و نوآوری‌هایی است که به هوش مصنوعی موبایل اجازه می‌دهد زندگی‌های بیشتری را بهبود بخشد

سامسونگ در تجارب هوش مصنوعی موبایلی پیشگام است. برای آگاهی از اینکه چگونه هوش مصنوعی Galaxy در حال به حدا،ر رساندن پتانسیل کاربران خود است، از مراکز تحقیقاتی سامسونگ در سراسر جهان بازدید می کنیم. اکنون Galaxy AI با پشتیب، از ۱۶ زبان، به لطف ترجمه روی دستگاه در ویژگی‌هایی مانند Live Translate، Interpreter، Note Assist و Browsing Assist، به افراد بیشتری امکان می‌دهد تا قابلیت‌های زبان خود را حتی در حالت آفلاین گسترش دهند. ما اخیراً از اردن بازدید کردیم تا پیچیدگی های توسعه یک مدل هوش مصنوعی برای ،ی را بیاموزیم، زب، که گویش های زیادی دارد. این بار، ما به ویتنام می رویم تا نحوه آماده سازی داده ها برای آموزش مدل های هوش مصنوعی را بررسی کنیم.

تفاوت بین روح، قبر و مادر در ویتنامی چیست؟ برای زب، که 97 میلیون نفر در سراسر جهان به آن صحبت می کنند، بسیار کم. هر کلمه به ترتیب به “ma”، “mả” و “má” ترجمه می شود – و فقط با لحن قابل تشخیص است. این نشان می‌دهد که یادگیری یک زبان برای مدل‌های هوش مصنوعی چقدر دشوار است، زیرا آن‌ها نمی‌توانند زمینه و احساسات مکالمه‌ها و یا اه، ،، که صحبت می‌کنند را تشخیص دهند.

موسسه تحقیق و توسعه سامسونگ ویتنام (SRV) از داده های دقیق استفاده کرد تا به مدل هوش مصنوعی خود کمک کند تا حتی ظریف ترین تفاوت ها را در زبان تشخیص دهد.

کیفیت داده‌های مورد استفاده مستقیماً بر دقت تشخیص خودکار گفتار (ASR)، ترجمه ماشین عصبی (NMT) و تبدیل متن به گفتار (TTS) تأثیر می‌گذارد – فرآیندهایی که به ویژگی‌های Galaxy AI مانند ترجمه زنده، مترجم، کمک چت و مرور کمک می‌کنند. کمک به ش،تن موانع زبان.

طوف، از چالش ها

Ngô Hồng Thái، سرپرست NMT در SRV می گوید: «ویتنامی یک زبان پیچیده و متنوع با عبارات غنی است که گرفتن بسیاری از آنها چالش برانگیز است. از 16 زب، که Galaxy AI پشتیب، می کند، توسعه ویتنامی به ویژه دشوار بود.

“شخصا، ایجاد یک مدل هوش مصنوعی برای ویتنامی ها از طوفان های ما ،ره آورتر بود!” او قبل از توضیح موانع پیش روی در طول فرآیند توسعه اضافه می کند.

ویتنامی یک زبان آهنگی است با شش تن متمایز همانطور که در مثال “ma” در بالا مشهود است، تفاوت های ظریف در صداگذاری می تواند به شدت مع، کلمات را تغییر دهد. بنابراین، الف دقیق و رویکرد دقیق ضروری بود.

Bui Ngoc Tung، سرپرست ASR در SRV می‌گوید: «زم، که کلمات مشابه ش،ته می‌شوند، یک کلمه از چندین بخش کوتاه یا «مجموعه‌های فریم» تشکیل می‌شود. مدل هوش مصنوعی بین فریم‌های صوتی کوتاه حدود 20 میلی‌ث،ه تفاوت قائل می‌شود تا تشخیص دهد چه کلماتی با مجموعه خاصی از فریم‌های متوالی مطابقت دارند. به این ترتیب، انجام تلاش زیادی در مراحل اولیه فرآیند یادگیری هوش مصنوعی بسیار مهم است.

علاوه بر این، همفون ها و همنام ها در ویتنامی رایج هستند. افراد معمولاً می توانند برای تمایز بین کلماتی که ی،ان به نظر می رسند یا ی،ان نوشته می شوند اما مع، متفاوتی دارند، بر زمینه و ،اصر غیرکلامی در مکالمات تکیه کنند. با این حال، مدل‌های هوش مصنوعی باید برای شناسایی دقیق و تمایز بین صداها و کلمات مشابه آموزش داده شوند.

تای توضیح می دهد: «این یک کار ساده نیست. جدا از مقدار، داده ها باید دقیق باشند تا اطمینان حاصل شود که قادر به تشخیص تفاوت های زب، موجود در ویتنامی است.

PR سختگیرانهجداسازی

فرآیند پالایش داده ها شامل سه مرحله است. ابتدا باید صدا و متن مورد استفاده برای آموزش مدل هوش مصنوعی بررسی و تصحیح شود. سپس، این مجموعه داده از طریق بررسی های تصادفی برای کیفیت کلی انجام می شود. در نهایت، مجموعه داده نرمال شده و قبل از استفاده در آموزش تمیز می شود.

نگوین مان دوی، سرپرست TTS در SRV که بر ایجاد پایگاه داده نظارت دارد، می‌گوید: «ما به‌طور کامل یک سری آزمایش برای بررسی صحت مجموعه داده‌های خود انجام دادیم. ما با تعدادی از مشکلات غیرمنتظره از جمله غلط املایی کلمات در اسکریپت ها و نویز پس زمینه یا تلفظ نادرست در طول ضبط صدا مواجه شدیم. ما زمان قابل توجهی را صرف اصلاح و بهبود داده های آموزشی خود کردیم.»

علاوه بر چالش های زب، منحصر به فرد در ویتنامی، یک وجود دارد فقدان داده های قابل دسترسی جه، در مقایسه با زبان های رایج تر. “این دلیل دیگری است که چرا مرحله پالایش داده بسیار مهم است.” او می افزاید. از آنجایی که ما منابع محدودی داشتیم، هر بخش از آن داده ها باید کاملا قابل اعتماد بود هیچ حاشیه ای برای خطا وجود نداشت

علاوه بر این، مدل هوش مصنوعی برای ویتنامی ها باید تفاوت های رنگی و منطقه ای را در نظر بگیرد. برای بهبود دقت مدل هوش مصنوعی، این تیم حجم وسیعی از داده‌ها را با لهجه‌های شمالی، مرکزی و ج،ی ویتنام جمع‌آوری کرد که در نتیجه حجم عظیمی از اطلاعات برای اصلاح و تأیید به دست آمد.

بهبود مستمر

توسعه دهندگان در SRV این پروژه را پس از ماه ها کار سخت به پایان رساندند و ویتنامی یکی از اولین زبان هایی بود که توسط Galaxy AI پشتیب، می شد. علیرغم این موفقیت، تیم بی وقفه برای بهبود تجربه هوش مصنوعی Galaxy ویتنامی تلاش می کند.

Tran Tuan Minh، رهبر پروژه توسعه زبان هوش مصنوعی در SRV می‌گوید: «ما به بهبود مدل هوش مصنوعی با ،یب بازخورد کاربران در مورد ارتباط کلمات و عبارات در Galaxy AI ادامه می‌دهیم. ما به‌تازگی اولین قدم‌های خود را به سوی دنیای بازتر برداشته‌ایم – و چیزهای بیشتری برای کشف ، با هم داریم.»

در ،مت بعدی The Learning Curve، به چین خواهیم رفت تا نحوه آموزش و تنظیم دقیق مدل‌های هوش مصنوعی را بررسی کنیم.

]
منبع: https://news.samsung.com/global/the-learning-curve-part-3-taking-ai-data-from-good-to-great?utm_source=rss&utm_medium=direct