پردازش زبان طبیعی یک روند چند مرحله‌ای هست که این مراحل رو به ترتیب بهتون میگم: 〽️مثلا یه انسان با یک دستگاه دیجیتالی صحبت می‌کنه. یه دستگاه صوتی، صدای انسان رو ضبط می‌کنه. دستگاه دیجیتالی، صدای انسان رو به متن تبدیل می‌کنه. متن‌ها پردازش می‌شن و پاسخ متنی مناسب پیدا میشه. پاسخ متنی به شکل صوت در میاد.و در آخر دستگاه فایل صوتی پاسخ رو پخش ‌می‌کنه😍😍 ‌ دستیار صوتی سیری در آیفون ها😁 ‌

‌ این علم کاربردهای خیلی زیادی داره که تعداد اونها درحال افزایشه، برای مثال چندتا از کاربردهای #پردازش_زبان_طبیعی توی زندگی خودمون رو بخوام بهتون بگم: ترجمه‌ی ماشینی و ویرایشگرهای متن تحلیل عواطف و سیستم‌های توصیه‌گر دسته‌بندی متون و یادگیری ماشین دستیارهای صوتی و گفتگوهای تعاملی و... هستن که برای مثال یکیشون رو براتون توضیح میدم❤️👇 ‌

‌ ترجمه‌ی ماشینی و ویرایشگرهای متن😎 وقتی که عبارتی رو توی ترجمه‌گری مثل گوگل ترنسلیت تایپ می‌کنیم یا با ویرایشگرهای متنی (مثل ورد و پاورپوینت) کار می‌کنیم در حقیقت بخشی از فرایند تصحیح و پیشنهاد عبارات توسط NLP انجام می‌شه😁 تازه کامپیوتر های امروزی میتونن خلاصه‌ای از یک متن طولانی رو در اختیار ما قرار بدن😉 ‌

دوتا تکنیک کلی توی #پردازش_زبان_طبیعی وجود داره که به اونها تکالیف و ارزیابی‌های عمده پردازش زبان طبیعی هم می‌گن. بعضی از این ارزیابی‌ها کاربردهای مستقیم توی کار پردازش زبان طبیعی دارن و بعضی از اون‌ها به عنوان زیرتکلیف توی کمک به حل مسائل بزرگ‌تر کمک می‌کنن. تکنیک‌های عمده توی پردازش زبان طبیعی به دو گروه آنالیز معنایی و آنالیز نحوی تقسیم می‌شن . 👇❌مهم❌👇 ‌

♨️آنالیز نحوی آنالیز نحوی یا (Syntactic analysis) به موضوع نحو زبان (Syntax) مربوطه. نحو دانش مطالعه قواعد مربوط به چینش واژگان در جمله هست. این شاخه خیلی مهم از دستور زبان، ترتیب واژگان رو توی جمله به شکلی که برای ما معنادار باشه، بررسی می‌کنه. توی زبان‌شناسی، کلمات روی دو محور جانشینی و هم‌نشینی در جملات قرار می‌گیرن. نحو با محور هم‌نشینی در ارتباطه. و همچنین توی آنالیز نحوی از قوانین نحو توی زبان‌شناسی برای درک الگوهای نحوی جملات استفاده می‌شه. کامپیوتر برای درک نحو زبان انسانی، تکنیک‌ها و الگوریتم‌هایی رو مورد استفاده قرار می‌ده که بر اساس دانش بشری از نحو زبان طراحی شدن. بعضی از این تکنیک‌ها رو تیتر وار بهتون میگم:👇 ‌

کاهش یا لم‌سازی (Lemmatization) تقسیم‌بندی واژگان (Word Segmentation) تقسیم‌بندی مورفولوژیکی (Morphological segmentation) تشخیص نقش کلمات (Part of Speech Tagging) و... برای درک هر کدوم اسمشون رو توی گوگل سرچ کنین اینجا بگم از حوصله جمع خارجه ‌

‌ ♨️آنالیز معنایی آنالیز معنایی یا تجزیه و تحلیل معنایی به موضوع معناشناسی (Semantics) زبان مربوطه. معناشناسی دانشی هست برای بررسی و مطالعه معانی کلمات و جملات توی زبان‌های انسانی. این علم به ارتباط بین واژه و معنای اون و همچنین به تغییر معنای کلمات توی کاربردهای مختلف می‌پردازه به شدتتتت سخت ولی خفنه😂🤦‍♂ ‌

توی تکنیک آنالیز معنایی هدف ایجاد الگوریتم‌هایی برای کامپیوتره که به اونها توی درک کلمات، علامت‌ها و جملات زبان ما کمک می‌کنه. آنالیز معنایی یکی از سخت‌ترین بخش‌ها در کار و دانش پردازش زبان طبیعیه و پوست از سر اون کد نویس #پایتون می‌کنه و هنوز هم مسایل حل‌نشده خیلی زیادی داره. 😂😂🤦‍♂ درک معنی درست جملات یک متن به کمک تکنیک‌های آنالیز معنایی انجام میشه که چندتا از اونها رو بهتون میگم:👇 ‌

‌ شناسایی اسامی (Named Entity Recognition) ابهام‌زدایی از معنای کلمات (Word Sense Disambiguation) تولید زبان طبیعی (Natural Language Generation) و... ‌

خب آقا می‌دونم خیلی هاتون الان گیج شدین من خودمم وقتی به عمق ماجرا فکر میکنم دیوونه میشم آخه چجووووری باید بریم به نیم کیلو سیم و آهن و یکسری کد انگلیسی بفهمونیم که الان این کار رو نکن. بفهم دیگه لامصب بفهم😂🤦‍♂ همینکه چطوری زبون خودمون رو به کامپیوتر بفهمونیم و بهش یادبدیم که بفهمه بهش قدرت درک و فهم و شعور بدیم دنیای #پردازش_زبان_طبیعی رو خلق میکنه😁 ‌

‌ خلاصه که... درسته سخته ولی کد نویس های پایتونی این حوزه جزو ثروتمند ترین افراد هستن و روز به روز دارن پولدار تر میشن. همین chat GPT که دنیا رو بهم ریخته و همه می‌شناسیمش در هر دقیقه چندین میلیون دلار درآمد زایی برای شرکت open Ai داره😍💵 ‌

‌ اینم از مبحث سنگین و عجیب #پردازش_زبان_طبیعی که سعی کردم بهتون به ساده ترین روش بگم🥰❤️ از اینجا شروع به خوندن کنین👇 https://eitaa.com/codena/1789 ‌