شرکت OpenAI با انتشار بروزرسانی مهمی مرز‌های تعامل با هوش مصنوعی را گسترش داد. این گام نوین دو قابلیت بنیادین شناسایی صدا و درک بصری را به چت‌بات محبوب ChatGPT اضافه می‌کند تا تجربه کاربری را به سطحی کاملا طبیعی و نزدیک به انسان برسانند.

از جذاب‌ترین ویژگی‌های جدید توانایی ChatGPT در پردازش تصاویر است. اکنون کاربران می‌توانند یک معادله یا مسئله ریاضی نوشته‌دستی را از طریق دوربین گوشی یا آپلود عکس به ربات ارائه دهند. هوش مصنوعی نه تنها جواب نهایی را می‌دهد بلکه مراحل حل را به صورت گام‌به‌گام و آموزشی تشریح می‌کند؛ ابزاری قدرتمند برای دانشجویان و معلمان.

در بخش نمایشی رونمایی مهندسین OpenAI از ChatGPT خواستند داستانی درباره ربات‌ها بسازند و روایت کنند. نکته شگفت‌انگیز لحظه‌ای بود که می‌را موراتی مدیر ارشد فناوری شرکت از مدل درخواست کرد تا همان داستان را با صدای یک ربات مکانیکی بازگو کند. بی‌درنگ چت‌بات لحن، سرعت و اکانت صحبت خود را تغییر داد و به خوبی نقش را ایفای کرد. این نمایش قدرت مدل در تولید صدا با کنترل دقیق روی سبک و احساسات را به اثبات رساند.

این پیشرفت‌ها نشان‌دهنده حرکت سریع به سمت رابط‌های کاربری چندمتعدد است که در آن متن، صدا و تصویر به طور همزمان پردازش می‌شوند. حذف موانع تایپ و امکان گفتگوی صوتی طبیعی دسترس‌پذیری را برای طیف وسیع‌تری از کاربران از جمله افراد دارای ناتوانی بدنی افزایش می‌دهد.