چرا تصاویر می تواند ابزاری مهم برای کار با هوش مصنوعی باشد

اگر می خواهید از دنیایی که به طور فزاینده ای با ابزارهای هوش مصنوعی پر شده است ، بیشترین استفاده را کنید ، در اینجا یک عادت برای توسعه است: شروع به گرفتن عکس. تصاویر زیادی. از هر چیز و همه چیز از آنجا که برای همه صحبت های حالت های صوتی ، دوربین های همه جانبه و آینده چند حالته همه چیز ، ممکن است رفتار دیجیتالی با ارزش تر از فشار دادن دکمه ها و صرفه جویی در آنچه به دنبال آن نیست ، وجود نداشته باشد.

تصاویر جهانی ترین روش ضبط اطلاعات دیجیتال است. شما می توانید هر چیزی را ضبط کنید – خوب ، تقریباً هر چیزی ، با تشکر فراوان ، نتفلیکس! – با چند کلیک ، و آن را صرفاً در هر دستگاه ، برنامه یا شخص ذخیره و به اشتراک بگذارید. جانی بری ، بنیانگذار پارچه برنامه ذخیره سازی دیجیتال می گوید: “این فرمت داده قابل حمل است.” “هیچ چیز دیگری وجود ندارد که کاملاً قابل حمل باشد که بتوانید بین هر نرم افزار حرکت کنید.”

یک تصویر حاوی اطلاعات زیادی مانند منبع ، محتویات و حتی زمان روز در گوشه صفحه است. مهمتر از همه ، این یک سیگنال مهم و پیچیده را ارسال می کند. می گوید من به این موضوع اهمیت می دهم ما ابزارهای بی شماری جدید هوش مصنوعی داریم که هدف آن تماشای جهان ، زندگی ما و همه چیز است و سعی می کنیم همه چیز را برای ما حس کنیم. این ابزارها به دلایل زیادی بیشتر تلخه هستند اما بیشتر به این دلیل که هوش مصنوعی در دانستن اینکه چه چیزهایی وجود دارد ، بسیار خوب است ، اما دانستن اینکه آیا آنها مهم هستند ، زباله است. یک تصویر ارزش را اختصاص می دهد و به سیستم می گوید که باید توجه کند.

تصاویر نیز شما را به روش مهمی کنترل می کند. ماتیاس کویری ، رئیس بازاریابی تلفن های هوشمند در هیچ چیز نمی گوید: “اگر من به همه ایمیل های من ، همه واتساپ های من ، همه چیز ، به شما دسترسی پیدا کنم ، سر و صدای زیادی وجود دارد.” هیچ دلیلی برای ذخیره هر ایمیلی که دریافت می کنید یا هر صفحه وب که بازدید می کنید وجود ندارد – و این به معنای چیزی از پیامدهای حریم خصوصی نیست. “بنابراین چه می شود اگر ، در عوض ، شما توانستید خودتان آموزش سیستم را شروع کنید ، و اطلاعات خود را به سیستم تغذیه می کنید خواستن سیستم برای دانستن در مورد شما؟ ” به جای ابزاری مانند Microsoft Recall ، که درخواست دسترسی نامحدود به همه چیز را می دهد ، با شروع تصاویر به شما امکان می دهد آنچه را که به اشتراک می گذارید انتخاب کنید.

تاکنون ، تصاویر ابزاری نسبتاً صریح بوده اند. شما یک ضربه محکم و ناگهانی می کنید ، و آن را به رول دوربین خود ذخیره می شود ، جایی که احتمالاً تا پایان زمان ، فراموش می شود ، فراموش می شود. (و من را در تمام تصویری که به طور تصادفی می گیرم ، شروع نکنید ، بیشتر از صفحه قفل من.) در بهترین حالت ، ممکن است بتوانید متن را در داخل تصویر جستجو کنید. اما به احتمال زیاد تا زمانی که دوباره آن را پیدا کنید ، باید Scroll را مجبور کنید.

اولین قدم برای مفیدتر ساختن تصاویر ، این است که بفهمید که در واقع در آنها وجود دارد. این ، در ابتدا سرخ ، بسیار پیچیده نیست: فناوری تشخیص شخصیت نوری مدتهاست که کار خوبی را برای کشف متن در یک صفحه انجام داده است. مدل های هوش مصنوعی یک قدم جلوتر را انجام می دهند ، بنابراین می توانید عنوان را جستجو کنید یا فقط “فیلم ها” را پیدا کنید تا تمام عکس های دیجیتالی پوستر ، نتایج Fandango ، توصیه های Tiktok و موارد دیگر را پیدا کنید. Shenaz Zack ، مدیر محصول Google و بخشی از تیم پشت برنامه Pixel Screenshots می گوید: “ما از یک مدل OCR استفاده می کنیم.” “سپس ما از یک مدل تشخیص موجودیت و سپس جمینی برای درک زمینه واقعی صفحه استفاده می کنیم.”

ببینید ، خیلی بیشتر از متن در داخل تصویر وجود دارد. مدل AI راست باید بتواند بگوید که از واتس اپ ، فقط با رنگ سبز خاص آمده است. این باید بتواند یک وب سایت را با آرم عنوان خود شناسایی کند یا هنگام ذخیره نام آهنگ Spotify ، یک بررسی Yelp Handyman یا لیست آمازون ، درک کند. مسلح با این اطلاعات ، یک برنامه تصویر ممکن است شروع به سازماندهی خودکار تمام آن تصاویر برای شما کند. و حتی این فقط آغاز است.

با هر آنچه که من تا کنون توضیح داده ام ، تمام آنچه که واقعاً ایجاد کرده ایم ، برنامه بسیار خوبی برای دیدن تصاویر شما است ، که هیچ کس واقعاً فکر نمی کند ایده خوبی است زیرا فقط یک چیز دیگر برای بررسی است – یا فراموش کردن بررسی. جایی که بسیار جالب تر می شود این است که وقتی دستگاه یا برنامه شما واقعاً می تواند از طرف شما از تصاویر استفاده کند ، به شما کمک می کند تا واقعاً آنچه را که ضبط کرده اید به خاطر بسپارید یا حتی از آن اطلاعات برای انجام کارها استفاده کنید.

به عنوان مثال ، در برنامه جدید فضایی ضروری جدید ، برنامه می تواند یادآوری هایی را بر اساس چیزهایی که ذخیره می کنید ایجاد کند. اگر تصویری از کنسرتی را که می خواهید به آن بروید ، می گیرید ، می تواند به شما یادآوری کند که به طور خودکار در حال ظهور است. تصاویر پیکسل ایده را حتی بیشتر تحت فشار قرار می دهد: اگر لیست کنسرت را ذخیره می کنید ، تلفن پیکسل شما می تواند شما را وادار کند که دفعه بعد که Spotify را باز می کنید به آن گروه گوش دهید. اگر یک کارت شناسایی یا گذرگاه شبانه روزی را تصویر می کنید ، ممکن است از شما بخواهد که آن را در برنامه کیف پول قرار دهید. زک می گوید ، این ایده این است که از تصاویر به عنوان یک سیستم ورودی برای هر چیز دیگری فکر کنید.

مایک چوی ، یک توسعه دهنده ایندی ، برنامه ای به نام CAMP ساخت تا به او کمک کند تا از تصاویر خود استفاده کند. او با اطلاعات برجسته ای که در کنار تصویر ذخیره شده بود ، روی تبدیل هر تصویر به “کارت” کار کرد. او می گوید: “شما یک تصویر عکس دارید و در پایین یک دکمه وجود دارد و کارت آن را می چرخاند.” “این یک نقشه را به شما نشان می دهد ، اگر یک مکان باشد ؛ پیش نمایش یک آهنگ ، اگر یک آهنگ باشد. این ایده ، با توجه به استخر نامحدود از انواع مختلف تصاویر ، آیا می تواند یک UI مناسب برای آن دسته از مگس ها ایجاد کند؟”

اگر همه اینها آشنا به نظر می رسد ، به این دلیل است که اصطلاح دیگری برای آنچه در اینجا اتفاق می افتد وجود دارد: آن را عامل AI نامیده می شود. به نظر می رسد هر شرکتی در فناوری در حال کار بر روی راه هایی برای استفاده از هوش مصنوعی برای انجام کارها از طرف شما است. این فقط همین است که ، در این حالت ، شما مجبور نیستید با یک دستیار ، حرفهای طولانی بنویسید یا به عقب و جلو گپ بزنید. شما فقط یک تصویر عکس می گیرید و اجازه می دهید سیستم به کار خود ادامه دهد. کویری می گوید: “شما در حال ایجاد یک پایگاه دانش هستید ، وقتی امروزه این دانش دانش در گالری شما محدود شده است و هیچ اتفاقی با آن نمی افتد.” او از رسیدن به جایی که شما یک تاریخ کنسرت را به تصویر می کشید ، هیجان زده است و فضای ضروری به طور خودکار شما را از خرید بلیط هنگام فروش سوق می دهد.

حس کردن تصاویر همیشه خیلی ساده نیست. بعضی از آنها می خواهید برای همیشه نگه دارید ، مانند کارت شناسایی که ممکن است اغلب به آنها احتیاج داشته باشید. چیزهای دیگر ، مانند پوستر کنسرت یا گذرگاه پارکینگ ، زندگی بسیار محدودی دارند. برای این موضوع ، چگونه یک برنامه قرار است بین گذرگاه پارکینگ که هر روز در محل کار استفاده می کنید و برنامه ای که یک بار در فرودگاه از آن استفاده کرده اید ، تمایز قائل شود و دیگر دیگر نیازی به آن نداشته باشد؟ برخی از تصاویر موجود در تلفن من در WhatsApp برای من ارسال شد. دیگران که من از اینستاگرام یاد می کنم تا به دوستان خود بفرستم. هیچ یک از رول دوربین هیچ کس نباید به طور کامل در برابر آنها نگه داشته شود ، و همین مورد در مورد تصاویر نیز انجام می شود. بسیاری از این برنامه های تصاویر به دنبال راه هایی هستند تا بتوانید یک یادداشت اضافه کنید یا خودتان چیزها را سازماندهی کنید تا اطلاعات مفید دیگری را به سیستم ارائه دهید. اما انجام این کار بدون خراب کردن آنچه باعث می شود تصاویر در وهله اول یکپارچه و آسان باشد ، کار سختی است.

یکی از راه های شروع برای حل این مشکل ، ایجاد تصاویر به طور خودکار بیشتر ، جمع آوری زمینه اضافی از دستگاه شما است. این جایی است که شرکت هایی مانند Google و هیچ چیز مزیتی ندارند: از آنجا که آنها دستگاه را می سازند ، می توانند همه اتفاقات را که هنگام گرفتن تصویر می روید ، ببینند. اگر از مرورگر وب خود عکس بگیرید ، آنها همچنین می توانند پیوندی را که به دنبال آن بودید ذخیره کنید. آنها همچنین می توانند مکان فیزیکی شما را ببینند یا زمان و هوا را یادداشت کنند. بعضی اوقات این همه مفید است ، اما گاهی اوقات مزخرف است. هرچه داده های بیشتری جمع آوری کنند ، این برنامه ها بیشتر به همان مشکل نویز که تصاویر در وهله اول به حل آنها کمک می کنند ، بیشتر می شوند.

اما سیستم ورودی کار می کند. همه ما تمام وقت تصاویر را می گیریم و عادت کرده ایم که آنها را به عنوان راهی برای قرار دادن یک نشانگر در انواع مختلف اطلاعات مفید در نظر بگیریم. دسترسی به آن نوع داده های شخصی و شخصی سخت ترین چیز در مورد ساختن یک دستیار عالی هوش مصنوعی است. آینده محاسبات مطمئناً چند حالته از جمله دوربین ها ، میکروفن ها و سنسورها از انواع مختلف است. اما اولین بهترین راه برای استفاده از هوش مصنوعی ممکن است یک تصویر در یک زمان باشد.