Mirai: Revolusi Inferensi Model AI di Perangkat oleh Pendiri Reface dan Prisma

Visi di Balik Mirai: Mengapa AI di Perangkat Menjadi Kunci Berikutnya

      Di tengah gelombang percakapan seputar kecerdasan buatan yang didominasi oleh pembangunan kapasitas cloud masif dan pusat data besar untuk menjalankan model AI, sebuah inovasi penting mulai muncul: optimasi AI untuk beroperasi langsung di perangkat. Sementara raksasa teknologi seperti Apple dan Qualcomm berada pada tahap awal upaya ini, sebuah tim teknis beranggotakan 14 orang dari London, Mirai, sedang giat bekerja untuk merevolusi cara model AI berjalan pada ponsel dan laptop. Startup ini menyoroti bahwa masa depan AI, terutama untuk aplikasi konsumen, tidak hanya terletak pada kekuatan komputasi di cloud, tetapi juga pada efisiensi dan kecerdasan yang disematkan langsung di perangkat yang kita gunakan setiap hari.

      Didirikan tahun lalu oleh Dima Shvets dan Alexey Moiseenkov, Mirai telah mendapatkan dukungan pendanaan awal sebesar $10 juta yang dipimpin oleh Uncork Capital. Kedua pendiri ini bukan nama baru di dunia aplikasi konsumen yang scalable. Shvets adalah salah satu pendiri aplikasi penukar wajah yang viral, Reface, yang didukung oleh firma modal ventura a16z, dan ia sendiri kemudian menjadi scout untuk firma tersebut. Sementara itu, Moiseenkov adalah CEO dan salah satu pendiri Prisma, aplikasi filter AI yang juga viral pada dekade lalu. Pengalaman mereka yang luas dalam mengembangkan aplikasi konsumen yang sangat bergantung pada AI dan machine learning (ML) telah menumbuhkan pemikiran tentang pentingnya AI di perangkat, jauh sebelum Generative AI menjadi tren global, demikian ungkap Shvets kepada TechCrunch.

Tantangan AI Berbasis Cloud dan Keunggulan Edge AI

      Saat ini, sebagian besar model AI canggih memerlukan daya komputasi yang sangat besar yang hanya dapat disediakan oleh pusat data berbasis cloud. Namun, pendekatan ini menimbulkan beberapa tantangan signifikan, terutama untuk aplikasi konsumen dan skenario di mana latensi dan privasi sangat krusial. Biaya inferensi cloud dapat menjadi sangat tinggi, terutama ketika skala penggunaan token atau kueri meningkat. Ini membebani margin keuntungan pengembang aplikasi dan perusahaan yang ingin memanfaatkan AI. Selain itu, pengiriman data bolak-balik antara perangkat dan cloud memperkenalkan latensi, yang mengurangi pengalaman pengguna dalam aplikasi yang membutuhkan respons real-time, seperti asisten virtual atau penerjemah suara.

      Lebih jauh lagi, masalah privasi dan kedaulatan data menjadi perhatian utama. Mengirimkan data sensitif pengguna ke server pihak ketiga di cloud selalu membawa risiko keamanan dan kepatuhan regulasi. Dengan memproses AI langsung di perangkat (dikenal sebagai edge AI), data dapat tetap lokal, mengurangi risiko pelanggaran data dan memastikan kepatuhan terhadap peraturan privasi seperti GDPR atau PDPA. Pendekatan ini memungkinkan pengguna untuk memiliki kontrol lebih besar atas data mereka, sekaligus memberikan pengalaman yang lebih cepat dan aman. ARSA Technology, sebagai penyedia solusi AI & IoT terkemuka, memahami pentingnya kontrol data ini. Produk seperti Face Recognition & Liveness SDK kami dirancang untuk deployment on-premise, memberikan kontrol penuh kepada perusahaan atas data biometrik mereka tanpa harus mengirimkannya ke cloud eksternal.

Inovasi Teknis Mirai untuk Efisiensi Inferensi di Perangkat

      Mirai berupaya mengembangkan kerangka kerja (framework) dan mesin inferensi yang memungkinkan model AI untuk beroperasi dengan performa optimal langsung di perangkat. Tim Mirai telah membangun sebuah mesin inferensi khusus untuk perangkat keras Apple Silicon, yang dirancang untuk mengoptimalkan throughput AI di perangkat. Ini berarti model dapat berjalan lebih cepat dan efisien tanpa membebani sumber daya perangkat secara berlebihan. Dengan SDK (Software Development Kit) yang akan datang, pengembang dapat dengan mudah mengintegrasikan runtime ini ke dalam aplikasi mereka hanya dengan beberapa baris kode.

      Menurut Shvets, salah satu visi utama pendirian Mirai adalah untuk memberikan pengalaman integrasi yang sangat mudah bagi para pengembang, mirip dengan "delapan baris kode" yang ditawarkan Stripe untuk integrasi pembayaran. Hal ini akan memungkinkan pengembang untuk mengakses platform Mirai, mengintegrasikan kunci API, dan segera mulai bekerja dengan fungsi seperti ringkasan teks, klasifikasi, atau kasus penggunaan lainnya yang relevan. Startup ini mengklaim bahwa mesin yang dibangun dengan Rust ini dapat meningkatkan kecepatan generasi model hingga 37%. Yang menarik, Mirai tidak mengubah bobot model (model weights) saat melakukan optimasi untuk suatu platform, sehingga kualitas output tetap terjaga tanpa kompromi. Saat ini, fokus Mirai adalah meningkatkan modalitas teks dan suara, dengan rencana untuk mendukung visi (penglihatan komputer) di masa depan. Pendekatan ini selaras dengan solusi ARSA AI Box Series yang juga mengoptimalkan analisis video dan inferensi AI di tepi jaringan, mengubah CCTV pasif menjadi sistem intelijen aktif secara real-time.

Dampak Bisnis dan Adopsi Edge AI yang Lebih Luas

      Transisi menuju inferensi AI di perangkat menjanjikan dampak bisnis yang transformatif. Bagi pengembang aplikasi konsumen, ini berarti pengurangan biaya operasional yang signifikan karena mengurangi ketergantungan pada infrastruktur cloud yang mahal. Margin keuntungan per token yang lebih baik memungkinkan mereka untuk berinovasi lebih bebas dan menawarkan fitur AI yang lebih kaya kepada pengguna. Bagi perusahaan, ini membuka pintu bagi solusi AI yang lebih cepat, lebih aman, dan lebih andal yang dapat disematkan dalam berbagai produk dan layanan.

      Andy McLoughlin, managing partner di Uncork Capital, yang juga berinvestasi dalam perusahaan machine learning di edge satu dekade lalu, mencatat bahwa situasinya kini jauh berbeda. Ia melihat bahwa biaya inferensi cloud saat ini tidak berkelanjutan dalam jangka panjang. "Mengingat biaya inferensi cloud, sesuatu harus berubah... Untuk saat ini, VC senang untuk terus mendanai perusahaan-perusahaan roket ini, menghabiskan jumlah yang luar biasa untuk inferensi cloud. Tetapi itu tidak akan bertahan — pada titik tertentu, orang akan fokus pada ekonomi dasar bisnis ini dan menyadari bahwa sesuatu harus berubah," katanya. McLoughlin percaya bahwa setiap pembuat model akan ingin menjalankan sebagian beban kerja inferensi mereka di edge, dan Mirai memiliki posisi yang sangat baik untuk menangkap permintaan ini.

Masa Depan AI di Perangkat dan Pendekatan Hibrida

      Mirai telah mulai bekerja sama dengan penyedia model terkemuka untuk mengoptimalkan model mereka untuk penggunaan di edge dan sedang dalam pembicaraan dengan berbagai produsen chip. Di masa depan, Mirai berencana untuk memperluas dukungannya ke perangkat Android, tidak hanya terbatas pada ekosistem Apple. Selain itu, startup ini bertujuan untuk merilis benchmark on-device agar para pembuat model dapat menguji performa model mereka secara langsung di perangkat. Ini akan menjadi standar baru yang penting untuk mengukur efisiensi dan kecepatan model AI di lingkungan edge.

      Shvets mengakui bahwa tidak semua beban kerja AI dapat sepenuhnya ditangani di perangkat. Untuk memungkinkan mode operasi campuran (mixed mode), timnya sedang membangun lapisan orkestrasi yang akan mengirimkan permintaan yang tidak dapat dipenuhi di perangkat ke cloud. Pendekatan hibrida ini memastikan bahwa aplikasi tetap fungsional dan responsif, memanfaatkan kekuatan komputasi lokal untuk tugas-tugas ringan dan sensitif privasi, sambil tetap dapat mengakses kemampuan cloud untuk tugas-tugas yang lebih kompleks atau membutuhkan data yang lebih besar. Meskipun belum secara langsung bekerja dengan aplikasi, mesin Mirai memiliki potensi untuk menggerakkan asisten di perangkat, transcriber, penerjemah, dan aplikasi obrolan, menjanjikan era baru aplikasi yang lebih cerdas dan personal.

      ARSA Technology, dengan pengalaman sejak 2018 dalam menyediakan solusi AI dan IoT untuk berbagai industri, memahami pergeseran strategis ini. Kami terus mengembangkan solusi yang menawarkan fleksibilitas deployment, baik di cloud, on-premise, maupun di edge, memastikan bahwa klien kami dapat memilih arsitektur yang paling sesuai dengan kebutuhan operasional dan kepatuhan mereka.

      Transformasi AI di perangkat membuka peluang tak terbatas bagi inovator dan perusahaan untuk menciptakan produk yang lebih efisien, aman, dan berpusat pada pengguna. Dengan visi dan teknologi Mirai, didukung oleh pengalaman para pendirinya, masa depan komputasi AI yang cerdas dan terdesentralisasi semakin dekat.

      (Sumber: TechCrunch)

      Jika Anda ingin menjelajahi bagaimana solusi AI di perangkat atau komputasi edge dapat mengubah operasi bisnis Anda, tim ARSA siap membantu. Jadwalkan konsultasi gratis untuk mendiskusikan kebutuhan spesifik Anda.