Screen Operator

**Aplikasi ini menggunakan API AccessibilityService**

Kawalan skrin pintar ini merupakan revolusi untuk kebolehcapaian.

Bagi kebanyakan daripada kita, telefon pintar merupakan pintu masuk ke dunia – untuk maklumat, komunikasi, kerja dan penyertaan. Tetapi bagi berjuta-juta orang yang mengalami masalah fizikal, visual atau kognitif, penggunaan peranti yang seolah-olah intuitif ini boleh menjadi halangan harian. Gerak isyarat yang kompleks, butang kecil, antara muka yang bersepah dan kelajuan aplikasi moden mewujudkan jurang digital yang bermaksud pengasingan dan bukannya rangkuman.

Di sinilah kecerdasan buatan (AI) bertindak bukan sahaja sebagai pembantu, tetapi sebagai pemboleh sebenar.

Bayangkan:

Bagi seseorang yang mempunyai kemahiran motor yang sangat terhad: Ketukan tepat pada butang kecil atau gerak isyarat leret yang kompleks selalunya mustahil atau sangat meletihkan. AI boleh mengambil alih tindakan ini. Ia menganalisis skrin, mengenali sasaran (cth., butang "hantar"), dan melaksanakan tindakan dengan tepat sebagai tindak balas kepada arahan mudah (suara, pergerakan kepala, satu ketukan kekunci). Ia mengubah tugas yang mengecewakan menjadi proses yang lancar dan membolehkan penggunaan aplikasi yang sebaliknya tidak boleh diakses. Bagi seseorang yang mengalami masalah penglihatan: Walaupun pembaca skrin boleh membaca teks dengan kuat, mereka sering menghadapi masalah dengan grafik tanpa label atau susun atur yang kompleks. AI boleh memahami konteks visual. Ia boleh mengenal pasti elemen ("butang di sebelah kanan logo") dan mengaktifkannya mengikut arahan. Ia juga boleh mengautomasikan sepenuhnya tugas rutin yang memerlukan pengimbasan visual (cth., mendapatkan maklumat khusus daripada aplikasi setiap hari) dan membentangkan hasilnya dengan cara yang mudah diakses.

Bagi seseorang yang mengalami masalah kognitif: Proses berbilang langkah atau menavigasi menu yang tidak dikenali boleh menjadi sangat membebankan. AI boleh bertindak sebagai pembantu pintar. Ia memahami matlamat pengguna ("Saya mahu membayar bil saya") dan melaksanakan langkah-langkah yang diperlukan—membuka aplikasi yang betul, menavigasi ke bahagian pembayaran, mengisi data yang diketahui—secara bebas atau dengan interaksi yang minimum. Ia mengurangkan kerumitan, meminimumkan potensi ralat dan menggalakkan kebebasan dalam tugas digital harian.

Ini jauh lebih daripada sekadar automasi mudah. ​​Ia bukan tentang mengira klik. Matlamatnya adalah untuk AI memahami konteks, mentafsir niat pengguna dan bertindak secara sengaja untuk mengatasi halangan. Ia mempelajari, menyesuaikan diri dan membolehkan interaksi yang disesuaikan dengan kebolehan dan keperluan individu.

Tindakan skrin berkuasa AI ini bukanlah ciri "yang sesuai untuk dimiliki" atau kemudahan. Ia selalunya satu-satunya cara untuk orang kurang upaya tertentu menggunakan alat digital secara berkesan dan bebas. Ia bermaksud akses kepada pendidikan, pekerjaan, hubungan sosial dan perkhidmatan penting. Ia adalah kunci kepada rangkuman digital dan peluang yang sama rata.

Oleh itu, pembangunan dan penggunaan AI yang bertanggungjawab yang melakukan tindakan secara langsung pada skrin adalah langkah penting ke arah dunia digital yang benar-benar boleh diakses yang tidak meninggalkan sesiapa pun. Ia adalah tangan ghaib yang membuka pintu di mana pernah ada dinding.

**Aplikasi ini menggunakan API AccessibilityService**

Biarkan mana-mana aplikasi dikendalikan oleh Operator Skrin. Untuk ini, model visi menerima model pertuturan dan mesej sistem yang mengandungi arahan untuk menggunakan telefon pintar. Model bahasa bertindak balas dengan arahan yang sepadan, yang kemudiannya dilaksanakan oleh aplikasi ini. Aplikasi ini juga boleh bersambung ke Termux dan melaksanakan arahan di sana.

Selepas setiap kemas kini, klik "Pulihkan Mesej Sistem" untuk mengakses alat baharu.

**Aplikasi ini boleh dibangunkan menggunakan AI. Ketahui lebih lanjut di: https://github.com/Android-PowerUser/ScreenOperator**

Dapatkan kemas kini yang lebih pantas melalui GitHub: https://github.com/Android-PowerUser/ScreenOperator