Ketika AI Membutuhkan Asisten Manusia Sebagai Moderator. Apa yang Akan Terjadi?

by Muhammad IM
1.209 Views
Minggu, 16 Juni 2019

LADUNI.ID, Selama bertahun-tahun, Mechanical Turk (mTurk) Amazon telah menjadi semacam rahasia terbuka di dunia teknologi, tempat di mana algoritma pemula dapat menyewa tenaga manusia dengan harga murah. Jika Anda membutuhkan seratus orang untuk melacak batas-batas suatu objek atau mengisi survei, mTurk adalah satu-satunya tempat terbaik untuk mewujudkannya.

Tetapi sementara proyek itu terkenal, sedikit memalukan ketika sebuah perusahaan muncul di sana. Pada 2017, Expensify terlihat meminta pekerja mTurk untuk memasukkan data dari tanda terima, yang membuat perusahaan mengeluarkan pernyataan yang menyatakan bahwa proyek mTurk tidak ada hubungannya dengan aplikasi utama Expensify. Sebagian dari itu adalah masalah privasi, tetapi sebagian besar memalukan: Expensify dibangun di atas teknologi sederhana - kemampuan untuk mengekstrak data dari foto kwitansi - dan tugas mTurk membuatnya tampak seperti teknologi itu palsu. . Bagaimana jika manusia mengekstraksi data itu?

Beralih melalui daftar Mechanical Turk saat ini menunjukkan bahwa taktik itu masih bertahan dan baik. Nama terbesar dalam daftar saat ini adalah Pinterest, yang saat ini menawarkan kepada Turkers 40 sen pop untuk memutuskan apakah suatu posting berisi informasi yang salah tentang kesehatan. Pinterest telah berjuang dengan pseudosain di platformnya, dengan pos-pos anti-vaksinasi menjadi cukup masalah sehingga semua konten terkait vaksin telah dilarang di platform sejak Desember. Tetapi walaupun mudah untuk mengetahui apakah sebuah posting berisi kata "vaksin," jauh lebih sulit untuk mengatakan apakah itu membuat klaim kesehatan yang tidak realistis atau mendorong perawatan non-medis untuk penyakit serius.

Pedoman yang dilampirkan pada tugas menginstruksikan moderator untuk menjatuhkan klaim berlebihan seperti "Bunuh infeksi sinus dalam 20 detik," sambil meninggalkan klaim seperti "2 minggu perut rata" karena, seperti yang dijelaskan dalam pedoman, "tantangan olahraga bukan perbaikan mudah atau cepat. "

Sulit untuk mengatakan bagaimana Turk Mekanik cocok dengan keseluruhan sistem moderasi Pinterest. Perusahaan tidak menanggapi pertanyaan, tetapi kemungkinan data apa pun yang diambil dari Mechanical Turk dipenuhi dengan data yang lebih andal dari kontraktor yang melaporkan pengguna dan terlatih, bersama dengan algoritma terlatih untuk menghasilkan label.

Tentu saja, masing-masing sistem tersebut memiliki kelemahan (tidak terkecuali kondisi tenaga kerja yang mengerikan), dan kadang-kadang, yang Anda perlukan untuk melatih suatu algoritma hanyalah sejumlah besar data. Dalam kasus tersebut, mTurk seringkali merupakan tempat terbaik untuk mendapatkannya. Tapi itu selalu mengecewakan untuk melihat di bawah kap sistem yang sedemikian kompleks, berharap untuk melihat algoritma yang sempurna, hanya untuk menemukan sekelompok manusia dengan bayaran rendah melakukan pekerjaan kotor.