Yandex приложение за почистване. Яндекс Толока. Честен преглед на услугата. Какво е Yandex Toloka

  • Машинно обучение
  • През последната година и половина Yandex използва платформата Toloka за подобряване на алгоритмите за търсене и технологиите за машинен интелект. Може да изглежда изненадващо, но всички съвременни технологии за машинно обучение изискват човешка оценка в една или друга степен.

    Хората оценяват уместността на референтните документи към заявките за търсене, така че формулите за класиране при търсене да се ръководят от тях; хората транскрибират аудио записи в текст, така че алгоритъмът за гласово разпознаване да може да бъде конфигуриран върху тези данни; хората категоризират изображения, така че след като се е обучила на тези примери, невронната мрежа може да го направи без хора и по-добре от хората.

    Всичко това може да се направи в Toloka, която е краудсорсинг платформа, която ви помага да намерите тези, които ще решат проблема ви. Днес той преминава в бета статус и вече е отворен за всички външни клиенти. Така че е време да ви разкажем подробно за самата платформа и какви неочаквани трудности срещнахме, докато работихме по нея, ще споделим нашите наблюдения и ще обясним как Toloka може да ви помогне.

    Задачите, за които говорихме по-горе, традиционно се решават в Yandex с помощта на обучени специалисти - оценители. Оценителите преглеждат доколко резултатите от търсенето съответстват на заявката, намират спам сред намерените уеб страници, класифицират го и решават подобни проблеми в други услуги.

    Иронията е, че колкото повече нови технологии пускаме, толкова повече нараства нуждата от човешка преценка. Не е достатъчно просто да определите уместността на дадена страница спрямо заявка за търсене. Важно е да разберете дали страницата е пълна със злонамерена реклама? Страницата съдържа ли съдържание за възрастни? И ако е така, искането на потребителя означава ли, че е търсил точно такова съдържание? За да вземете предвид автоматично всички тези фактори, трябва да съберете достатъчен брой примери, за да обучите търсачката. И тъй като всичко в Интернет непрекъснато се променя, тренировъчните набори трябва постоянно да се актуализират и поддържат актуални. Като цяло, само за задачите за търсене нуждата от човешки оценки се измерва в милиони на месец и този брой нараства само всяка година.

    Привличането на все повече и повече оценители във всяка от страните, в които Yandex работи, не е лесно организационно. Не всички нови задачи обаче изискват специално обучение. Почти всеки може да се справи с много задачи и често е още по-полезно да се съберат мненията на обикновени потребители, които не са обучени професионално да оценяват класациите. Това разделение на задачите ни доведе до заключението, че в допълнение към оценителите се нуждаем от друг по-гъвкав и мащабируем източник за получаване на човешки оценки.

    Краудсорсинг

    В допълнение към сложните задачи, изпълнявани от оценителите, трябваше да се научим как да събираме милиони прости оценки във всяка страна, представляваща интерес. Повечето от задачите, за които говорим, са доста прости и малки: изпълнението им не отнема повече от 30 секунди. Но броят на тези задачи е много голям. Обикновените борси на свободна практика, където можете да се свържете директно с няколко изпълнители и да им обясните лично същността на задачата, не бяха подходящи за нас. За индустриален мащаб трябваше да привлечем хиляди изпълнители, да платим за работата им без документи и да контролираме резултата.

    Най-близките аналози на това, от което всъщност се нуждаехме, бяха краудсорсинг платформите Amazon Mechanical Turk, Clickworker и CrowdFlower. Именно с тяхна помощ, като правило, академични изследователи в областта на машинното обучение и големи компании за търсене, например Bing, събират прости човешки оценки.

    Но всички тези платформи не работеха в страните, които ни интересуваха. Освен това вече имаме натрупан опит, за да решим проблема сами.

    Почисти

    Няма нищо сложно в основната логика на функциониране на всяка краудсорсинг платформа и по-специално Toloka. От една страна, ние работим с изпълнители, разпределяме задачи, извършваме плащания, а от друга страна помагаме на клиентите да постигнат резултати с минимални разходи за труд.

    Между другото, каква дума е "толока"? Доста дълго мислихме за името, търсихме международни варианти, но накрая се оказа точно обратното. Идеята да наречем услугата „Толока“ се роди в нашия офис в Минск, където, между другото, е концентрирано ядрото на развитието на платформата. Тази дума (на белоруски „талака“) е разпространена в Беларус около 30 пъти повече, отколкото в Русия, и означава съвместна полезна работа за общ резултат и това върви добре с краудсорсинга. Въпреки че изборът на име далеч не е най-трудният проблем, с който се сблъскахме при разработването на услугата.

    Какви могат да бъдат задачите? Потенциално те могат да бъдат всякакви по отношение на изходни данни, интерфейс и очаквани отговори. Един трябва да качи снимки и да ги помоли да ги класифицират, друг трябва да покаже аудио плейър и да ги помоли да напишат какво се чува в записа, на трети трябва да се покаже карта с местоположението на потребителя.

    Няколко примера


    Затова беше избран пътят на максимална гъвкавост: използвайки json за входни и изходни параметри и html/css/js за интерфейс, клиентът може да създаде почти всяка задача. А за тези задачи, които изискват работа „на терен“ (например отиване на адрес и проверка на уместността на информацията за организация), сме подготвили мобилна версия на Toloka за Android.

    Гъвкавостта в настройките има и недостатък - висока бариера за влизане. Не всеки човек знае как да проектира интерфейс. Решаваме този проблем с помощта на готови шаблони, чийто общ брой планираме да увеличим.

    Как да плащам толокери? Успешното теглене на трудно спечелени пари е един от основните мотиватори за човек да се върне и да продължи да изпълнява задачи. Сложна и продължителна процедура за теглене може да погребе платформата. Затова изградихме система, в която е достатъчно да добавите портфейла си в PayPal или Yandex.Money. На етапа на процесите за отстраняване на грешки от страна на Толока тегленето на пари може да отнеме до 30 дни, сега отнема няколко дни или дори минути. В същото време както доставчиците на услуги, така и клиентите са освободени от бумащина.

    Как да гарантираме качеството на изпълнение? Този въпрос е основното главоболие на всяка краудсорсинг платформа. В Толока, както във всяко общество, има хора, които са усърдни и внимателни, и има хора, които са мързеливи, безскрупулни и в същото време могат да пишат сценарии. Основната задача: да задържи първия в службата и да открие и ограничи втория възможно най-рано. За да направим това, ние научихме Толока да анализира поведението на изпълнителите. Клиентите имат възможност автоматично да идентифицират и ограничават онези говорещи, които например отговарят твърде бързо или чиито отговори не са в съответствие с отговорите на другите. Добавихме и възможност за използване на контролни задачи („honeypots“) и задължително приемане преди плащане. Освен това приемането може да бъде опростено. Давайте задачи на един потребител и оценявайте техните резултати на други.

    Между другото, какво знаем за самите толокери?

    Толокери

    Различни хора се регистрират и изпълняват задачи в Toloka. Най-много изпълнители (както и задачи) имаме в Русия, Украйна и Турция. Повечето бутачи са млади хора под 35 години (като правило студенти от технически университети или майки в отпуск по майчинство). По принцип изпълнителите гледат на Толока като на допълнителен източник на пари, въпреки че мнозина отбелязват, че обичат да вършат полезна работа и да правят интернет по-чист. Ето, например, какво пишат за себе си, когато обсъждат Толока в Интернет:
    790,41 рубли вече са паднали в портфейла ми. Ако не друго, в района, в който живея, заплатата на например учител-млад специалист е 2800 рубли. Моля, обърнете внимание, че всичко това се попълва между моментите, в свободното време, между извършването на основната работа, когато искате да се отпуснете и да превключите малко скоростите.
    И изобщо не се чувствате като глупав кликващ робот. Има някакво усещане за полезност от работата ви.

    Толока в Yandex

    Сега Cleanup има почти 270 хиляди изпълнители от пет държави, 80 хиляди изпълнявани задачи на ден, 400 различни типа задачи вече са тествани, 1 милиардсъбрани оценки.

    По време на отварянето започнахме с три основни типа задачи и е интересно, че те все още остават най-любимите задачи за повечето инструменти: оценка на качеството на търсенията на изображения, маркиране на съдържание за възрастни и сравнение по двойки на обекти (за например страници с различен дизайн).

    Използването на краудсорсинг за събиране на резултати за тези проекти позволи на екипите да намалят значително времето, което трябваше да чакат за резултатите, за да изградят показатели. Когато оценителите се нуждаят от няколко дни, за да оценят набор от обекти, толокерите могат да го направят за няколко часа. Чрез намаляване на разходите за оценка беше възможно значително да се увеличи размерът на наборите за обучение и да се подобри качеството на алгоритмите за класификация. Например, след преминаване към Toloka, качеството на идентифициране на съдържание за възрастни се увеличи с 30%.

    Оценките на Toloka се поръчват от десетки различни екипи на Yandex. С помощта на тази услуга се събират данни за технологиите за компютърно зрение и разпознаване на реч, подобряват се технологиите за препоръки, попълва се базата данни на директорията на организацията и се решават много други вътрешни задачи. Но те все още не са достатъчни, за да осигурят на всички толокери задачи. Трябва да продължим напред.

    Първи външни клиенти

    След като се споразумяхме с няколко външни партньори, организирахме затворен алфа тест, за да проверим съответствието на платформата с външните нужди. Външните клиенти дойдоха както с типове задачи, които са ни познати, така и с нови, специфични за техния бизнес. По време на тестването бяха стартирани задачи за дешифриране на ценови етикети на стоки със снимки, одит на търговски обекти, категоризиране на стоки и търсене на характеристики.

    В заключение бих искал да говоря за основните препоръки, които формулирахме въз основа на нашия собствен опит в работата с толокери.

    Мъдростта на тълпата изобщо не е философски феномен, а доста статистически проверим феномен. Дори ако мнението на един човек не е достатъчно компетентно и оценката му не е достатъчно точна, комбинирането на оценки от много различни хора може да доведе до по-точни резултати от оценката на един професионален експерт. Основното тук е правилното организиране на процеса на събиране и обобщаване на индивидуалните оценки.
    1. Краудсорсингът е много мощен инструмент и е чудесен, когато става въпрос за големи обеми и необходимостта от мащабиране и стандартизиране на процеси. Но ако имате еднократна задача, която може да бъде решена от един човек за няколко часа, тогава това е най-лесният начин да я разрешите.
    2. Многократно е доказано, че всеки сложен проблем може и трябва да бъде декомпозиран на набор от малки независими подзадачи. Това значително ще подобри качеството на крайните данни, без да увеличава цената на цялостното маркиране.
    3. Повечето работни места за краудсорсинг се изпълняват с припокриване (няколко работници вършат една и съща работа). Популярно погрешно схващане: колкото по-голямо е припокриването, толкова по-високо е качеството на резултатите. По правило това не е така. Точността се стабилизира сравнително бързо с увеличаване на припокриването и за малко задачи припокриването на повече от 5 души на задача е оправдано.
    4. Не е съвсем интуитивно: цената на задача при краудсорсинга практически няма ефект върху качеството на получените оценки. Често надценяването на скоростта може дори да навреди на качеството, тъй като участниците в търга, преследвайки пари, спират да обръщат достатъчно внимание на задачите.
    5. Но основното, от което наистина зависи качеството на оценките, е организацията на задачата. Колкото по-ясно са написани инструкциите и е проектиран интерфейсът, толкова по-високо е качеството на резултата. И не забравяйте за задачите за проверка („honeypots“), които ще помогнат за идентифицирането на безскрупулни толокери.
    6. Повечето проекти в Толока не изискват специални познания от изпълнителя. Независимо от това, понякога се налага чистачите да бъдат „обучени“ да изпълняват задачата точно според нуждите на клиента. В този случай трябва да създадете специални групи за обучение и да използвате допълнителни настройки (например да позволите само на онези бутачи, които успешно са завършили обучението, да изпълнят задачата).
    7. Правилното насочване на задачите към конкретни изпълнители често помага за значително подобряване на резултатите от маркирането. Например, ако трябва да оцените пантолетни обувки, за да маркирате каталог с обувки, тогава е по-добре незабавно да възложите тази задача на жени tolokers.
    8. Не всички задачи могат да бъдат оставени на мъдростта на тълпата. Винаги има задача, която изисква професионално обучение и изключително внимание. Но почти винаги в тези случаи използването на предварително филтриране на тълпата може да улесни живота на професионалните експерти, значително да намали разходите за получаване на оценки и да увеличи производителността на вашия работен процес.

    Ще бъдем благодарни на общността на Habrahabr за обратна връзка относно работата на бета версията на Toloka. Ние продължаваме да работим, за да гарантираме, че всеки клиент може да получи най-висококачествени резултати, без да се налага да пише код, а всяко отговорно лице получава насърчение и достатъчен брой задачи. И вашата обратна връзка ще помогне на нашия екип в тази работа. Благодаря ти!

    Яндекс Толокае приложение за Android, което ви предлага приходи в интернет. Със сигурност сте чували, че някои хора знаят как да правят пари в Интернет и винаги сте искали да правите същото. Сега Toloka позволява на всеки да печели пари онлайн, просто изпълнява задачи в удобно време и получава наградата си.

    Правенето на пари в Интернет стана по-достъпно, инсталирайте Yandex Toloka на телефона си и започнете да изпълнявате задачи, за които ще получавате награди. Предимството на приложението е, че потребителите не изискват специални умения или знания. Можете да проверите точността на картите (удобно е да правите това, докато вървите или на път за работа/дом) или да анализирате съдържанието на уеб страници. Можете да изпълнявате няколко задачи едновременно. Например, избрали сте да проверите няколко места на картата и докато бягате, можете да изградите маршрут за себе си, за да посетите точните места. Благодарение на yandex toloka, получавайте истински пари, които могат лесно да бъдат изтеглени чрез платежни системи като PayPal, Yandex.Money, Skrill, а жителите на Украйна могат да получават награди на карта на PrivatBank.

    Характеристики на Yandex Toloka на Android:

    • правене на пари в интернет;
    • изберете кой вид дейност ви подхожда най-добре: анализ на страница или проверка на карта;
    • удобен интерфейс на приложението;
    • получавате пари на вашата карта (Yandex.Money, PayPal и други);
    • способността за едновременно изпълнение на няколко задачи наведнъж.

    Изтеглете Yandex Toloka Androidбезплатно, без регистрация и SMS, можете от нашия уебсайт, като използвате директната връзка по-долу.

    Търсачките непрекъснато се опитват да подобрят своите алгоритми, но ботовете не винаги могат да определят уместността на съдържанието.



    Понякога трябва да включите хора, така че те да определят дали подходящи материали се връщат на потребителите за различни заявки. Услугата Toloka от Yandex е създадена специално за тази цел.

    Толока на руски, лесни печалби

    Тази услуга се появи отдавна, но поради липсата на задачи малко хора я използваха. Сега има много работа и е различно.Прави се лесно, така че наградите не са големи.

    За да говорим подробно за работата с Yandex.Toloka, Подготвили сме инструкции стъпка по стъпка:


    Ето как Russian cleanup помага за набирането на пари в интернет. Засега системата е достъпна само за жители на Русия, Украйна, Беларус, Турция и Казахстан.

    В бъдеще системата определено ще се разшири и ще стане достъпна и в други страни. Според опитни потребители тук е напълно възможно да съберете 5-10 долара на ден.

    Задачите не винаги са налични в Yandex.Toloka, така че опитайте да опреснявате страницата по-често, за да не пропуснете изгодни оферти.

    Вече беше споменато по-горе, че задачите, свързани с мобилни устройства, носят повече пари. За да ги изпълните, инсталирайте специално приложение на вашите смартфони.

    Не би трябвало да има никакви затруднения при изпълнение на поръчки от мобилни устройства, тъй като те също са прости:

    Все още не може да се каже, че Toloka е в състояние да се превърне в основен източник на печалба, но е сигурно, че можете да правите пари с нея.

    Само не забравяйте, че трябва да се опитате да изпълните инструкциите, в противен случай рейтингът ви ще бъде нисък и задачите ще спрат да идват. Можете да го проверите в профила си.

    Аналози на Yandex Toloka

    За съжаление в системата има твърде малко поръчки и трябва да чакате дълго за тях. Не губете време, използвайте други системи с прости задачи.

    Създадени са доста от тях и се наричат ​​клик спонсори. Там може да бъдете помолени не само да сравните резултати от търсенето, снимки, видеоклипове или да изразите мнение за някои компании.

    Има хиляди задачи на пощенските програми, можете да ги изпълнявате денонощно, те никога няма да свършат. Това също е лесно да се направи, след редовна регистрация отидете в секцията със задачи и изберете подходящата работа:

    Чрез такива системи се рекламират различни сайтове и се поръчват всякакви промоции. Всяка поръчка съдържа подробно описание и също така посочва какво трябва да се изпрати за проверка. След като проучите изискванията, щракнете върху бутона, за да започнете:

    В този пример е необходима проста регистрация и отчетът трябва да включва данните за вход, посочени при създаването на профила. Дори начинаещ може да се справи с такава поръчка и когато щракнете върху зеления бутон, веднага се появява формуляр, където посочвате отчета (в нашия случай това е входът):

    Щраквате върху „Изпращане на отчет“ и в рамките на няколко часа средствата се добавят към вашия баланс. Всичко е изключително просто и парите също се теглят към различни платежни системи. Ако се интересувате от работа на непълно работно време, използвайте тези проекти:

    1. Wmmail е надеждна и най-старата пощенска кутия, където наскоро добавиха изход към Yandex.Money, Payeer и телефонен номер.

    Чували ли сте някога, че с Android устройство, свързано с интернет, можете да печелите истински пари? Какво, никога не сте чували нещо подобно през живота си? И дори да чуят, не могат да разберат как точно да подходят към този въпрос? Тогава не забравяйте да прочетете този преглед и повярвайте ми, няма да съжалявате!

    Версия: 0.4.12 Какво е новото: - Подобрено пестене на енергия
    - Подобрена стабилност

    Покажи всички

    Не е тайна, че днес на Play Market има около дузина програми за печелене на пари чрез изпълнение на задачи за изтегляне на софтуер. Така че, вярвате или не, каквото и да ви казва някой, никога няма да спечелите нищо по този начин. Знаеш ли защо? Да, всичко това, защото броят на задачите в този тип приложение е избран толкова добре, че дори и да ги изпълните всички, няма да можете да съберете минималната сума за теглене.

    Тук много от вас най-вероятно ще поискат да зададат един разумен въпрос: така че няма ли начин да правите пари онлайн? И така, нашият отговор е, че има възможност да печелите пари и за това, между другото, не е нужно да изтегляте нищо, просто инсталирайте приложението на вашето устройство и започнете да изпълнявате всякакви задачи в него.

    Между другото, тези задачи могат да бъдат на всякаква тема. Например, в някои от тях трябва внимателно да сортирате снимки, така че да отговарят на заявките за търсене, в други задачи трябва да откриете адресите на фирми и офиси, разположени във вашия град, и така нататък и така нататък. Както можете да видите, тук няма нищо сложно и те плащат истински пари за това и макар и не много, някои лесно успяват да спечелят от 15 до 25 долара на месец.

    Оценете приложението 1 2 3 4 5 6 7 8 9 10 7.3(56 )

    Преходи: 652

    Към разработчика:

    Софтуерът, публикуван на тази страница, е намерен свободно достъпен в Интернет.
    Ако вие сте разработчикът на това приложение и смятате, че вашите авторски права са нарушени, моля, свържете се с нас чрез . Ние ще предприемем всички необходими действия, за да премахнем вашето приложение от сайта.

    Подобни приложения

    MobCoin: приходи на Android Програми, Помощни програми Днес почти всеки съвременен ученик има устройство с Android, което използва в ежедневието като игрова конзола с достъп до интернет, като камера и устройство за набиране, за да докладва на родителите си за текущото си местоположение. Въпреки това, вярвате или не, почти никой от тези ученици дори няма представа, че държи в ръцете си много добра джаджа за печелене на пари. Да, да, представете си истински пари, които можете не само да депозирате в мобилната си сметка, но и да теглите към платежни системи като Qiwi или Webmoney. 8.8

    Безплатни подаръчни карти Joy Rewards Програми, Интернет, Помощни програми Повечето потребители на съвременни устройства с Android използват устройствата си като обикновени дайлери или като системи за игри, без да знаят, че могат да печелят пари с тяхна помощ. Да, да, не се шегуваме, използвайки нашия нов продукт днес, можете лесно не само да забравите за месечната вноска за телефона, но и да спестите малко пари. 8.8

    Yandex Toloka е приложение, предназначено за правене на пари в Интернет. Влезте в личния си акаунт, изберете задачи, изпълнете ги в удобно време и получете награда. Не са необходими специални познания!

    Toloka Yandex - екранни снимки

    Yandex Toloka - видео

    Основни характеристики на Yandex Toloka за Android

    Можете да анализирате съдържанието на уеб страници или да проверите точността на картата - например на път за вкъщи или докато вървите.

    Приложението Toloka ви позволява да влезете в личния си акаунт и едновременно да изпълнявате няколко задачи. Например, можете да вземете няколко задачи, за да проверите картата, които са удобни за изпълнение по пътя. Приложението има офлайн режим: задачите и картата на града могат да бъдат запазени за преглед без интернет. Новата опция „Изпращане на задачи през WiFi“ също ще помогне за спестяване на трафик.

    Както в обикновената версия на Yandex Toloka, е лесно да теглите пари чрез платежни системи, PayPal или Skrill. Потребителите от Украйна също могат да ги прехвърлят на карта на PrivatBank.


    Версия: 1.17.0
    Разработчик: Yandex Services AG
    Официален сайт.