Почему приз Netflix настолько сложен?

Asked
Viewd1423

17

Только что прочитав недавняя статья в Wired , мне любопытно: что такого сложного в Netflix Prize? Я имею в виду это самым искренним образом, мне просто любопытно, какие трудности создает конкурс. Сложно ли в целом улучшить большинство рекомендательных систем? Если да, то почему? Или Netflix необычно сложно улучшить, и если это так, что особенного в Netflix, что делает его намного более сложным, чем, скажем, Amazon?

  • @Lucas Это вопрос о задаче программирования и технических деталях, поэтому он связан с программированием. Я не понимаю, почему этого не было бы на SO.

    Dan Herbert19 июня 2009, 11:54
  • Почему бы и нет? Механизмы рекомендаций, конечно, связаны с программированием. Может быть, это не лучший вопрос по SO, но все же.

    dmeister19 июня 2009, 11:55

4 ответов

14

Потому что у NetFlix уже есть действительно хороший механизм рекомендаций. Если бы они знали, как легко его улучшить, они бы уже сделали это. Вся их бизнес-модель основана на перекрестных продажах товаров (фильмов) потребителям. Алгоритм рекомендаций - действительно ядро ​​их бизнеса. Чем лучше это работает, тем больше денег они могут заработать.

30

Рекомендательные системы страдают от проблем, которые трудно исправить:

  • Холодный старт . В новой системе или с новым пользователем этого недостаточно. данные для создания точной статистической модели для рекомендации.
  • Предвзятость рейтинга . Если вы основываете рекомендации на оценках пользователей, они часто влияют результаты на их вкус. Если вы относитесь к тому типу людей, которым не нравится дополнительная ступень рейтинга, возможно, людям со схожим вкусом тоже не нравится рейтинг, поэтому их мнения не включаются в рекомендации.
  • Элементы, не получившие оценок, с меньшей вероятностью будут оценены - если вы выберете и, следовательно, оцените элементы на основе их оценок, элементы, не получившие оценок, будут менее заметны, и им будет трудно получить оценки, необходимые для влияют на рекомендации. С другой стороны, популярные товары более заметны, чаще оцениваются и поэтому играют большую роль в рекомендациях.
  • Временная предвзятость - рейтинги пользователей меняются со временем. В случае долгосрочных изменений вы можете компенсировать это, добавив элемент времени к своим рекомендациям. Краткосрочные изменения исправить сложнее. После марафона Чака Норриса вы с большей вероятностью будете ставить высокие оценки боевикам. На следующий день, заплакав перед стальными магнолиями , вы можете временно отказаться от действий. фильмы.
  • Различные мотивы - в рекомендательных системах на основе элементов , книге по вязанию, которую вы приобретенный на день рождения вашей тети, исказит ваши рекомендации (если вы не найдете времени, чтобы сказать системе не использовать его). Вы можете дать высокую оценку фильму плохих детей, потому что он понравился вашим детям.

В совокупности это затрудняет улучшение рекомендательных систем в прошлом. Система с точностью 80% кажется отличной, но ошибается в 1 из 5 раз. Для некоторых пользователей это создает больше проблем, чем они того стоят.

2

Я и мой коллега приняли в нем участие. У меня нет сильного опыта в области ИИ, но механизмы рекомендаций требуют некоторых глубоких знаний существующих литературных алгоритмов, таких как выборка Гиббса, метод K, ближайший сосед и т.д.

2

Я думаю, что на эту тему было написано несколько статей, но я не знаю, где они сейчас находятся, поэтому я просто объясню это здесь.

Когда люди покупают книги на Amazon (например), они, как правило, покупают книги определенного типа, поэтому можно легко предложить другие книги того же типа.

С фильмами люди могут делать то же самое, однако обычно люди не ограничиваются одним жанром. Люди могут смотреть гораздо более широкий выбор фильмов: ужасы, комедии, боевики, мелодрамы и т. Д.

Трудно предсказать, что вам нравится из этих жанров, если вы пока взяли напрокат только один фильм, а этот фильм - драма.

Если бы кто-то придумал очень умный механизм рекомендаций, Netflix мог бы получить от него феноменальную пользу. Я думаю, что они в основном ищут движок, который может рекомендовать вещи, основанные только на одном или двух фильмах. Новые клиенты, которые мало знают о Netflix, имеют больше шансов остаться, если они сразу найдут фильмы, которые им нравятся, без необходимости искать их.

На мой взгляд, у них уже есть система рекомендаций, сопоставимая с Amazon. Я думаю, они хотят его улучшить.