И главное, что меня изумляет во всей этой истории, это поразительное, уникальное непонимание того, как работает конкурс, который люди взялись, эээ, реформировать?
Непонимание, как устроены люди, которые ходят жюрить. Как вообще устроены люди, в том числе фандомные. Какие механизмы задействованы. Как то или иное движение отразится на общей картине.
Ничего. Белый шум.
Ниже простыня о прошлых и нынешних правилах рсии.
Для начала немного расскажу о типичных проблемах.
Почему они случались.
Как их пытались (или нет) преодолевать.
А, и еще. Из поста может сложиться впечатление, что все члены жюри только тем и занимаются, что продвигают подружаек, топят врагинек, расставляют оценки наугад и вообще не включают мозг. Это не так. Большинстве членов жюри ответственные, добросовестные люди.
Просто пост сосредоточен вокруг одной конкретной проблемы. И в этих рамках я тут рассуждаю сама с собой.
- Вы любите Кафку?
- Ага! Особенно грефневую!
- Ага! Особенно грефневую!
читать дальшеСразу оговорюсь. Я не собираюсь говорить о каких-то решениях проблем и принципиальном их устранении.
На мой взгляд, это невозможно.
Для любого творческого конкурса всегда был и будет фактор субъективности. Вот о нем-то и поговорим.
Этот фактор делится на две части:
1. Вкусовщина отдельно взятых членов жюри
2. Сознательность отдельно взятых членов жюри
Что я имею в виду.
Со вкусовщиной более-менее понятно, сюда же я отношу разный уровень подкованности, компетентность, начитанность, строгость оценки и т.д. То есть грубо: что одному члену жюри говно, то другому шорт-лист; один член жюри оценивает тексты относительно друг друга, второй - относительна Декамерона, Кафки и откровений святого Августина в переложении Сорокина.
Под сознательностью я подразумеваю ответственный подход к делу и непредвзятость - прочитать все фики, обдуманно, исходя из собственных впечатлений выставить оценки, не оглядываться на чужое мнение/имена и пр.
В идеальном мире все члены жюри имеют одинаковые вкусы, одинаково компетентны и с ответственностью юных пионеров решают поставленные задачи.
Мы, к сожалению, живем не в идеальном мире, как минимум невозможно подобрать большую rpyппу людей с примерно одинаковыми взглядами на Литературный Процесс и Место Фанфикшена В Истории.
Поэтому организатор конкурса должен понимать не только, в чем проблема (да, в субъективности, спасибо, мы в курсе, охуительное откровение), но и как эта субъективность работает на практике. От чего зависит. Что ее может усугубить. А что, наоборот, уменьшить.
Вот когда есть такое понимание, значит, можно работать и что-то предпринимать.
Например.
Возьмем жупел текущих организаторов - подружайство. Оказывается, большая проблема всех рсий была в том, что в победителях/шортах у нас подружайки, а настоящие таланты задыхаются под гнетом кумовства и предвзятости. Поэтому из-за пары случаев надо въебать всю систему.
Кстати, допустим. Вполне возможно, я не спорю, вот я лично никогда не побеждала у жюри, а ведь я очень талантливый автор. Очевидно же, что все дело в подружках оргов. Меня и в шорт-то брали всегда по принципу "этот срачливый юзер должен быть в шорте, иначе всех заебет". И не брали тоже по принципу "нет, ну у юзера норм фички для шорта, но их десять, блэт! так, половину вычеркиваем", бгг.
Ладно, если без ерничанья, то да, это наш субъективный риск, все об этом знают. Не только потому что "это моя подружка, и похуй, как она пишет, она пройдет в шорт, потому что подружка", а еще и потому что людям в принципе свойственно дружить с теми, с кем они имеют сходные взгляды, вкусы, темперамент, парадигму, наконец. Бгг.
В этом нет ничего особенного, это совершенно нормально.
Итак, боремся с подружайством и авторитетами. Как можно сделать так, чтобы судьи судили строго объективно.
Ну, есть несколько способов. Взять черную кошку за хвост и проклясть всех, кто продвигает подружаек.
Еще один отличный способ - параболическая антенна, берем, облучаем судей до тех пор, пока они не выбросят из головы все необъективные мысли. Третий вариант - брать за пуговицу и сурово повторять: "Ни в коем случае не голосуй за подружаек, не смей об этом даже думать, а то напишу в спортлото".
Четвертый вариант - придумать такую систему голосования и отбора, при которой такой субъективный момент, как голосование за имена, а не за тексты будет технически невозможен.
(блядь, пишу это и понимаю, что вариант с проклятьем и спортлото намного реалистичнее)
Но в любом случае по четвертому пути и пытались более менее пойти все орги рсии без исключения.
Раньше было так.
1. Жюри и ридеры автоматом исключались из номинаций, которые они судят/ридерят. Поэтому внутри номинаций не было ни конфликта интересов, ни давления вида "это же мой коллега-жюрь, он же не может написать совсем говно? в шорт его".
2. Кроме того, организаторы (ну, по крайней мере Фенрира) пытаясь разводить по разным группам судей/ридеров из, скажем так, одной тусовки. Потому что очень часто такие люди имели схожие вкусы, схожие взгляды,
3. При этом была принята практика обсуждения результатов (необязательно, но желательно). Где члены жюри/ридеры публично обменивались мнениями о текстах и их местах.
Что это все давало.
Во-первых, понимание (и товарищам, и незримо парящему над ними оргу), что все владеют предметом. То бишь читали.
Во-вторых, если присутствовала какая-то видимая глазу необъективность, то можно было прицельно спросить, почему у детектива с тремя полноценными сюжетными линиями за сюжет 2, а у любовного романа, прямого и куцего в плане сюжета как бедро треугольника, вторая оценка 10. И правильно ли мы с коллегами вообще понимаем, что такое вторая оценка. И не возможно ли такое, что один из уважаемых судей просто сквикнулся, а сквики - это святое, но как-нибудь в другой раз?
В-третьих коллективное обсуждение нивелировало перекосы, связанные с индивидуальной шкалой каждого из судей. Например, когда первое место занимает текст, которые по мнению всех трех судей не тянет не то что на победителя, но даже близко к нему не стоит.
Понятно, что везде бывали проебы. Понятно, что идеально система не работала. Понятно, что зачастую ридеры и судьи забивали обсуждать шорт/итоги, понатыкали галочек/циферок и похуй, что там получилось. Но в принципе в целом условная публичность работала на увеличение объективности. Сюда же относился тот факт, что оценки каждого видны и понятны как минимум коллегам.
Грубо говоря, чем выше публичность и прозрачность, тем тщательнее работают члены жюри. Публичность подразумевает, что ты должен ответить за то, что ты там натыкал. Потому что никакой другой системы проверить и убедиться, что судья действительно прочитал текст и оценил его по определенным критериям, не существует.
При этом (что важно) все тексты оценивались относительно друг друга. Стандартная рекомендация для членов жюри: хотя бы одна работа должна иметь десятку по одному критерию, хотя бы должна иметь девятку - и так далее. И это логично. Просто потому, что для оценки чего-либо нужно две точки - начало отсчета и конец отсчета. Минимум и максимум. лучшее и худшее. Человеческий мозг не умеет иначе. И в отсутствие он их подберет сам: либо выстроит шкалу в полученном пуле текстов и среди них выделит высшую и низшие токи, либо за них возьмет какое-нибудь ужасное говно, которое судья встречал в жизни + какой-то невероятный охуенчик, прочитанный в детстве и оставивший глубокий след в неокрепшей душе. И будет сравнивать с ними.
А типа объективные оценки "вот тут у нас сюжет на пятерку, а корректура на тройку" - это нонсенс. По сравнению с чем сюжет на пятерку? а корректура на тройку - это сколько ошибок, опечаток и коротких тире?
Возвращаемся к текущей РСИИ. Если коротко, то была придумана система, по которой разбивка на номинации была чисто формальной, а судьям доставалось в рандомном порядке определенное количество текстов, перемешанных между собой. И вот этим вот текстам каждый судья ставил оценки в меру своего понимания.
Мне сложно сказать, чем руководствовались авторы системы, потому что даже в первом приближении она выглядит всрато. В частности потому что у членов жюри нет точных критериев оценки. Что будет, если член жюри поставит всем максимальные баллы? Что будет, если он поставит всем минимальные баллы? Что будет, если он не прочитает ни одного текста, а оценки поставит наугад, ориентируясь на имена и комментарии подружек? Как система защищает конкурс от всего этого?
Я вообще категорически не понимаю, какую проблему эта система должна была решить. В теории - проблему субъективности. Но когда я это слышу, у меня перед глазами белый шум.
Изо всех сил пытаюсь включить фантазию и реально не понимаю, как такая разбивка может сделать результаты объективнее. То есть в теории, за счет большого количества работ и судей наверх по-любом должны всплыть качественные вещи, а утонуть - некачественные. При этом отказ от обсуждения подразумевал, что если кто-то начнет топить за подружку, то ему не обломится. Правда моя практика судейства говорит, что все в точности до наоборот, но где моя практика, а где теория объективного судейства, бгг.
Но у нас нет большого количества текстов. И у нас нет большого количества судей. Следовательно, "вес" каждого судья является довольно существенным и хаотично влияет на итоговую расстановку текстов.
Жюри в любом случае выставляют оценки, исходя из своих кинков, сквиков, любви или нелюбви к автору, собственному пониманию, каким должен быть хороший текст и т.д. (ну, если конечно их не облучали проклятьями}. При этом если раньше у всех была как минимум одна точка отсчета (вот этот текст в номинации я считаю дном, а этот - охуенчиком), то сейчас тексты группировались рандомно, что полностью исключило момент относительности. Кому-то попалось с десяток сильных текстов и совсем немного говна, и судья, оттопырыв мизинчик, перебирал этот жемчуг мелкий. Кому-то среди говна попалось несколько крепких, читабельных текстов, на их фоне они получили максимальный балл. А кто-то вообще не читал, потому что открыл рсию за сутки до делзйна, охуел, и понаставив оценок рандомно, чисто за имена. И никто, никогда не узнает об этом, потому что все оценки в любом случае валятся в одну кучу, обсуждение не требуется (зачем? система и так идеальна).
Итого, следим за руками: для чтобы придуманная система работала и позволила выбрать максимально объективно, нужно придумать, как обеспечить объективность судей. И дополнительно к этому нужно еще сделать так, чтобы в пуле рандомно подобранных текстов выборки были более-менее равномерными по качеству. А еще за счет того, что критериев оценки несколько, увеличивается доля субъективности. Все мы знаем, чем больше деталей, тем вероятнее поломка.
У меня вопрос - нахуя было городить огород?
Ведь помимо того, что система жутко субъективная, она потеряла при этом единственный, на мой взгляд рычаг управления судьями - прозрачность, пусть и невеликую.
Судейство стало максимально серым, при этом за результат не отвечает никто и ни перед кем.
А раз нет сдерживающего фактора, то зачем стараться? следовательно доля субъективного увеличивается еще больше.
Почему, дорогие коллеги, - вопрошает Аззи, - у нас в шорте говно?
Сверчки, звуки тишины.
А говно у вас в шорте, дорогой друг Аззи, потому что система говно. Старая в принципе тоже говно, но при ней была возможность:
а) снизить долю субъективного
б) получить прозрачный результат как минимум для коллег-жюри
в) устроить движуху и популяризовать какие-то сегменты фандомов, вовлечь авторов, как новых так и старых, в конечном итоге популяризировать сам конкурс.
Все эти возможности были оплачены ценой десятков горящих авторских и судейских жоп.
Потихонечку, маленькими шажками, двигались в сторону более прозрачных и понятных правил. То есть при дальнейшей обработке напильником мы бы получили вполне работающий в наших условиях конкурс.
Новые орги же предпочли собрать бинго:
а) члены жюри судят кто в лес кто по дрова, из-за чего результатом является хаотичный рандом
б) квалификация как минимум некоторых судей не соответствует заявленным целям (как максимум - там между судьями такая пропасть в уровне образования, эрудиции и литературного вкуса, что волосы на всем туловище седеют) и как следствие мы имеем опять же хаотичный рандом в результатах
в) заявленная элитарность отпугнула часть мультифандома, мало кому хочется быть безымянной массовкой, следовательно, положительного хайпа было примерно ноль, зато после шортов появился отрицательный
г) из-за того, что конкурс стал намного длиннее, он потерял актуальность даже для тех, кому было интересно и кто горел результатами.
Менеджмент уровня бог. Всрали все, что только можно - и даже то, что нельзя. Похерили конкурсу последнюю репутацию. Приобрели репутацию мультифандомных клоунов.
Короче говоря, неплохо поработали, можно думать о следующей рсии.
Вот кстати, о следующей рсии.
Я коротко порассуждаю.
1. Для начала стоит определиться, что у нас первично - расставить циферки или выбрать лучшие тексты.
Если второе, то надо осознать раз и навсегда, что любые оценки - это всего лишь технический костыль, который помогает членам жюри сориентироваться в большой массе текстов. Почему костыль вдруг стал определяющим? Откуда вообще появилась эта всратая позиция, что оценки незыблемы, а их изменение приравнивается к мошенничеству. Цель жюри не выставление оценок, оценки может выставить любая обезьяна. Цель жюри - выбрать из представленных текстов лучшее. Оценки им в этом помогают. И их собственная экспертная оценка - тоже.
Сюда же всякие изменения правил в пользу участников.
Потому что этот конкурс для участников, а не для членов жюри, организаторов и ридеров.
И их комфорт и удобство должны быть на первом месте.
2. Надо как-то решить вопрос с прозрачностью. Например, при помощи обязательной публикации судейских/ридерских оценок. С одной стороны, члены жюри будут более ответственно подходить к вопросу, с другой это частично решит проблему с фидбэком. Потому что не все готовы писать отзывы на прочитанное. Но оценки выставляются в любом случае, и даже они - это пища для размышлений и просто для ума.
3. Я бы оставила номинации, сгруппированные по фандомам. Исключение - гостевые номинации и номинация макси (которая раньше как раз была отдельно).
Кстати, ужасно бы хотелось для гостевой номинации аналог грелки. Не с такими жесткими требованиями к срокам, но с самосудом, ограничением на объем, и т.д.
Этот пост я писала скорее для себя, чтобы разложить мысли по полочкам.
Как по самому конкурсу, так и по действиям организаторов.
Мне слишком лень комментировать то, что на скринах, скажу одно - один только разговор от лица логина сообщества говорит о ситуации примерно все.
Нет ответственности - нет проблем.
P.S. Лучше бы я фичок писала, ей-богу.
Тут остро не хватает Тан Хао.