С капитаном Зараки время летит незаметно
Рсия закончилась. Ну то есть как. Там еще будут какие-то победители, правда, похоже, единственные, кому это интересно - сами участники шортов. Но это неточно.
И главное, что меня изумляет во всей этой истории, это поразительное, уникальное непонимание того, как работает конкурс, который люди взялись, эээ, реформировать?
Непонимание, как устроены люди, которые ходят жюрить. Как вообще устроены люди, в том числе фандомные. Какие механизмы задействованы. Как то или иное движение отразится на общей картине.
Ничего. Белый шум.
Ниже простыня о прошлых и нынешних правилах рсии.
Для начала немного расскажу о типичных проблемах.
Почему они случались.
Как их пытались (или нет) преодолевать.
А, и еще. Из поста может сложиться впечатление, что все члены жюри только тем и занимаются, что продвигают подружаек, топят врагинек, расставляют оценки наугад и вообще не включают мозг. Это не так. Большинстве членов жюри ответственные, добросовестные люди.
Просто пост сосредоточен вокруг одной конкретной проблемы. И в этих рамках я тут рассуждаю сама с собой.
читать дальшеСразу оговорюсь. Я не собираюсь говорить о каких-то решениях проблем и принципиальном их устранении.
На мой взгляд, это невозможно.
Для любого творческого конкурса всегда был и будет фактор субъективности. Вот о нем-то и поговорим.
Этот фактор делится на две части:
1. Вкусовщина отдельно взятых членов жюри
2. Сознательность отдельно взятых членов жюри
Что я имею в виду.
Со вкусовщиной более-менее понятно, сюда же я отношу разный уровень подкованности, компетентность, начитанность, строгость оценки и т.д. То есть грубо: что одному члену жюри говно, то другому шорт-лист; один член жюри оценивает тексты относительно друг друга, второй - относительна Декамерона, Кафки и откровений святого Августина в переложении Сорокина.
Под сознательностью я подразумеваю ответственный подход к делу и непредвзятость - прочитать все фики, обдуманно, исходя из собственных впечатлений выставить оценки, не оглядываться на чужое мнение/имена и пр.
В идеальном мире все члены жюри имеют одинаковые вкусы, одинаково компетентны и с ответственностью юных пионеров решают поставленные задачи.
Мы, к сожалению, живем не в идеальном мире, как минимум невозможно подобрать большую rpyппу людей с примерно одинаковыми взглядами на Литературный Процесс и Место Фанфикшена В Истории.
Поэтому организатор конкурса должен понимать не только, в чем проблема (да, в субъективности, спасибо, мы в курсе, охуительное откровение), но и как эта субъективность работает на практике. От чего зависит. Что ее может усугубить. А что, наоборот, уменьшить.
Вот когда есть такое понимание, значит, можно работать и что-то предпринимать.
Например.
Возьмем жупел текущих организаторов - подружайство. Оказывается, большая проблема всех рсий была в том, что в победителях/шортах у нас подружайки, а настоящие таланты задыхаются под гнетом кумовства и предвзятости. Поэтому из-за пары случаев надо въебать всю систему.
Кстати, допустим. Вполне возможно, я не спорю, вот я лично никогда не побеждала у жюри, а ведь я очень талантливый автор. Очевидно же, что все дело в подружках оргов. Меня и в шорт-то брали всегда по принципу "этот срачливый юзер должен быть в шорте, иначе всех заебет". И не брали тоже по принципу "нет, ну у юзера норм фички для шорта, но их десять, блэт! так, половину вычеркиваем", бгг.
Ладно, если без ерничанья, то да, это наш субъективный риск, все об этом знают. Не только потому что "это моя подружка, и похуй, как она пишет, она пройдет в шорт, потому что подружка", а еще и потому что людям в принципе свойственно дружить с теми, с кем они имеют сходные взгляды, вкусы, темперамент, парадигму, наконец. Бгг.
В этом нет ничего особенного, это совершенно нормально.
Итак, боремся с подружайством и авторитетами. Как можно сделать так, чтобы судьи судили строго объективно.
Ну, есть несколько способов. Взять черную кошку за хвост и проклясть всех, кто продвигает подружаек.
Еще один отличный способ - параболическая антенна, берем, облучаем судей до тех пор, пока они не выбросят из головы все необъективные мысли. Третий вариант - брать за пуговицу и сурово повторять: "Ни в коем случае не голосуй за подружаек, не смей об этом даже думать, а то напишу в спортлото".
Четвертый вариант - придумать такую систему голосования и отбора, при которой такой субъективный момент, как голосование за имена, а не за тексты будет технически невозможен.
(блядь, пишу это и понимаю, что вариант с проклятьем и спортлото намного реалистичнее)
Но в любом случае по четвертому пути и пытались более менее пойти все орги рсии без исключения.
Раньше было так.
1. Жюри и ридеры автоматом исключались из номинаций, которые они судят/ридерят. Поэтому внутри номинаций не было ни конфликта интересов, ни давления вида "это же мой коллега-жюрь, он же не может написать совсем говно? в шорт его".
2. Кроме того, организаторы (ну, по крайней мере Фенрира) пытаясь разводить по разным группам судей/ридеров из, скажем так, одной тусовки. Потому что очень часто такие люди имели схожие вкусы, схожие взгляды,схожих подружек бгг А за счет разности мнений можно было получить более объективную картину.
3. При этом была принята практика обсуждения результатов (необязательно, но желательно). Где члены жюри/ридеры публично обменивались мнениями о текстах и их местах.
Что это все давало.
Во-первых, понимание (и товарищам, и незримо парящему над ними оргу), что все владеют предметом. То бишь читали.
Во-вторых, если присутствовала какая-то видимая глазу необъективность, то можно было прицельно спросить, почему у детектива с тремя полноценными сюжетными линиями за сюжет 2, а у любовного романа, прямого и куцего в плане сюжета как бедро треугольника, вторая оценка 10. И правильно ли мы с коллегами вообще понимаем, что такое вторая оценка. И не возможно ли такое, что один из уважаемых судей просто сквикнулся, а сквики - это святое, но как-нибудь в другой раз?
В-третьих коллективное обсуждение нивелировало перекосы, связанные с индивидуальной шкалой каждого из судей. Например, когда первое место занимает текст, которые по мнению всех трех судей не тянет не то что на победителя, но даже близко к нему не стоит.
Понятно, что везде бывали проебы. Понятно, что идеально система не работала. Понятно, что зачастую ридеры и судьи забивали обсуждать шорт/итоги, понатыкали галочек/циферок и похуй, что там получилось. Но в принципе в целом условная публичность работала на увеличение объективности. Сюда же относился тот факт, что оценки каждого видны и понятны как минимум коллегам.
Грубо говоря, чем выше публичность и прозрачность, тем тщательнее работают члены жюри. Публичность подразумевает, что ты должен ответить за то, что ты там натыкал. Потому что никакой другой системы проверить и убедиться, что судья действительно прочитал текст и оценил его по определенным критериям, не существует.
При этом (что важно) все тексты оценивались относительно друг друга. Стандартная рекомендация для членов жюри: хотя бы одна работа должна иметь десятку по одному критерию, хотя бы должна иметь девятку - и так далее. И это логично. Просто потому, что для оценки чего-либо нужно две точки - начало отсчета и конец отсчета. Минимум и максимум. лучшее и худшее. Человеческий мозг не умеет иначе. И в отсутствие он их подберет сам: либо выстроит шкалу в полученном пуле текстов и среди них выделит высшую и низшие токи, либо за них возьмет какое-нибудь ужасное говно, которое судья встречал в жизни + какой-то невероятный охуенчик, прочитанный в детстве и оставивший глубокий след в неокрепшей душе. И будет сравнивать с ними.
А типа объективные оценки "вот тут у нас сюжет на пятерку, а корректура на тройку" - это нонсенс. По сравнению с чем сюжет на пятерку? а корректура на тройку - это сколько ошибок, опечаток и коротких тире?
Возвращаемся к текущей РСИИ. Если коротко, то была придумана система, по которой разбивка на номинации была чисто формальной, а судьям доставалось в рандомном порядке определенное количество текстов, перемешанных между собой. И вот этим вот текстам каждый судья ставил оценки в меру своего понимания.
Мне сложно сказать, чем руководствовались авторы системы, потому что даже в первом приближении она выглядит всрато. В частности потому что у членов жюри нет точных критериев оценки. Что будет, если член жюри поставит всем максимальные баллы? Что будет, если он поставит всем минимальные баллы? Что будет, если он не прочитает ни одного текста, а оценки поставит наугад, ориентируясь на имена и комментарии подружек? Как система защищает конкурс от всего этого?
Я вообще категорически не понимаю, какую проблему эта система должна была решить. В теории - проблему субъективности. Но когда я это слышу, у меня перед глазами белый шум.
Изо всех сил пытаюсь включить фантазию и реально не понимаю, как такая разбивка может сделать результаты объективнее. То есть в теории, за счет большого количества работ и судей наверх по-любом должны всплыть качественные вещи, а утонуть - некачественные. При этом отказ от обсуждения подразумевал, что если кто-то начнет топить за подружку, то ему не обломится. Правда моя практика судейства говорит, что все в точности до наоборот, но где моя практика, а где теория объективного судейства, бгг.
Но у нас нет большого количества текстов. И у нас нет большого количества судей. Следовательно, "вес" каждого судья является довольно существенным и хаотично влияет на итоговую расстановку текстов.
Жюри в любом случае выставляют оценки, исходя из своих кинков, сквиков, любви или нелюбви к автору, собственному пониманию, каким должен быть хороший текст и т.д. (ну, если конечно их не облучали проклятьями}. При этом если раньше у всех была как минимум одна точка отсчета (вот этот текст в номинации я считаю дном, а этот - охуенчиком), то сейчас тексты группировались рандомно, что полностью исключило момент относительности. Кому-то попалось с десяток сильных текстов и совсем немного говна, и судья, оттопырыв мизинчик, перебирал этот жемчуг мелкий. Кому-то среди говна попалось несколько крепких, читабельных текстов, на их фоне они получили максимальный балл. А кто-то вообще не читал, потому что открыл рсию за сутки до делзйна, охуел, и понаставив оценок рандомно, чисто за имена. И никто, никогда не узнает об этом, потому что все оценки в любом случае валятся в одну кучу, обсуждение не требуется (зачем? система и так идеальна).
Итого, следим за руками: для чтобы придуманная система работала и позволила выбрать максимально объективно, нужно придумать, как обеспечить объективность судей. И дополнительно к этому нужно еще сделать так, чтобы в пуле рандомно подобранных текстов выборки были более-менее равномерными по качеству. А еще за счет того, что критериев оценки несколько, увеличивается доля субъективности. Все мы знаем, чем больше деталей, тем вероятнее поломка.
У меня вопрос - нахуя было городить огород?
Ведь помимо того, что система жутко субъективная, она потеряла при этом единственный, на мой взгляд рычаг управления судьями - прозрачность, пусть и невеликую.
Судейство стало максимально серым, при этом за результат не отвечает никто и ни перед кем.
А раз нет сдерживающего фактора, то зачем стараться? следовательно доля субъективного увеличивается еще больше.
Почему, дорогие коллеги, - вопрошает Аззи, - у нас в шорте говно?
Сверчки, звуки тишины.
А говно у вас в шорте, дорогой друг Аззи, потому что система говно. Старая в принципе тоже говно, но при ней была возможность:
а) снизить долю субъективного
б) получить прозрачный результат как минимум для коллег-жюри
в) устроить движуху и популяризовать какие-то сегменты фандомов, вовлечь авторов, как новых так и старых, в конечном итоге популяризировать сам конкурс.
Все эти возможности были оплачены ценой десятков горящих авторских и судейских жоп.
Потихонечку, маленькими шажками, двигались в сторону более прозрачных и понятных правил. То есть при дальнейшей обработке напильником мы бы получили вполне работающий в наших условиях конкурс.
Новые орги же предпочли собрать бинго:
а) члены жюри судят кто в лес кто по дрова, из-за чего результатом является хаотичный рандом
б) квалификация как минимум некоторых судей не соответствует заявленным целям (как максимум - там между судьями такая пропасть в уровне образования, эрудиции и литературного вкуса, что волосы на всем туловище седеют) и как следствие мы имеем опять же хаотичный рандом в результатах
в) заявленная элитарность отпугнула часть мультифандома, мало кому хочется быть безымянной массовкой, следовательно, положительного хайпа было примерно ноль, зато после шортов появился отрицательный
г) из-за того, что конкурс стал намного длиннее, он потерял актуальность даже для тех, кому было интересно и кто горел результатами.
Менеджмент уровня бог. Всрали все, что только можно - и даже то, что нельзя. Похерили конкурсу последнюю репутацию. Приобрели репутацию мультифандомных клоунов.
Короче говоря, неплохо поработали, можно думать о следующей рсии.
Вот кстати, о следующей рсии.
Я коротко порассуждаю.
1. Для начала стоит определиться, что у нас первично - расставить циферки или выбрать лучшие тексты.
Если второе, то надо осознать раз и навсегда, что любые оценки - это всего лишь технический костыль, который помогает членам жюри сориентироваться в большой массе текстов. Почему костыль вдруг стал определяющим? Откуда вообще появилась эта всратая позиция, что оценки незыблемы, а их изменение приравнивается к мошенничеству. Цель жюри не выставление оценок, оценки может выставить любая обезьяна. Цель жюри - выбрать из представленных текстов лучшее. Оценки им в этом помогают. И их собственная экспертная оценка - тоже.
Сюда же всякие изменения правил в пользу участников.
Потому что этот конкурс для участников, а не для членов жюри, организаторов и ридеров.
И их комфорт и удобство должны быть на первом месте.
2. Надо как-то решить вопрос с прозрачностью. Например, при помощи обязательной публикации судейских/ридерских оценок. С одной стороны, члены жюри будут более ответственно подходить к вопросу, с другой это частично решит проблему с фидбэком. Потому что не все готовы писать отзывы на прочитанное. Но оценки выставляются в любом случае, и даже они - это пища для размышлений и просто для ума.
3. Я бы оставила номинации, сгруппированные по фандомам. Исключение - гостевые номинации и номинация макси (которая раньше как раз была отдельно).
Кстати, ужасно бы хотелось для гостевой номинации аналог грелки. Не с такими жесткими требованиями к срокам, но с самосудом, ограничением на объем, и т.д.
Этот пост я писала скорее для себя, чтобы разложить мысли по полочкам.
Как по самому конкурсу, так и по действиям организаторов.
Мне слишком лень комментировать то, что на скринах, скажу одно - один только разговор от лица логина сообщества говорит о ситуации примерно все.
Нет ответственности - нет проблем.
P.S. Лучше бы я фичок писала, ей-богу.
Тут остро не хватает Тан Хао.
И главное, что меня изумляет во всей этой истории, это поразительное, уникальное непонимание того, как работает конкурс, который люди взялись, эээ, реформировать?
Непонимание, как устроены люди, которые ходят жюрить. Как вообще устроены люди, в том числе фандомные. Какие механизмы задействованы. Как то или иное движение отразится на общей картине.
Ничего. Белый шум.
Ниже простыня о прошлых и нынешних правилах рсии.
Для начала немного расскажу о типичных проблемах.
Почему они случались.
Как их пытались (или нет) преодолевать.
А, и еще. Из поста может сложиться впечатление, что все члены жюри только тем и занимаются, что продвигают подружаек, топят врагинек, расставляют оценки наугад и вообще не включают мозг. Это не так. Большинстве членов жюри ответственные, добросовестные люди.
Просто пост сосредоточен вокруг одной конкретной проблемы. И в этих рамках я тут рассуждаю сама с собой.
- Вы любите Кафку?
- Ага! Особенно грефневую!
- Ага! Особенно грефневую!
читать дальшеСразу оговорюсь. Я не собираюсь говорить о каких-то решениях проблем и принципиальном их устранении.
На мой взгляд, это невозможно.
Для любого творческого конкурса всегда был и будет фактор субъективности. Вот о нем-то и поговорим.
Этот фактор делится на две части:
1. Вкусовщина отдельно взятых членов жюри
2. Сознательность отдельно взятых членов жюри
Что я имею в виду.
Со вкусовщиной более-менее понятно, сюда же я отношу разный уровень подкованности, компетентность, начитанность, строгость оценки и т.д. То есть грубо: что одному члену жюри говно, то другому шорт-лист; один член жюри оценивает тексты относительно друг друга, второй - относительна Декамерона, Кафки и откровений святого Августина в переложении Сорокина.
Под сознательностью я подразумеваю ответственный подход к делу и непредвзятость - прочитать все фики, обдуманно, исходя из собственных впечатлений выставить оценки, не оглядываться на чужое мнение/имена и пр.
В идеальном мире все члены жюри имеют одинаковые вкусы, одинаково компетентны и с ответственностью юных пионеров решают поставленные задачи.
Мы, к сожалению, живем не в идеальном мире, как минимум невозможно подобрать большую rpyппу людей с примерно одинаковыми взглядами на Литературный Процесс и Место Фанфикшена В Истории.
Поэтому организатор конкурса должен понимать не только, в чем проблема (да, в субъективности, спасибо, мы в курсе, охуительное откровение), но и как эта субъективность работает на практике. От чего зависит. Что ее может усугубить. А что, наоборот, уменьшить.
Вот когда есть такое понимание, значит, можно работать и что-то предпринимать.
Например.
Возьмем жупел текущих организаторов - подружайство. Оказывается, большая проблема всех рсий была в том, что в победителях/шортах у нас подружайки, а настоящие таланты задыхаются под гнетом кумовства и предвзятости. Поэтому из-за пары случаев надо въебать всю систему.
Кстати, допустим. Вполне возможно, я не спорю, вот я лично никогда не побеждала у жюри, а ведь я очень талантливый автор. Очевидно же, что все дело в подружках оргов. Меня и в шорт-то брали всегда по принципу "этот срачливый юзер должен быть в шорте, иначе всех заебет". И не брали тоже по принципу "нет, ну у юзера норм фички для шорта, но их десять, блэт! так, половину вычеркиваем", бгг.
Ладно, если без ерничанья, то да, это наш субъективный риск, все об этом знают. Не только потому что "это моя подружка, и похуй, как она пишет, она пройдет в шорт, потому что подружка", а еще и потому что людям в принципе свойственно дружить с теми, с кем они имеют сходные взгляды, вкусы, темперамент, парадигму, наконец. Бгг.
В этом нет ничего особенного, это совершенно нормально.
Итак, боремся с подружайством и авторитетами. Как можно сделать так, чтобы судьи судили строго объективно.
Ну, есть несколько способов. Взять черную кошку за хвост и проклясть всех, кто продвигает подружаек.
Еще один отличный способ - параболическая антенна, берем, облучаем судей до тех пор, пока они не выбросят из головы все необъективные мысли. Третий вариант - брать за пуговицу и сурово повторять: "Ни в коем случае не голосуй за подружаек, не смей об этом даже думать, а то напишу в спортлото".
Четвертый вариант - придумать такую систему голосования и отбора, при которой такой субъективный момент, как голосование за имена, а не за тексты будет технически невозможен.
(блядь, пишу это и понимаю, что вариант с проклятьем и спортлото намного реалистичнее)
Но в любом случае по четвертому пути и пытались более менее пойти все орги рсии без исключения.
Раньше было так.
1. Жюри и ридеры автоматом исключались из номинаций, которые они судят/ридерят. Поэтому внутри номинаций не было ни конфликта интересов, ни давления вида "это же мой коллега-жюрь, он же не может написать совсем говно? в шорт его".
2. Кроме того, организаторы (ну, по крайней мере Фенрира) пытаясь разводить по разным группам судей/ридеров из, скажем так, одной тусовки. Потому что очень часто такие люди имели схожие вкусы, схожие взгляды,
3. При этом была принята практика обсуждения результатов (необязательно, но желательно). Где члены жюри/ридеры публично обменивались мнениями о текстах и их местах.
Что это все давало.
Во-первых, понимание (и товарищам, и незримо парящему над ними оргу), что все владеют предметом. То бишь читали.
Во-вторых, если присутствовала какая-то видимая глазу необъективность, то можно было прицельно спросить, почему у детектива с тремя полноценными сюжетными линиями за сюжет 2, а у любовного романа, прямого и куцего в плане сюжета как бедро треугольника, вторая оценка 10. И правильно ли мы с коллегами вообще понимаем, что такое вторая оценка. И не возможно ли такое, что один из уважаемых судей просто сквикнулся, а сквики - это святое, но как-нибудь в другой раз?
В-третьих коллективное обсуждение нивелировало перекосы, связанные с индивидуальной шкалой каждого из судей. Например, когда первое место занимает текст, которые по мнению всех трех судей не тянет не то что на победителя, но даже близко к нему не стоит.
Понятно, что везде бывали проебы. Понятно, что идеально система не работала. Понятно, что зачастую ридеры и судьи забивали обсуждать шорт/итоги, понатыкали галочек/циферок и похуй, что там получилось. Но в принципе в целом условная публичность работала на увеличение объективности. Сюда же относился тот факт, что оценки каждого видны и понятны как минимум коллегам.
Грубо говоря, чем выше публичность и прозрачность, тем тщательнее работают члены жюри. Публичность подразумевает, что ты должен ответить за то, что ты там натыкал. Потому что никакой другой системы проверить и убедиться, что судья действительно прочитал текст и оценил его по определенным критериям, не существует.
При этом (что важно) все тексты оценивались относительно друг друга. Стандартная рекомендация для членов жюри: хотя бы одна работа должна иметь десятку по одному критерию, хотя бы должна иметь девятку - и так далее. И это логично. Просто потому, что для оценки чего-либо нужно две точки - начало отсчета и конец отсчета. Минимум и максимум. лучшее и худшее. Человеческий мозг не умеет иначе. И в отсутствие он их подберет сам: либо выстроит шкалу в полученном пуле текстов и среди них выделит высшую и низшие токи, либо за них возьмет какое-нибудь ужасное говно, которое судья встречал в жизни + какой-то невероятный охуенчик, прочитанный в детстве и оставивший глубокий след в неокрепшей душе. И будет сравнивать с ними.
А типа объективные оценки "вот тут у нас сюжет на пятерку, а корректура на тройку" - это нонсенс. По сравнению с чем сюжет на пятерку? а корректура на тройку - это сколько ошибок, опечаток и коротких тире?
Возвращаемся к текущей РСИИ. Если коротко, то была придумана система, по которой разбивка на номинации была чисто формальной, а судьям доставалось в рандомном порядке определенное количество текстов, перемешанных между собой. И вот этим вот текстам каждый судья ставил оценки в меру своего понимания.
Мне сложно сказать, чем руководствовались авторы системы, потому что даже в первом приближении она выглядит всрато. В частности потому что у членов жюри нет точных критериев оценки. Что будет, если член жюри поставит всем максимальные баллы? Что будет, если он поставит всем минимальные баллы? Что будет, если он не прочитает ни одного текста, а оценки поставит наугад, ориентируясь на имена и комментарии подружек? Как система защищает конкурс от всего этого?
Я вообще категорически не понимаю, какую проблему эта система должна была решить. В теории - проблему субъективности. Но когда я это слышу, у меня перед глазами белый шум.
Изо всех сил пытаюсь включить фантазию и реально не понимаю, как такая разбивка может сделать результаты объективнее. То есть в теории, за счет большого количества работ и судей наверх по-любом должны всплыть качественные вещи, а утонуть - некачественные. При этом отказ от обсуждения подразумевал, что если кто-то начнет топить за подружку, то ему не обломится. Правда моя практика судейства говорит, что все в точности до наоборот, но где моя практика, а где теория объективного судейства, бгг.
Но у нас нет большого количества текстов. И у нас нет большого количества судей. Следовательно, "вес" каждого судья является довольно существенным и хаотично влияет на итоговую расстановку текстов.
Жюри в любом случае выставляют оценки, исходя из своих кинков, сквиков, любви или нелюбви к автору, собственному пониманию, каким должен быть хороший текст и т.д. (ну, если конечно их не облучали проклятьями}. При этом если раньше у всех была как минимум одна точка отсчета (вот этот текст в номинации я считаю дном, а этот - охуенчиком), то сейчас тексты группировались рандомно, что полностью исключило момент относительности. Кому-то попалось с десяток сильных текстов и совсем немного говна, и судья, оттопырыв мизинчик, перебирал этот жемчуг мелкий. Кому-то среди говна попалось несколько крепких, читабельных текстов, на их фоне они получили максимальный балл. А кто-то вообще не читал, потому что открыл рсию за сутки до делзйна, охуел, и понаставив оценок рандомно, чисто за имена. И никто, никогда не узнает об этом, потому что все оценки в любом случае валятся в одну кучу, обсуждение не требуется (зачем? система и так идеальна).
Итого, следим за руками: для чтобы придуманная система работала и позволила выбрать максимально объективно, нужно придумать, как обеспечить объективность судей. И дополнительно к этому нужно еще сделать так, чтобы в пуле рандомно подобранных текстов выборки были более-менее равномерными по качеству. А еще за счет того, что критериев оценки несколько, увеличивается доля субъективности. Все мы знаем, чем больше деталей, тем вероятнее поломка.
У меня вопрос - нахуя было городить огород?
Ведь помимо того, что система жутко субъективная, она потеряла при этом единственный, на мой взгляд рычаг управления судьями - прозрачность, пусть и невеликую.
Судейство стало максимально серым, при этом за результат не отвечает никто и ни перед кем.
А раз нет сдерживающего фактора, то зачем стараться? следовательно доля субъективного увеличивается еще больше.
Почему, дорогие коллеги, - вопрошает Аззи, - у нас в шорте говно?
Сверчки, звуки тишины.
А говно у вас в шорте, дорогой друг Аззи, потому что система говно. Старая в принципе тоже говно, но при ней была возможность:
а) снизить долю субъективного
б) получить прозрачный результат как минимум для коллег-жюри
в) устроить движуху и популяризовать какие-то сегменты фандомов, вовлечь авторов, как новых так и старых, в конечном итоге популяризировать сам конкурс.
Все эти возможности были оплачены ценой десятков горящих авторских и судейских жоп.
Потихонечку, маленькими шажками, двигались в сторону более прозрачных и понятных правил. То есть при дальнейшей обработке напильником мы бы получили вполне работающий в наших условиях конкурс.
Новые орги же предпочли собрать бинго:
а) члены жюри судят кто в лес кто по дрова, из-за чего результатом является хаотичный рандом
б) квалификация как минимум некоторых судей не соответствует заявленным целям (как максимум - там между судьями такая пропасть в уровне образования, эрудиции и литературного вкуса, что волосы на всем туловище седеют) и как следствие мы имеем опять же хаотичный рандом в результатах
в) заявленная элитарность отпугнула часть мультифандома, мало кому хочется быть безымянной массовкой, следовательно, положительного хайпа было примерно ноль, зато после шортов появился отрицательный
г) из-за того, что конкурс стал намного длиннее, он потерял актуальность даже для тех, кому было интересно и кто горел результатами.
Менеджмент уровня бог. Всрали все, что только можно - и даже то, что нельзя. Похерили конкурсу последнюю репутацию. Приобрели репутацию мультифандомных клоунов.
Короче говоря, неплохо поработали, можно думать о следующей рсии.
Вот кстати, о следующей рсии.
Я коротко порассуждаю.
1. Для начала стоит определиться, что у нас первично - расставить циферки или выбрать лучшие тексты.
Если второе, то надо осознать раз и навсегда, что любые оценки - это всего лишь технический костыль, который помогает членам жюри сориентироваться в большой массе текстов. Почему костыль вдруг стал определяющим? Откуда вообще появилась эта всратая позиция, что оценки незыблемы, а их изменение приравнивается к мошенничеству. Цель жюри не выставление оценок, оценки может выставить любая обезьяна. Цель жюри - выбрать из представленных текстов лучшее. Оценки им в этом помогают. И их собственная экспертная оценка - тоже.
Сюда же всякие изменения правил в пользу участников.
Потому что этот конкурс для участников, а не для членов жюри, организаторов и ридеров.
И их комфорт и удобство должны быть на первом месте.
2. Надо как-то решить вопрос с прозрачностью. Например, при помощи обязательной публикации судейских/ридерских оценок. С одной стороны, члены жюри будут более ответственно подходить к вопросу, с другой это частично решит проблему с фидбэком. Потому что не все готовы писать отзывы на прочитанное. Но оценки выставляются в любом случае, и даже они - это пища для размышлений и просто для ума.
3. Я бы оставила номинации, сгруппированные по фандомам. Исключение - гостевые номинации и номинация макси (которая раньше как раз была отдельно).
Кстати, ужасно бы хотелось для гостевой номинации аналог грелки. Не с такими жесткими требованиями к срокам, но с самосудом, ограничением на объем, и т.д.
Этот пост я писала скорее для себя, чтобы разложить мысли по полочкам.
Как по самому конкурсу, так и по действиям организаторов.
Мне слишком лень комментировать то, что на скринах, скажу одно - один только разговор от лица логина сообщества говорит о ситуации примерно все.
Нет ответственности - нет проблем.
P.S. Лучше бы я фичок писала, ей-богу.
Тут остро не хватает Тан Хао.
@темы: RSYA
-
-
25.09.2019 в 20:21идея составления шорта по частично прочитанной номинации мне больше всего напоминает ту притчу про пятерых слепых, которые ощупывали слона с разных сторон. Орги, я так понимаю, рассчитывали на закон больших чисел, но он тут не работает, вернее работает не так
При этом другая область математики говорит нам, что если мы ранжируем выбор из более чем двух пунктов и делаем чисто механическое голосование, мы вполне можем получить результат, который не устраивает совсем никого. И только обсуждение может допилить его до результата, который устраивает хотя бы кого-то.
Добавим к этому, что один судия меряет в Кельвинах, другой в Цельсиях, третий в Фаренгейтах - в качестве среднего получаем совершенно бессмысленную оценку.
это я все к тому, что ппкс
-
-
25.09.2019 в 21:52Теперь судить должны"подружайки" из одной тусовки с едиными сука парадигмами и выдавливаться все, кто не вписывается в эти их парадигмы. Потому что никакого майдана, протестов и митингов!
А это резко сужает адекватность всего мероприятия.
Плюс лично у меня вот от этой их "никакой личной ответственности" фейспалм
надо знать, кого вносить в черные списки лол, потому что это прямая дорога к безответственности, да.-
-
25.09.2019 в 22:49-
-
26.09.2019 в 09:01-
-
26.09.2019 в 10:22Мне кажется, ты хорошо вычленила ключевой пункт (ну, кроме отмены разбивки по фандомным кластерам, которая сразу огорчила меня с самого начала, потому что превратила конкурс фанфиков в конкурс недо-ориджиналов). Эта анонимность и безответственность голосующих по рандомным текстам из большой кучи совершенно бессмысленна именно в ситуации литературной премии - любой литературной премии. Есть немало работ по социологии литературных премий в "большой жизни", и если вычленять важное, то там действительно подчеркиваются несколько ключевых моментов: литературные премии это борьба за видение литературы; скандалы или, скажем так, острые обсуждения - это обязательная часть процесса премии, потому что в этих конфликтах проясняются позиции по поводу того, какой литература должна быть, что считается хорошим (с точки зрения разных категорий борющихся), какое направление заслуживает поддержки, какие именно тексты стоит читать. И это все никогда не свободно в том числе от разговоров о фигурах авторов, которые часто персонифицируют собой направления, у которых бывают неудачные и удачные работы (и это тоже дебатируется в обсуждении премии). Ну то есть субъективность и персонифицированность "представлений о хорошем" - это не баг, а фича, и в каждый конкретный момент времени - ежегодная премия там, или какая-то новая премия, или итоговая премия - важно обсуждение этих представлений/критериев на данную минуту, в контексте премии как события и представленного набора текстов. Такие обсуждения (и скандалы, да, и скандалы!) привлекают к премии и литературе внимание новых читателей и вообще читателей, заставляют следить, быть в курсе, спорить. Подмена этих персонализированных споров и позиций рандонимайзером лишила бы премии главного, для чего они создаются.
А по поводу подходов с точки зрения вечности и незабываемого фика времен юности есть одна академическая байка. Однажды, в по-настоящему голодные для ученых 90-е, когда нередко единственной возможностью выжить и остаться в профессии для людей были западные гранты (преимущественно Соросовские тогда), одна сравнительно молодая исследовательница, А., подала свой индивидуальный проект на такой грант и обратилась за рекомендацией (это обязательный пункт был) к своему учителю, крупнейшему филологу Г. Он написал ей рекомендацию, высоко оценивая ее работу и перспективы, а в графе оценок для фонда поставил какую-то ерунду, условные четверки по всем баллам. Она грант не получила, потому что ее суммарный бал оказался ниже других, а гранты получили люди, имен и проектов которых сегодня никто не вспомнит. Когда она, со всем должным почтением, спросила его о причинах таких оценок, он ответил, что, по его мнению, никто не заслуживает высшего балла, включая его самого. Она потом сама опубликовала эту историю, когда издала их переписку
-
-
26.09.2019 в 16:33-
-
27.09.2019 в 16:10какой ты неленивый, Пух.
это сила горящей жопы, она может свернуть горы
Добавим к этому, что один судия меряет в Кельвинах, другой в Цельсиях, третий в Фаренгейтах - в качестве среднего получаем совершенно бессмысленную оценку.
в этой системе бессмысленно все. бессмысленно и беспощадно.
darkmorgana~
мы вам докажем, что вы все ошибались, а мы были правы
проходит время
хм, да, что-то не получилось... кто бы мог подумать?
блэт
~Джи~, так это наверное были злые корыстные люди, которые норовили продавлиить оргов чтобы проталкивать своих подружаек. зачем их слушать.
ns17, да там по-моему у подавляющего большинства был пессимистичный прогноз. Остальные, как Аззи, ждали волшебства
ну да, я поленилась писать вывод, оно и так понятно вроде бы. но.
Как это ни странно - срачи вокруг текстов - это неизбежная составляющая. Более того, оно идет у меня со знаком плюс, потому что в процессе споров как ни странно рождается истина, для каждого своя - тем не менее, споры - это жизнь. когда все со всеми согласны и делают книксен - это смерть.
при этом (скажу страшную вещь) даже не ужасно то, что судьи будут "не те", в рамках рсии Свенгали и я не знаю Кряжевских имеют один и тот же вес, одна пишет получше, другая похуже, но это все равно просто два юзера, которые оценивают текст. И как бы они ни насудили, все равно будут недовольные. Но если при этом судейство будет прозрачным - то есть участники смогут понимать, как проходило судейство, какое место они заняли относительно тех или других текстов - это все пойдет на пользу.
Skytower, там выносили описание критериев, сейчас уже не найду в недрах треда, но имхо с описанием, что подразумевалось под этими понятиями, все более менее понятно.
Элентари, всегда пожалуйста ))
-
-
28.09.2019 в 13:21В итоге наебанными себя чувствуют все - и жюри, и участники.
Все это очень огорчает.
Большое спасибо за пост, ты все очень здорово разложила по полочкам!
-
-
28.09.2019 в 15:03-
-
06.11.2019 в 00:33Если второе, то надо осознать раз и навсегда, что любые оценки - это всего лишь технический костыль, который помогает членам жюри сориентироваться в большой массе текстов. Почему костыль вдруг стал определяющим? Откуда вообще появилась эта всратая позиция, что оценки незыблемы, а их изменение приравнивается к мошенничеству. Цель жюри не выставление оценок, оценки может выставить любая обезьяна. Цель жюри - выбрать из представленных текстов лучшее. Оценки им в этом помогают. И их собственная экспертная оценка - тоже.
Вот просто