Страницы-сироты — статьи, на которые нельзя перейти по гиперссылке при прочтении других статей (при этом не учитываются ссылки из хронологических статей). <= это имелось ввиду под "ссылками снаружи"? Львова Анастасия 16:07, 15 апреля 2008 (UTC)
Полностью разделяю это мнение (и думаю, что на этот счёт есть определённый консенсус в сообществе, коль скоро деятельность проекта "Связность" не была задушена в зародыше ;). Свои комментарии и предложения по исправлению ситуации я напишу ниже, в отдельной секции. Здесь же напомню, что Википедия содержит несколько достаточно самостоятельных и не заменяющих друг друга механизмов и возможностей навигации:
Навигация по ссылкам от статьи к статье - это первый (по времени появления) и основной механизм (что, в частности, отражено и в правилах)
Этот способ навигации имеет два «измерения»:
«Вертикальная» связность, когда до любой статьи возможно дойти по ссылкам от какого-то тематического индекса через обзорные статьи по теме, и далее «вниз» по детализации
«Горизонтальная» связность, обеспечивающая возможность перехода по ссылкам внутри массива тематических статей (а также между такими массивами - например от статьи о химии к биографиям химиков)
Навигация через механизм поиска - для обеспечения в частности этого (но не только этого) механизма служат страницы разрешения неоднозначностей, служебные списки и перенаправления
Навигация по календарным статьям - от календарной статьи о годе или дате по ссылке на конкретное событие / персоналию (или опосредованно - через календарные категории)
Навигация по порталам - напрямую или через вспомогательные тематические списки статей и категорий
Эти возможности используются разными участниками для разных целей, и достаточно сильно различаясь содержательно, должны быть доступны "параллельно" и, по возможности, быть максимально полными (т.е. каждый из них должен охватывать максимально возможный корпус статей). Ничего, что я так подробно? У меня стойкое ощущение "déjà vu" - т.к. я это говорю и пишу уже не в первый раз. Видимо, пора писать эссе на эту тему.--Kaganer 17:33, 14 мая 2008 (UTC)
Как образуются "сироты" при заливках из чужих википедий
Заливки проходят по спискам, которые берутся
из списков в статьях иностранной вики
из категорий в иностранной вики
из cписка статей, использующих определённыё щаблон (напр. "Город Буркина-Фасо") в иностранной вики
При заливке все статьи приобретают правильную категорию и составляются как правило по русскому списку (типа "Районы Малаги"). Обычно составляются навигационные шаблоны, позволяющие проследить всю иерархию статей сверху до низу.
Залитая статья всегда имеет две как минимум ссылки - из категории и из списка. Дополнительно статья имеет ссылку из шаблона, если оный создан.
Шаблоны не создаются когда
Данная группа статей слишком велика (более 100) и шаблон фактически мало помогает в ориентации
В иностранной вики нет удовлетворительной классификации, которая позволяет создать шаблон
Иностранная вики не полна
Надо подумать о создании шаблонов всё же. По райнам, что ли... Томас вон помощь предлагает, у него практики много :) Львова Анастасия 16:16, 15 апреля 2008 (UTC)
Что делать с сиротами
Простановка шаблона "Сирота" на массовой заливке вряд ли полезна так как она
Из-за обилия сирот на разных технологических стадиях делает объёмы категории "Статьи-сироты" необозримыми
К сожалению, она и так уже плохо обозрима, а шаблон, тем временем, не сколько для простановки категории нужен, сколько как инструмент для уничтожения сирот. Львова Анастасия 16:11, 15 апреля 2008 (UTC)
Перемешивает статьи, созданные ботами со статьями, созданными новичками, врезультате чего сироты, созданные новичками, становится трудно отыскать
А зачем их различать? Львова Анастасия 16:11, 15 апреля 2008 (UTC)
Мешает боту заливки, вставляя дополнительные жэлементы для парсинга
Перешружает бот проверок на сироты, который вынужден бывает просматривать все заливки тысяч статей после каждого прохода заново
Что требуется от бота проверки сирот
Тем не менее выявление сирот в заливках позволяет увидеть дефекты процесса заливки и увидеть проблемы в иностранной вики.
Поэтому предлагается следующая процедура бота сирот для проверки заливок:
для статей, созданных ботом, не ставить шаблона "сирота", а составлять отдельный список сирот по каждолму заливочному проекту.
при необходимости составлять детальные списки сирот по подкатегориям - например, провинциям, штатам
И что даст этот список сам по себе?.. Есть, кстати, такой вот список по Испании. Львова Анастасия 16:11, 15 апреля 2008 (UTC)
Наверно нужен не сам список по себе, а список по провинциям и штатам, чтобы было видно, что с чем можно связать. Как по мне, так географические статьи связывать достаточно легко: во-первых можно сделать навигационные шаблоны, либо в любом случае есть населённые пункты, расположенные рядом, о них можно упоминать в соответствующих статьях и делать ссылки. Например с русскими деревнями, по крайней мере у меня не было ещё такого случая, чтобы нельзя было откуда-то поставить ссылку. KWF 18:07, 15 апреля 2008 (UTC)
Если есть категория провинции, то можно посмотреть список сирот в ней... Да, я тоже считаю, что это должно быть легко, но так как в связывании географических статей у других участников больше опыта, то я готова лишь взяться помочь, но не организовать работу :) Львова Анастасия 18:18, 15 апреля 2008 (UTC)
О списках по категориям
Тут [1]
Да, это великолепный список, он действительно помогает разбивать на провинции (я задал категорию Категория:Муниципалитеты Бадахоса. Что с ними можно делать?
На странице проекта составить ссылки на эти списки
В конкретном проекте "Испания" нужен бот который выполняет следующую операцию (например над списком "Муниципалитеты Бадахоса" -
Я очень рад, что инструменты полезны и выявляют "выпавшее", как для ботов, так и для простых авторов. И всё-таки, как это "выпал"? И стоит ли по Вашему выявлять выпавшее в дальнейшем? Предложение по боту великолепное, нужен специалист по ботам, которые правят и собирают данные. Мой, к сожалению, туповат для такой операции, хорошо он умеет только анализировать таблицы на тулсервере. Mashiah 20:33, 15 апреля 2008 (UTC)
Выпал означает что в источнике информации (здесь в испанской вики) забыли об этом написать прямо, и выяснить это иногда удаётся только окольным путём - в данном примере список сирот подсказывает, как искать. Бывают случаи когда получить информацию трудно даже косвенным способом - тогда останутся сироты неон 21:58, 15 апреля 2008 (UTC)
Предложения по дополнениям к регламенту массовых заливок
Нижеследующий материал предлагаю включить в регламент массовых заливок (который пора бы уж и создать). --Kaganer 17:41, 14 мая 2008 (UTC)
Стадия согласования параметров заливки
Эта стадия не решает никаких содержательных проблем но нужна для того, чтобы предотвратить «войну ботов» (бессмысленную и беспощадную). Для этого предполагаемая заливка согласовывается со всеми бото-зависимыми проектами, с которыми она может пересечься по охватываемым статьям - с тем, чтобы определить список возможных проблем и согласовать стадии, на которых заливаемые статьи могут включаться в обработку другими ботами.
Применительно к проекту «Связность» это означает, что, к примеру, все заливаемые статьи включаются во временную скрытую категорию, нахождение в которой исключает их из обработки ботом «Голем». (возможен вариант со скрытым категоризующим шаблоном).
Стадия предварительного анализа
Понятно, что даже когда заливка производится из иноязычных разделов, в обработку попадают только легко формализуемые фрагменты статей, не включающие большинство возможных ссылок.
Некоторые предположения относительно параметров возможных заливок:
Заливается однородный массив статей, связанных между собой ссылками
горизонтально - одним или несколькими навигационными шаблонами
вертикально - ссылками иерархической соподчинённости (например, в статье о городе есть ссылка на район или округ; в статье об округе - список городов этого округа)
Заливаемые статьи включены в одну или несколько соподчинённых категорий, связаных интервиками с аналогичными категориями в исходном языковом разделе
Предполагается, что на заливаемые статьи могут существовать или быть проставлены ссылки из уже существующих статей ру-вики
В случае отсутствия или неполноты в исходном разделе навигационных шаблонов, обеспечивающих горизонтальную связность, нужно создать их в нашем разделе.
В результате, в самом худшем случае, мы получаем изолированный корпус статей, на который не ведут никакие ссылки извне и который доступен только через поиск или через категории. Однако можно найти статьи, на которые должны (могут) быть ссылки из вновь заливаемых статей, а также те, которые, наоборот, должны ссылаться на эти вновь заливаемые статьи
Меры для воссоздания связности
Чтобы повысить связность с остальными статьями ру-вики, нужно:
Пройти ботом по списку залитых статей и через интервики найти для каждой из них (не только в исходном разделе, но и в любом из иноязычных, доступных по интервикам) статьи,
на которые статья ссылается / которые ссылаются на статью
и при этом не входят в список заливаемых
и при этом имеют интервики на статью в ру-вики
при этом должны, вероятно, исключаться календарные статьи и ссылки из служебных пространств имён
проанализировать (в ручном / полуручном режиме) полученный массив и классифицировать статьи для возможной простановки ссылок
Возможно для каких-то групп статей возможно автоматическое формирование раздела "См. также"
Возможно какие-то из найденных статей в исходном или нашем разделе являются избранными или хорошими - это должен быть отдельный "малый список" для строго ручной обработки
Для географических статей (о районах / нас. пунктах) можно выделить связанные статьи о горах, реках и озёрах - эта связь достаточно очевидна и легко проверяема
Для статей о нас. пунктах можно выделить
связанные статьи о событиях
связанные статьи о персоналиях (проставить места рождения/смерти)
...
Сгенерировать для вновь залитых статей список (списки) ссылок на инструментарий проекта «Связность» - для облегчения работы другим участникам
Сделать повышение связности результатов заливки работой недели ;)
Возможно, на этом этапе выяснится желательность дополняющей заливки (например, залить недостающие реки).
Снятие ограничений на обработку
После того, как этап «воссоздания связности» завершён, можно ботом снимать флаг исключения из обработки другими ботами, установленный в рамках стадия согласования.
Обсуждение предложения
Идея временного закрытия очень разумна. На начальном этапе заливки, когда система категорий и навигационных шаблонов ещё не устаканилась, бот сирот будет сильно мешать. На следующем этапе заливки - очень помогать.
Предлагаю ввести следуюшую терминологию.
Первый проход - заливка всех статей проекта, создание навигационных шаблонов, возможны эпизодические ошибки или неточности, требуется коррекция и дополнение информации.
Второй проход - коррекция ошибок, неточностей первого прохода, внесение косметических правок, улучшение связности
Третий проход - добавление и нформации, не взятой первым проходом
Актуализация - повторные проходы через все статьи для внесения поправок, чтобы учесть изменения статей за прошедший период в оригинальной википедии.
На Первом проходе бот сирот запрещён, запрещены также переименования статей. Участники проекта могут временно уничтожить или переименовать статьи, готовые до этого, чтобы получить версию бота (а потом объединить старую версию и заливку)
После Первого прохода бот сирот специально приглашается для определения связности. Проводится анализ связности для второго прохода.
Снимаются ограничения на работу бота сирот, других ботов, а также на переименования.
Ваше предложение звучит как требование особых условий для одного из ботов. Я считаю, что к ботам, напротив, нужно больше внимания, ибо совершаемые ими огрехи порой можно поправить только с использованием других ботов. Никакого «второго прохода» по Незавершённым статьям по географии Испании (более 1600 статей изолированных статей) и Незавершённым статьям по географии Мексики (более 1100 изолированных статей) до сих пор не было. Mashiah 00:27, 18 мая 2008 (UTC)
Позвольте, я расшифрую, что имею в виду под "особыми условиями". Исключение из обработки технически возможно, но я бы отложил его до того момента, пока счётчик статей также перестанет исключать такие статьи из внимания. Мне кажется, вопрос, который мы решаем есть принципиальный вопрос о соотношении количества и качества статей Википедии. Участникам рекомендуется создавать недоработанные статьи в песочницах, некоторые используют в таких случаях "/Temp", но это, к сожалению не влияет на поведение счётчика количества статей. Mashiah 00:45, 18 мая 2008 (UTC)
Ешё нужно что-то делать со ссылками на страницами значений. Массово расставляемые ссылки следует делать через название с максимально точным именем, чтобы исключить тысячи ссылок на дизамбиги типа Округ, Штат итп. Mashiah 00:34, 18 мая 2008 (UTC)
Давайте устанавливать принципы взаимодействия ботов. Хотелось бы Вашей стороны также желания помочь своими техническими возможностями, а не накручичанием требований. Я не могу в одиночку залить всё на свете, тем не менее это придётся сделать с помощью многих ботов и многих участников. Точно также один автор не может написать все статьи, а Википедия создаётся тысячами авторов.
Позвольте мне сформулировать несколько тезисов заливки (которые уже высказывались в заливочнызх проектах)
Качественная заливка создаётся только в обсуждении с учётом пожеланий многих участников.
Не следует стремиться стразу с первого прохода получить абсобютно правильные и содержательные статьи. Тогда инкубационный период затянется на многие месяцы, а ошибок все равно не иззбежать. Заливки создаются также как и обычные статьи - с заготовок и постепенной коррекции и наращивания информации.
Следует по возможности быстро создавать первоначальную серию заготовок. Тогда большое количество участников привлекаются к обсуждению, что обдегчает следующие проходы. Наоборот, до начала заливки участники мало активны, потому что не понимают возможностей заливки и ожидаемых результатов
Целью заливки является создание инфраструктуры статей, которые позволяют писать содержательные статьи, не уделяя внимания формальным однотипным сведениям.
В первую очередь в эту инфраструктуру входят города, поселки и административное деление, потому что на них завязано множество статей - география, история, персоналии, события ....
Далее инфраструктура наращивется поперечными заливками (например - реки, острова, замки, аэропорты, музеи, которые уже опираются на сеть городов. Объект поперечной инфраструктуры имеет географическую привязку, м наоборот, города дополняются этими сведениями (например, проект "Замки Германии" приводит ко включению краткого описания замка в статью о городе). Это разумеется приводит к улучшению связности -- но самое главное - к улучшению качества
Далее созданная инфраструктура является базой для дальнейших статей менее географически привязанных - например - персоналии, фильмы, и т. д.
Вопросами Дизамбигуации должен заниматься специальных проет после проведения заливок - сходные и одинаковые названия должны подбираться и составляться грамотные дизамбиги. В рамках одного заливочного проекта дизамбигуация невозможна, потому что с большой вероятностью имя будет использоваться в более поздних заливочных проектах. Дизамбиги необходимо увязывать совместными проходаи после кгуппы заливок. Например - города Германии, Австрии, Швейцарии, Чехии надо увзывать вместе, города Болгарии, Сербии, Белоруссии ... - тоже вместе.
Пометки о связности достаточно важны после начального этапа заливки, низкая связность говорит о необходимости применять дополнительные меры....
В работе данного бота есть свои планы, и задача увязывания испанских и мексиканских ссылок уже стоит. Но не ожидайте только мнговенного решения - это тоже надо программировать, а требований к боту выдвигают огромное количество. Я думаю что важно - чтобы как можно больше участников подключались к работе с этими заливочными стабами (включая боты) и предлагали свои пути их улучшения и наращивания - но для этого надо больше заливать! Я был бы рад если бы ещё хотя бы пара ботов научилось обслуживать эти заливки - даже на уровне AWB.... неон 12:23, 18 мая 2008 (UTC)
Что в этих заливках можно обслуживать на уровне AWB? Львова Анастасия 12:28, 18 мая 2008 (UTC)
Вопрос хороший.
Во-первых - мелкая косметика. Например в болгарской заливке Община Брезник написано "Население составляет 7562 человека ( на 21.07.05 г.)". Мне уже высказали замечание - пробел после скобки, можно было бы и дату заменить 21 мая2005. Когда речь идёт о малых заливках (260 статей Общины Болгарии) это проблема 20 минут. В больших заливках на 5000 статей это 12 часов прогона бота, я уже сталкиваюсь с недостатком времени. Во-вторых - бот переименований. У меня есть бот который переименовывает по списку, но одно переименование часто ссылается на десяток статей и шаблонов и может занимать несколько минут. Переименований не ищбежать - обязательно придут профессионалы-лингвисты типа Юрия Карякова и заставят привести все имена в пордок, но чтобы они пришли надо сначала залить! Вероятно проблема переименований тоже решается с AWB. Третья проблема - массовое переименования шаблонов и категорий. Например, я составил шаблон "Населённые пункты варненской области" - варненский с маленькой буквы. Это в принципе правильно, но в Википедии принято писать Варненской с большой. Значит, надо переименовать все шаблоны и ссылки на них. Одно дело - мои ошибки, другое - затяэной спор, например, как писать - Херона или Жирона и соответственно провинция и спецификатор. Спор ведётся долго и безлезультатно, но если он придет к решению - надо быдет выправить оеоло 600 статей..... неон 13:07, 18 мая 2008 (UTC)
К обсуждению предложения: нельзя ли заливки организовывать от областей — к населенным пунктам, а не наоборот?.. Львова Анастасия 21:25, 18 мая 2008 (UTC)
Так конечно правильно, но области надо писать вручную - много нюансов и мало областей чтобы насиловать бота. У меня сейчас есть время пускать бота по-серьёзному, через неделю его не очень будет, но будет время править вручную. Пожтому Болгарию я немного форсировал неон 23:05, 18 мая 2008 (UTC)
Это приводит к тому, что мы в конце дня получаем кучу изолированных кластеров, по которым тоже гоняем бота, фактически делая пустые правки ;( А ещё и нервничаем порою, пытаясь понять, не завершена заливка или в ней ошибки. Например, всю Бразилию я связывала вручную, там всего-то надо было по статьям более крупного региона проставить шаблон, который был в каждой более мелкой административной единице, но связывать я начала, лишь когда убедилась, что уже, оказывается, идёт другая заливка. Сейчас примерно та же ситуация по Болгарии, но там, как я вижу, пока просто не созданы статьи областей... Ну хорошо, я так понимаю, что это только для болгарской заливки актуально, статьи областей будут созданы. Пожалуйста, не могли бы Вы на будущее учесть просьбу о последовательности заливки?.. Спасибо!
С Мексикой так ничего и не понятно, кстати. Есть ли по ней идеи? Список изолированных статей в ней известен. Давайте договариваться :) Львова Анастасия 23:12, 18 мая 2008 (UTC)
Небольшой комментарий
Можно я поясню, то, что опустил в своём предложении, т.к. считал, что это очевидно? Я исходил из того, что заливка - это сложный процесс, растянутый по времени (но конечный), и имеющий некую внутреннюю процедуру (возможно, унифицируемую). Соответствено, начиная заливку нужно опубликовать эту процедуру и ожидаемые временные рамки, а также постоянно (раз в сутки?) актуализировать статус (думаю, это несложно). Т.е. в каждый ммоент времени любой участник должен иметь возможность узнать, что происходит и когда и чем всё это закончится. Соответственно, и другие боты (в первую очередь - те, которые анализируют все статьи или сидят на свежих правках) должно быть возможно настроить на основании этой информации (этапы, замораживающие обработку). Однако это совсем не означает, что такие "слепые" этапы должны или могут затягиваться на неопределённое время!--Kaganer 18:50, 26 мая 2008 (UTC)
В общем, суть предложения - обязательная публикация чёткого статуса и регламента каждой заливки на отдельной подстранице раздела Проект:Работа для бота/Заливка статей. А кто и что делает или не делает в процессе каждого из этапов -вероятно, может оговариваться для каждой заливки индивидуально, или м.б. выработано некоторое "умолчание", когда явно декларируется наличие некоторых стандартных этапов, чётко определённых по времени, по отношению к которым другие боты вырабатывает не менее стандартную практику обработки. Давайте разделим задачи:
создадим страницы со статусом уже выполненных или продолжающихся заливок и попробуем их унифицировать
уже в обсуждении этих страниц продолжим обсуждение конкретных проблем и задач
Отсюда эту тему нужно выносить, пока она окончательно не превратилась в аморфное нечнто.
--Kaganer 18:50, 26 мая 2008 (UTC)
Со своей стороны готов дать полное согласие на любые сроки заливок со стороны уважаемого Неона, если при их произведении будет соблюдено два условия:
Заливка будет осуществляться "сверху вниз", от того, что ссылается на то, на что ссылаются.
Массово включаемые в шаблоны и статьи ссылки будут проверяться, чтобы по возможности не ссылаться на страницы значений и понятия, которые очевидно имеют более одного значения, но дизамбиг пока не создан. Mashiah 19:51, 26 мая 2008 (UTC)
Вопросы к ботоводам
Есть ли боты типа AWB которые используют на входе скрипт
(чтобы можно было сформировать команды типа "Заменить в категории "Президенты России" "Путин" на "Медведев").
Такие скрипты можно генерировать парсингом неон 13:26, 18 мая 2008 (UTC)
Да, это запросто делается с помощью AWB. Львова Анастасия 13:33, 18 мая 2008 (UTC)
А можно узнать этот скрипт? Я буду прямо на нём генерировать задания для ботов там где AWB достаточно - моё бот для некоторых вещей черезчур громоздок, и я бы с удовольствием передал бы AWB.ботц ряд функций неон 19:15, 18 мая 2008 (UTC)
Может, будете просто давать задание в виде «Заменить в категории „Президенты России“ „Путин“ на „Медведев“»?.. Я сама могу на основе такого задания делать настройки для AWB и пускать бота. Единственное, хорошо, когда условие составления списка одно (например, условие — категория), составлять списки типа «статьи категории, которые ссылаются на статью x» AWB не умеет. Львова Анастасия 19:34, 18 мая 2008 (UTC)
Вопросы к Машиаху
Есть ли Интерфэйс у Вашей базы данных сирот чтобы читать ответы на запросы в формате xml или atom ... а не парсить html? Точно же есть! неон 13:26, 18 мая 2008 (UTC)
Тексты в базе, кажется, есть, но я с ними обращаться не умею. Работа с текстами существенно замедлит анализ, дни вместо часов. Mashiah 21:56, 18 мая 2008 (UTC)
Вместо итога
Всем большое спасибо, я переварю данную дискуссию и открою специальный проект Проект:Заливка новых статей, куда обязательно приглашу всех участников данной дискуссии.
Цель проекта - Общая координация заливочных проектов, информация о состоянии и стадии, обсуждение стратегий и обсуждение технических вопросов. Конкретные же заливки будут обсуждаться в соотвествующих проектах.
В ближайшее время я попробую (после некоторых экспериментов с Испанией и Мексикой ) запустить поперечную заливку типа "Реки Германии" или "Горы Мексики", которая будет пересекать заливку городов. неон 20:58, 26 мая 2008 (UTC)