Как кардинально улучшить Sape

[fourfingers]

• В первую очередь, необходимо привести в соответствии категории сайтов при добавлении в систему. Они должны полностью дублировать рубрикатор Яндекс.Каталога. Это позволит оптимально находить площадку для рекламы, поскольку нет ничего лучше, чем использование оригинальных ресурсов Яндекса. (Обычно при добавлении сайта в Яндекс.Каталог категория не меняется.)
• Модераторы должны пристально следить за соответствием сайта категории при добавлении. Кроме того, нужно просматривать добавляемый сайт на наличие проиндексированных страниц форумов, гостевых, домок объявления, каталогов, не несущих информации. Визуально хорошо видно, присутствуют ли на сайте сотни мусорных страниц, однако на данный момент модераторы игнорируют даже правила Sape. Простейший вариант проверки: обнаружение в URL ключевых слов "board", "forum", "guest" и т.п. (в этом случае проводить проверку). Ведь на момент модерации страницы уже добавлены в систему и их можно увидеть и проверить.
• Создать робота, проверяющего объём чистого текста в страницах. Это значение можно как проставлять в информации о странице и включить в фильтр при поиске площадки, так и просто включить определенный лимит на добавление (не менее 2 Кб). Вычленить непрерывный текст в странице труда не представляет. Конечно, потребуются дополнительные ресурсы, чтобы собрать такую информацию, но эти меры окупятся авторитетностью системы Sape, да и ценой ссылок. И что немаловажно, такая проверка не зависит от Яндекса и Google, то есть сложностей с ними (блокировок) не будет.
• Переработать работу скриптов сайта для уменьшения нагрузки.

Простой пример: поиск площадок. Как происходит подбор?

1. выставляются параметры поиска;
2. выдается результат поиска, нумерация страниц;
3. заказываются нужные страницы...
4. вновь выполняется поиск по базе (это понятно по времени ожидания), вновь выдаюится результаты;
5. после выбора страниц на первой страницы, переходим к другой и...
6. вновь выполняется поиск и выдача результатов!

Нет, смотреть на мучения веб-сервера и базы данных просто невозможно. Почему не сделать кэширование выбранных данных с привязкой к сессии? Ведь логично предположить, что пользователь будет уточнять запросы, делать заказы неоднократно. Можно было в ассоциированную с сессией записью вносить параметры поиска и полученный результат. Конечно, потребуется дополнительное место на дисках, но это ничто по сравнению со снижением нагрузки.


Я являюсь программистом и создал более 100 сайтов, очень себе представляю, как решить ту или иную задачу в веб-программировании. На мой взгляд, Sape мог бы значительно облегчить труд оптимизаторов, выполнив эти и другие (при желании) пожелания.

[mnemonic]

Практически готовое ТЗ для разработки новой...идеальной системы купли-продажи ссылок

А если серьезно - мир так несовершенен, его можно бесконечно улучшать.

[Massacre]

лучше б облегчили труд вебмастеров, дав возможность настраивать -все- параметры, к примеру максимальный размер ссылки или автоснятие SLEEP

а модераторов направили бы на тексты оптимизаторов. чтобы как в директе было.

[Jooz]

Ну в общем то потдерживаю, только любое "ТЗ" должно рассматривать все возможные варианты!

Начнем:

Сообщение от fourfingers

В первую очередь, необходимо привести в соответствии категории сайтов при добавлении в систему. Они должны полностью дублировать рубрикатор Яндекс.Каталога. Это позволит оптимально находить площадку для рекламы, поскольку нет ничего лучше, чем использование оригинальных ресурсов Яндекса. (Обычно при добавлении сайта в Яндекс.Каталог категория не меняется.)

По моим наблюдениям в сапе не более 10% сайтов которые в Яке, а что делать с остальным

Сообщение от fourfingers

Модераторы должны пристально следить за соответствием сайта категории при добавлении. Кроме того, нужно просматривать добавляемый сайт на наличие проиндексированных страниц форумов, гостевых, домок объявления, каталогов, не несущих информации. Визуально хорошо видно, присутствуют ли на сайте сотни мусорных страниц, однако на данный момент модераторы игнорируют даже правила Sape. Простейший вариант проверки: обнаружение в URL ключевых слов "board", "forum", "guest" и т.п. (в этом случае проводить проверку). Ведь на момент модерации страницы уже добавлены в систему и их можно увидеть и проверить.

Практически не реально следить за наличием индексированных паг.
Индексация, если вы знаете, штука удивительная, сегодня есть страничка, завтра нет. Сапе дало вам инстумент анализа, пользуйтесь. Не забывайте легких денег не бывает, нужно же чуток и работать
По поводу форумов и так далее, исключать нужно во время приема сайта в систему. Т.е. ручная проверка. Хотя у самого 1 форум в системе )))

Сообщение от fourfingers

Создать робота, проверяющего объём чистого текста в страницах. Это значение можно как проставлять в информации о странице и включить в фильтр при поиске площадки, так и просто включить определенный лимит на добавление (не менее 2 Кб). Вычленить непрерывный текст в странице труда не представляет. Конечно, потребуются дополнительные ресурсы, чтобы собрать такую информацию, но эти меры окупятся авторитетностью системы Sape, да и ценой ссылок. И что немаловажно, такая проверка не зависит от Яндекса и Google, то есть сложностей с ними (блокировок) не будет.

Фантастика, тут сыром "Хохланд" пахнет, или чудесными благовониями с берегов Лимпопо

Сообщение от fourfingers

Переработать работу скриптов сайта для уменьшения нагрузки.

Вот часто это слышу, и немножко удивляюсь.
У меня туева туча тут сайтов на 2х-Колокейшинах (свои железки) и 2х Обычных, но качественных, российских хостингах.
Ну НЕТУ у меня проблем, нету и все!
А если кто-то ругается на качество за хостинг в 1$ месяц, ну так чего вы хотели, и рыбку съесть и на йух сесть!

В общем Пожелание логичны, но далеки от реализации.
Слишком много всяких "но" которые давно тут обсуждают, и вынашивают. Будем конечно надеятся на дальнейшее улучшение сервиса. Я уверен руководство это понимает, и работает в этом направлении.

[fourfingers]

Сообщение от Massacre

а модераторов направили бы на тексты оптимизаторов. чтобы как в директе было.

На самом деле, текст ссылок тоже можно генерировать автоматически. Я для своих сайтов сделал такой генератор, который по объективным критериям выбирает из текстов предложения, затем вручную выделяется нужный текст для непосредственно ссылки. Можно разработать такой инструмент, который бы выбирал предложения с сайта с нужными словами. А можно включить и в Sape функцию выборки из текста добавленного в проект сайта. Но это больше фантастика, поскольку ресурсов на это нужно немало Хотя в свете предстоящих изменений, возможности выделения текста для контекстных ссылок, это вполне реально: текст для ссылок будет выделяться вебмастером особым тегом.

[fourfingers]

В ответ на Jooz (не стал приводить цитаты, путаюсь).

1. Если сайта нет в каталоге Яндекса.

Я не напрасно упоминал то обстоятельство, что Яндекс.Каталог обычно не меняет рубрику при добавлении, указанную в форме на добавление (личный опыт). По этой причине сайты не в каталоге следует всё же приобщать к какой-то категории, и именно это соответствие должен проверять модератор.

2. Проиндексированность страниц и возможность попадания форумов и прочего мусора вдальнейшем.

Дело в том, что несанкционированное модератором добавление новых страниц невозможно! Ведь при каждой переиндексации сайт вновь попадает на модерацию. Таким образом, страницы могут только исчезнуть, но не появиться!

3. Хостинг и нагрузка.

Не понимаю, о чем речь. Факт в том, что Sape здорово подвисает каждый раз при "сложном" запросе, а это можно было бы исключить, реализуя указанную в посте меру. Возможно мы немножко не поняли друг друга. Не берусь оценивать стоимость хостинга для Sape, но сдается мне, это не один выделенный сервер, и не самый слабый.

Я считаю перечисленные идеи вполне реальные (и у меня есть более нереальные!). Приходилось делать и такие сложные вещи, а для хорошего результата ничего не жалко. Не надо унывать, всё должно быть для удобства пользователя, а это возможно.

[Massacre]

единственное место где "подвисает" sape - интерфейсы ВМ/О с надписью "no database connection"

и это почему-то становится регулярным...

[fourfingers]

Сообщение от Massacre

единственное место где "подвисает" sape - интерфейсы ВМ/О с надписью "no database connection"

и это почему-то становится регулярным...

Это уже не подвисание, а самая настоящая ошибка. А вот при поиске с опциями, которые требуют обширных выьорок и сверки условий, происходит долгое ожидание, которое, как я написал, можно устранить. В ряде случаев приходится очень долго дожидаться окончания операций и подбор площпдок превращается в мучение.

[mustafa]

тема закрыта по желанию ТС.

[fourfingers]

Ответ администратора ясен, тему считаю закрытой. Как говорится, было бы желание.