Перейти к содержимому


Фото
- - - - -

Компьютерные комплектующие ("железо")


  • Чтобы отвечать, сперва войдите на форум
167 ответов в теме

#36 Kraftwerk

Kraftwerk

    Minimum - Maximum

  • Свои люди
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 24 418 Сообщений:

Опубликовано 13 Май 2011 - 17:00

РАИД, даже зеркало, дает кстати значительный прирост. Просто потому что винты начинают работать в расширенном режиме. Было желание попробовать его на одиночном винте, но руки не дошли, да и стремновато. В обычтом режиме такой винт уже не загрузится.


Как раз ТОЛЬКО РАЙД 0 оптимален (стрип) и даст прирост скорости СЧИТЫВАНИЯ :) я именно про этот вариант и говорю, но там будут "проблемы" с записью на медленных РАЙД-контроллерах, запись будет медленнее, сравнительно, ессно
Зеркалка вообще не катит никаким боком, там контроллер для обработки блоков нужен со своим встроенным процом не меньшим, чем в системе :)
Вообще по определению, чем лучше железный райд-контроллер тем лучше

РАЙД 0 как правило и пользуется популярностью у игрунов, на эту спарку назначают запись-чтение некритичных данных, которые не жалко и потерять в случае чего - темп-своп и т.п. легко восстанавливаемое, главное скорость считывания-записи, остальное побоку

Изменено: Kraftwerk, 13 Май 2011 - 17:12

  • 0

Oil-mini.gif On OuR aGe OiL wiLL sUfFiCe


#37 sd55

sd55

    Местный

  • Свои люди
  • 981 Сообщений:

Опубликовано 13 Май 2011 - 17:27

Как раз ТОЛЬКО РАЙД 0 оптимален (стрип) и даст прирост скорости СЧИТЫВАНИЯ :) я именно про этот вариант и говорю, но там будут "проблемы" с записью на медленных РАЙД-контроллерах, запись будет медленнее, сравнительно, ессно
Зеркалка вообще не катит никаким боком, там контроллер для обработки блоков нужен со своим встроенным процом не меньшим, чем в системе :)


Скажу проще - опыт есть? Тоесть рельные опыты с тем же зеркалом? Я здесь не говорю про спец контролеры, просто обычный южный мост Интела. Если нет, то оч рекомендую :). Лучше б на реальной задаче.

Я сравнивал в множестве различных вариантов, на реальной задаче (1С). Быстрей РАИД с зеркалом работал только РАМ диск. Одиночный диск при этом работал почти на порядок медленней. Стрип по понятным причинам и не расматривался, (надежности нет, да и прирост скорости врядли будет достигнут - разница между зеркалом и РАМ диском процентов 50, а то и меньше). Делать 10 РАИД пока смысла нет.
  • 0

#38 Kraftwerk

Kraftwerk

    Minimum - Maximum

  • Свои люди
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 24 418 Сообщений:

Опубликовано 13 Май 2011 - 17:34

Скажу проще - опыт есть? Тоесть рельные опыты с тем же зеркалом? Я здесь не говорю про спец контролеры, просто обычный южный мост Интела. Если нет, то оч рекомендую :). Лучше б на реальной задаче.

Я сравнивал в множестве различных вариантов, на реальной задаче (1С). Быстрей РАИД с зеркалом работал только РАМ диск. Одиночный диск при этом работал почти на порядок медленней. Стрип по понятным причинам и не расматривался, (надежности нет, да и прирост скорости врядли будет достигнут - разница между зеркалом и РАМ диском процентов 50, а то и меньше). Делать 10 РАИД пока смысла нет.


:) что то не совсем ИМХО хорошо у тебя с понимаем разных РАЙД массивов

1. Самый быстрый по скорости считывания-записи РАЙД 0, он же стрип. Она достигается параллельными режимами записи-считывания, именно параллельными разных блоков с разных дисков, скорость теоритически увеличивается именно в ДВА раза, если контроллер не тупит, но резервирования нету НИКАКОГО, нагибается один из дисков - нагибаются данные считай на обеих, но при сегодняшних достаточно надежных технологиях клепания дисков случай выхода диска из строя довольно редкое явление, не чаще, чем если бы он у тебя стоял один, ну а тут два стоят. Повторю, на такие массивы отдается задача записи-считывания некритичных данных, своп-темп и т.п. по скорости в приоритете, снеслось, да и хрен с ними, восстановил "стрип", накатил на него бэкап (если нужно) и понеслось дальше
2. РАЙД 1 - зеркало, самый простой с т.з. защиты информации, но и самый медленный и дорогой в плане полезной площади. Инфа записывается параллельно, но одних и тех же блоков. НИКАКОГО ПРИРОСТА скорости, наоборот ее понижение в случае тупости контроллера, токма голимая сохранность, тупое двойное резервирование
3. РАЙД 10 - очень дорогой в плане количества винтов для организации (В ДВА РАЗА), но скорость выше чем у "зеркалки", потому как является гибридом РАЙДА 0 и РАЙДА 1, то бишь не менее 4-х винтов... не хило!!! :) хотя знаю мазохистов, которые далли такое чудо на двух винтах с логическими томами по два на каждом... я прадва долго смеялся на возможностью получения какого-либо прироста в скорости и безопасности резервирования :)

Изменено: Kraftwerk, 13 Май 2011 - 17:45

  • 0

Oil-mini.gif On OuR aGe OiL wiLL sUfFiCe


#39 sd55

sd55

    Местный

  • Свои люди
  • 981 Сообщений:

Опубликовано 13 Май 2011 - 17:45

Мануал цытировать не нужно.

Я спрашивал про рельный личный опыт. Если его нету, можно прислушаться к чужому.

Еще раз повторюсь, проводились спец иследования, на множестве разных пусть и бытовых платформах, в разных комбирнациях.
Задача - оптимизация конструкции, под работу сервера 1С. Могу привести циферки. Но врядли кому будет интересно.
Вывод касаемый данной темы - отличие производительности РАИД 1 от одиночного винта почти на порядок. Отличие от РАИД1 от РАМ диска на процеты.

Комент. РАИД 10 это комбинация РАИД 0 и РАИД 1, а не то что написано постом выше.

Изменено: sd55, 13 Май 2011 - 17:49

  • 0

#40 Kraftwerk

Kraftwerk

    Minimum - Maximum

  • Свои люди
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 24 418 Сообщений:

Опубликовано 13 Май 2011 - 17:55

Мануал цытировать не нужно.

Я спрашивал про рельный личный опыт. Если его нету, можно прислушаться к чужому.

Еще раз повторюсь, проводились спец иследования, на множестве разных пусть и бытовых платформах, в разных комбирнациях.
Задача - оптимизация конструкции, под работу сервера 1С. Могу привести циферки. Но врядли кому будет интересно.
Вывод касаемый данной темы - отличие производительности РАИД 1 от одиночного винта почти на порядок. Отличие от РАИД1 от РАМ диска на процеты.


Блин! :)
Стрипы я клепал уже хрен знает когда. И именно на своем опыте тебе тут все и расписываю :)
Производительность РАЙД 1 не может отличаться от производительности такого же одиночного диска на ПОРЯДОК (это в 10 раз :)), просто по определению, она будет ТАКОЙ ЖЕ, потому как скорость записи на такой РАЙД1 такая же как и на одиночный диск, ну просто по определению этого РАДа, крутятся винты так же и головки машут так же, не быстрее. Считывание (ТОЛЬКО за счет наличия специального ДОПОЛНИТЕЛЬНОГО умного контроллера, распайки на материнке редко такие) может увеличиться за счет наличия (???) возможности у контроллера оптимизировать считывание РАЗНЫХ блоков с РАЗНЫХ винтов одновременно, но и то, скорость в теории может возрасти ТОЛЬКО в ДВА раза (не на порядок :))
Повторю, у стрипа этот режим заложен уже в самой структуре массива (контроллер может только помоч с шустростью) считываются (ну или записываются, на стрипе именно так) сразу ДВА разных блока на разных винтах массива, если контроллер не тупит с их слепливанием в один кусок-поток, скорость передачи увеличивается в ДВА раза (опять не на порядок)
Изучаем мануалы :) и пользуем в реале... чего лично я и имею сейчас на своем игровом компе - стрип из двух САТА винтов, не зеркало, оно мне наф не нужно, мне нужна именно скорость режимов считывания-записи

Изменено: Kraftwerk, 13 Май 2011 - 18:00

  • 0

Oil-mini.gif On OuR aGe OiL wiLL sUfFiCe


#41 BloodLust

BloodLust

    Местный

  • Свои люди
  • 1 270 Сообщений:

Опубликовано 13 Май 2011 - 17:57

:) что то не совсем ИМХО хорошо у тебя с понимаем разных РАЙД массивов

1. Самый быстрый по скорости считывания-записи РАЙД 0, он же стрип. Она достигается параллельными режимами записи-считывания, именно параллельными разных блоков с разных дисков, скорость теоритически увеличивается именно в ДВА раза, если контроллер не тупит, но резервирования нету НИКАКОГО, нагибается один из дисков - нагибаются данные считай на обеих, но при сегодняшних достаточно надежных технологиях клепания дисков случай выхода диска из строя довольно редкое явление, не чаще, чем если бы он у тебя стоял один, ну а тут два стоят. Повторю, на такие массивы отдается задача записи-считывания некритичных данных, своп-темп и т.п. по скорости в приоритете, снеслось, да и хрен с ними, восстановил "стрип", накатил на него бэкап (если нужно) и понеслось дальше
2. РАЙД 1 - зеркало, самый простой с т.з. защиты информации, но и самый медленный и дорогой в плане полезной площади. Инфа записывается параллельно, но одних и тех же блоков. НИКАКОГО ПРИРОСТА скорости, наоборот ее понижение в случае тупости контроллера, токма голимая сохранность, тупое двойное резервирование
3. РАЙД 10 - очень дорогой в плане количества винтов для организации (В ДВА РАЗА), но скорость выше чем у "зеркалки", потому как является гибридом РАЙДА 0 и РАЙДА 1, то бишь не менее 4-х винтов... не хило!!! :) хотя знаю мазохистов, которые далли такое чудо на двух винтах с логическими томами по два на каждом... я прадва долго смеялся на возможностью получения какого-либо прироста в скорости и безопасности резервирования :)

Вообще RAID-контроллеры, которые встраиваются в дешёвые (а иногда и не очень) мамки, таковым не являются. Обычно они представляют из себя всего лишь биос PCI-устройства, не более того. Поэтому рэйд на таких контроллерах является исключительно программным. Скорость такого RAID тоже как-то херовата.
  • 0

Украл -- Выпил -- Сменил фамилию, РОМАНТИКА!

 

Никто и не говорил, что будет легко! Потому что они борются за свое право — за право беззастенчиво грабить страну и бесконечно обогащаться. И это право путинская воровская бригада нам так просто не отдаст! (С) Г. Каспаров

Мы должны вновь продемонстрировать, что граждане России готовы к тяжелой рутинной политической борьбе. Вот с этими людьми, которые ни в коем случае не отдадут нам свое право бесконтрольно обогащаться и узурпировать власть в стране. (С) А. Навальный


#42 Kraftwerk

Kraftwerk

    Minimum - Maximum

  • Свои люди
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 24 418 Сообщений:

Опубликовано 13 Май 2011 - 18:02

Вообще RAID-контроллеры, которые встраиваются в дешёвые (а иногда и не очень) мамки, таковым не являются. Обычно они представляют из себя всего лишь биос PCI-устройства, не более того. Поэтому рэйд на таких контроллерах является исключительно программным. Скорость такого RAID тоже как-то херовата.


я про это и сказал, говоря про отдельные "железные" контроллеры... ну от того же адаптека-майлокса и т.п.

распайками на мамке можно поиграться только со стрипом на скорость, зеркалка будет только для резервирования, никакого прироста распайкой на мамке там не пахнет, даже будет скорее всего подтормаживать по сравнению с одиночным винтом, по крайне мере у меня так и было, поентому плюнул и заделал голимый быстрый стрип под темпы-свопы и т.п. некритичную хрень, которую хотелось бы считывать-записывать быстрее, чем на одиночник...ясен пень не на порядок :) мы реальнее смотрим на жизнь, дай бог бы в ДВА раза :) ибо пользуем именно распайку на мамке

Изменено: Kraftwerk, 13 Май 2011 - 18:09

  • 0

Oil-mini.gif On OuR aGe OiL wiLL sUfFiCe


#43 sd55

sd55

    Местный

  • Свои люди
  • 981 Сообщений:

Опубликовано 13 Май 2011 - 18:26

Вообще RAID-контроллеры, которые встраиваются в дешёвые (а иногда и не очень) мамки, таковым не являются. Обычно они представляют из себя всего лишь биос PCI-устройства, не более того. Поэтому рэйд на таких контроллерах является исключительно программным. Скорость такого RAID тоже как-то херовата.


Есть всякое. Имелось ввиду РАИД на южном мосте Интела.
Вот примерные цифирки. Справа время. Через черточку время тойже операции но ТЕМП в РАМ.

Pentim D3Gg/3G/ RAID1 ICH7 - 4.55/4.19
Pentim D2.8Gg/0.5G/ HDD ICH7 - 25.02/5.39

Конечно опыт не чистый но тенденция проявляется резко поэтому, более чистых опытов просто не проводили.
  • 0

#44 Kraftwerk

Kraftwerk

    Minimum - Maximum

  • Свои люди
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 24 418 Сообщений:

Опубликовано 13 Май 2011 - 22:31

Вот примерные цифирки. Справа время. Через черточку время тойже операции но ТЕМП в РАМ.

Pentim D3Gg/3G/ RAID1 ICH7 - 4.55/4.19
Pentim D2.8Gg/0.5G/ HDD ICH7 - 25.02/5.39

Конечно опыт не чистый но тенденция проявляется резко поэтому, более чистых опытов просто не проводили.


если с объемом памяти не напутано, очень даже хорошо видно как объем оперативной памяти влияет в режиме кэширования на всякие операции записи-считывания с винчестерами :) чем меньше оперативки, тем отстойнее считывание-запись через кэш, ее практически нету, как и кэша :)

так, для ликбеза разные тесты разной давности на тему "страйпы" однозначно рулят по скорости :) ну если мне таки не веришь на слово:
http://www.ferra.ru/...storage/s25425/
http://www.fcenter.r...dware/hdd/23796
http://www.ixbt.com/...740-raid0.shtml

Изменено: Kraftwerk, 13 Май 2011 - 22:48

  • 0

Oil-mini.gif On OuR aGe OiL wiLL sUfFiCe


#45 Lion

Lion

    Турист

  • Свои люди
  • 285 Сообщений:

Опубликовано 13 Май 2011 - 23:59

Вот понаписали то. На досуге поизучаю, как техническое руководство :)
sd55, Комп собирался в 2005 году и данное действо было полностью доверено моему другу. Так что претензии к сборке это не ко мне. Какую он выбрать материнку, такую и купил.
  • 0

#46 sd55

sd55

    Местный

  • Свои люди
  • 981 Сообщений:

Опубликовано 14 Май 2011 - 00:09

если с объемом памяти не напутано, очень даже хорошо видно как объем оперативной памяти влияет в режиме кэширования на всякие операции записи-считывания с винчестерами :) чем меньше оперативки, тем отстойнее считывание-запись через кэш, ее практически нету, как и кэша :)

[/url]


Предугадывал этот пост :)
1. Замечание. ТЕМР устроен на виртуальном диске в той же памяти. Значит памяти хватало и свопа не было.
2. Разница во времени когда ТЕМП в RАМ, примерно корелирует с более слабым процессором второго варианта. Что так же указывает - критического недостатка памяти не было.

Теперь комент результата.
Вынос ТЕМП на другой диск или того лучше в память существенно снижает зависимость от быстродействия дисковой подсистемы (обсуждали ранее).
Соответственно это можно использовать для оценки самой дисковой системы.
Вынос ТЕМП в память в машине в РАИД 1 уменьшило время прохождения теста на 13,9%.
Аналогичная операция в машине с одним винтом уменьшила время на 342%.

Теперь остается поделить одно на другое и получить 24.68 раза относительной эффективности.

То есть в случае с РАИД даже с зеркалом прироста производительности, от выноса ТЕМПа почти нет - дисковая подсистема и так работает быстро.

В случае одиночного винта работающего в обычном режиме прирост производительности весьма значительный.

Полное противоречие с вашими предыдущими постами, не правда ли. Но это реальные результаты полученные на реальных машинках.

ПС. 1С, на чем все это измерялось, занималась перепроведением дня, и по своей природе при этом очень активно работает с маленькими файликами на диске. Вполне возможно на других задачках ситуация будет иной.
  • 0

#47 Kraftwerk

Kraftwerk

    Minimum - Maximum

  • Свои люди
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 24 418 Сообщений:

Опубликовано 14 Май 2011 - 08:06

Полное противоречие с вашими предыдущими постами, не правда ли. Но это реальные результаты полученные на реальных машинках.


:) в чем противоречие? я сразу сказал, что один винт в системе (тем более игровой) - это отстой и добавление второго винта существенно снизит проблему :) перечитай внимательнее :) Добавление второго винта в систему, а еще идеальнее страп-массива однозначно отвязывает тормоза от дисковой подсистемы, в чем противоречие? :)

приведенные эксперименты некорректны уже хотя бы тем, что сравнения проводились на ОЧЕНЬ разных исходных конфигурациях :)

Повторю еще раз, эксперименты на распайках материнки со всякими типа РАЙД контроллерами - это все от лукавого, очень велика зависимость от оперативки для кэширования самой записи-считывания операционкой с диска, потому как сами типа контроллера достаточно тормознутые и сильно зависят от кэширования через оперативку (кэширования самого процеса записи-считывания самой операционкой, а не выноса темпа в оперативку - это разные вещи, кэширование, а следовательно скорость записи-считывания, тоже ОЧЕНЬ сильно зависит от величины оперативки).
Поэтому и рассказал про свои и привел чужие эсперименты именно со страйпами, как самыми быстрыми по определению массивами, именно в рассмотрении одинаковых исходных конфах для тестов

Ковыряние с выносом темпа в РАМ, ессно хороши, но только когда есть куда выносить без ущерба для оставшегося (того же процесса кэширования самой операционкой). Если стоит 64-битная операционка и даж с простой материнки (не серверой) адресуется 8Гигов, ессно, сам бог велел заделать там РАМ-диск гига на 1-2 под темп без ущерба для остального. Мечтать об идеале с неограниченным бюджетом не вредно, но как заделать близкое к идеалу наименьшии средствами.
Причем, замечу еще раз на всякий случай, всеми этими ковыряниями мы убираем значительно тормоза с дисковой дистемы и самой операции записи-считывания данных с дисков системы, но вряд ли добавляем ФПСов в игре если сама видеокарточка уже на пределе, грубо говоря - она (игра) будет идти без рывков (которые как раз именно за счет дисковой подсистемы) но на тех же ФПСах от возможностей видеокарточки

ЗЫ кстати, каким софтом заделываешь РАМы.

Изменено: Kraftwerk, 14 Май 2011 - 08:22

  • 0

Oil-mini.gif On OuR aGe OiL wiLL sUfFiCe


#48 sd55

sd55

    Местный

  • Свои люди
  • 981 Сообщений:

Опубликовано 14 Май 2011 - 10:48

:) Добавление второго винта в систему, а еще идеальнее страп-массива однозначно отвязывает тормоза от дисковой подсистемы, в чем противоречие? :)

приведенные эксперименты некорректны уже хотя бы тем, что сравнения проводились на ОЧЕНЬ разных исходных конфигурациях :)


Да разные. Но южный мост тотже. И памяти вполне хватало, пояснял из чего это видно. Пояснял так же что ввиду очевидных преймуществ, точный замеры и чистые опыты просто не имело смысла делать. Получу отличие в 5, 10, 20 раз, не имет значения. Нужно было понять как делать.

Страйп однозначно не подходил, по причине низкой надежности, делать РАИД 10 поднимая надежность страйпа не было нужды, тем более что прироста особого ждать не приходилось.

Были опыты с засовыванием всей базы вместе с ТЕМП в РАМдиск. Прирост конечно был, но не критический.

Противоречие в том что утверждалось создание РАИД 1 на чипсете понизит производительность системы (пост №36, 38). Опыты на реальных системах и с реальными задачами, говорят о другом -производительность повышается, причем весьма и всема значительно.

ПС. Делал опыты и с 64 битными ОС. Больших преймещест для решаемых задач не обнаружилось. PAE вполне справляется. 64 очевидно хороши для Скуля - не будет 2 гектраного ограничения
  • 0

#49 BloodLust

BloodLust

    Местный

  • Свои люди
  • 1 270 Сообщений:

Опубликовано 14 Май 2011 - 12:04

Противоречие в том что утверждалось создание РАИД 1 на чипсете понизит производительность системы (пост №36, 38). Опыты на реальных системах и с реальными задачами, говорят о другом -производительность повышается, причем весьма и всема значительно.

ПС. Делал опыты и с 64 битными ОС. Больших преймещест для решаемых задач не обнаружилось. PAE вполне справляется. 64 очевидно хороши для Скуля - не будет 2 гектраного ограничения


Производительность RAID1 не может быть выше производительности самого медленного из дисков, поскольку контроллер производит считывание и верификацию считываемых данных. Это нам на адаптековских курсах по контроллерам говорили.

В случае с софтовыми "контроллерами", то там RAID исключительно программный и реализуется ядром или юзерспейсом операционной системы, пусть и с несколько отличным внешним представлением. Поэтому вполне себе возможны преимущества по скорости записи или чтения с массива, поскольку данные по факту закешированых в оперативной памяти.

64бита вообще хороши для всего, поскольку операционка под 32 бита собирается и оптимизируется под "абстрактный" x86, зачастую не умея использовать всякие прелести типа SSE, либо используя какие-то жуткие хаки.
  • 0

Украл -- Выпил -- Сменил фамилию, РОМАНТИКА!

 

Никто и не говорил, что будет легко! Потому что они борются за свое право — за право беззастенчиво грабить страну и бесконечно обогащаться. И это право путинская воровская бригада нам так просто не отдаст! (С) Г. Каспаров

Мы должны вновь продемонстрировать, что граждане России готовы к тяжелой рутинной политической борьбе. Вот с этими людьми, которые ни в коем случае не отдадут нам свое право бесконтрольно обогащаться и узурпировать власть в стране. (С) А. Навальный


#50 sd55

sd55

    Местный

  • Свои люди
  • 981 Сообщений:

Опубликовано 14 Май 2011 - 12:42

Производительность RAID1 не может быть выше производительности самого медленного из дисков, поскольку контроллер производит считывание и верификацию считываемых данных. Это нам на адаптековских курсах по контроллерам говорили.

В случае с софтовыми "контроллерами", то там RAID исключительно программный и реализуется ядром или юзерспейсом операционной системы, пусть и с несколько отличным внешним представлением. Поэтому вполне себе возможны преимущества по скорости записи или чтения с массива, поскольку данные по факту закешированых в оперативной памяти.

64бита вообще хороши для всего, поскольку операционка под 32 бита собирается и оптимизируется под "абстрактный" x86, зачастую не умея использовать всякие прелести типа SSE, либо используя какие-то жуткие хаки.


Не могу пояснить почему были получены такие результаты по РАИД на чипсете. Было подозрение на режим AHCI. Хотел попробовать перевести одиночный винт в этот режим, но руки не дошли.

РАИД на чипсете и средствами ОС, разные вещи. Зеркалировавание средствами Винды дает резкое падение скорости.

Возможно 64 и хороши но требуют смены большой кучи сопутствующего софта. в некторорых случаях, нужен просто другой подход к установке. Тоесть огребаем дополнительные проблемы, не получая почти ничего взамен. Оговорюсь, в моем конкретном случае. Пока вижу для себя плюсик только в снятии 2г ограничения на файл, очень популярного в системах с базой в Скуле.
  • 0

#51 BloodLust

BloodLust

    Местный

  • Свои люди
  • 1 270 Сообщений:

Опубликовано 14 Май 2011 - 13:30

Не могу пояснить почему были получены такие результаты по РАИД на чипсете. Было подозрение на режим AHCI. Хотел попробовать перевести одиночный винт в этот режим, но руки не дошли.

Ну как минимум это, далее драйвер может уметь более грамотно кешировать записываемые и читаемые данные в памяти. Например, если вести статистику наиболее часто используемых блоков и подгружать в память их при инициализации массива, можно повысить производительность отдельных операций до уровня рамдиска.

РАИД на чипсете и средствами ОС, разные вещи. Зеркалировавание средствами Винды дает резкое падение скорости.

RAID 1, собранный на мамке Tyan S2850 средствами "контроллера" и драйвера dmraid и mdadm имеют одинаковую производительность. Софтверные контроллеры вообще умеют делать всего 3 вещи: поблочно копировать один диск на другой, записывать на диск информацию о том, что он является частью RAID-массива и форматить винты.

Возможно 64 и хороши но требуют смены большой кучи сопутствующего софта. в некторорых случаях, нужен просто другой подход к установке. Тоесть огребаем дополнительные проблемы, не получая почти ничего взамен. Оговорюсь, в моем конкретном случае. Пока вижу для себя плюсик только в снятии 2г ограничения на файл, очень популярного в системах с базой в Скуле.

это да. В *n*x обычно вопрос решается просто - пакеты пересобираются под две архитектуры одновременно, для того, что не собирается делаются обходные варианты - 32хбитные библиотеки для скайпа или бинарный интерпретатор для плагинов к мозилле
  • 0

Украл -- Выпил -- Сменил фамилию, РОМАНТИКА!

 

Никто и не говорил, что будет легко! Потому что они борются за свое право — за право беззастенчиво грабить страну и бесконечно обогащаться. И это право путинская воровская бригада нам так просто не отдаст! (С) Г. Каспаров

Мы должны вновь продемонстрировать, что граждане России готовы к тяжелой рутинной политической борьбе. Вот с этими людьми, которые ни в коем случае не отдадут нам свое право бесконтрольно обогащаться и узурпировать власть в стране. (С) А. Навальный


#52 Kraftwerk

Kraftwerk

    Minimum - Maximum

  • Свои люди
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 24 418 Сообщений:

Опубликовано 14 Май 2011 - 16:09

sd55, при всех твоих тестах кэширование считывани-записи на диски средствами операционки ОТключались? Если нет, то все проверки быстродействия дисковой подсистемы - некорректны, потому как шли через кеширование в оперативке, и проверялось по большому счету быстродействие именно кеширование через оперативку :) а не тестирование быстродействия разных РАЙДов :)

На тему из чего физически складывается быстродействие простого зеркального массива BloodLust выше уже сказал, ессно если кеширование выключено, если включено, тогда, как и сказал, тестируем уже не РАЙД, а оперативку :) и некорректо тогда вообще говорить про тест типа РАЙДа
  • 0

Oil-mini.gif On OuR aGe OiL wiLL sUfFiCe


#53 sd55

sd55

    Местный

  • Свои люди
  • 981 Сообщений:

Опубликовано 14 Май 2011 - 16:43

sd55, при всех твоих тестах кэширование считывани-записи на диски средствами операционки ОТключались? Если нет, то все проверки быстродействия дисковой подсистемы - некорректны, потому как шли через кеширование в оперативке, и проверялось по большому счету быстродействие именно кеширование через оперативку :) а не тестирование быстродействия разных РАЙДов :)


Забавно.
1. Имеем серверную ОС от Майкрософта.
2. Теститируем как она работает с одиночным винтом и РАИД на чипсете.
3. Получаем интересный результат.
Выводы:
1. Очевидно ОС Майкрософта лучше работает РАИД на чипсете.
2. РАИД средствами самой ОС проверялась ранее - работа крайне не удовлетворительна.

Раскладка быстродействия дисковой системы для Майкрософта, по ухудшению:
1. РАИД на чипсете.
2. Винт вне РАИД.
3. РАИД на ОС.

ПС. Никто при этом не мешал ОС кешировать дисковую систему, во всех трех вариантах.
  • 0

#54 Kraftwerk

Kraftwerk

    Minimum - Maximum

  • Свои люди
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 24 418 Сообщений:

Опубликовано 14 Май 2011 - 16:59

ПС. Никто при этом не мешал ОС кешировать дисковую систему, во всех трех вариантах.


именно поентому я и сказал, что по большому счету тестировалась способность работы кеша при разных вариантах обращения к диску :) а не чистая скорость работы дисковой подсистемы :)
то есть результаты тестов конечно что то там показали, но не чистую и корректную оценку работы и быстродействия разных РАЙД-массивов :) мало того тестирование проводилось при таом различие составляющей сильно влияющей на это тестирование, кеш (читай скорость работы системы в связке кеш-диск) просто напрямую зависит от объема оперативки, а она (оперативка, ее объем) была в разы различной, и после этого пытаются вывести какую то закономерность? оригинально :)

На всякий случай еще раз повторю: если взять систему с одинаковой конфигурацией (чипсет, проц, одинкаковый объем памяти) с одним винтом и потом двумя в РАЙД1, скорость ЗАПИСИ на диски в обеих случаях (при отключенном кешировании) будет практически одинаковой, если контроллер тупит - "зеркалка" будет отставать от одиночного винта, потому как контроллеру нуна будет дублировать данные. Процесс считывания может быть быстрее у зеркалки за счет умности контроллера, который будет вычислять считывание разных частей инфы с разных винчестеров, а потом их сложение средствами контроллера для отдачи шине данных. Но это при условии нормального контроллера.

Если же включен системный кеш записи-считывания - все эскперименты будут относиться не к проверке именно скорости РАЙДов, а к тамцам с бубном вокруг, того как система кеширует оперативкой данные в различных вариантах дисковой подсистемы.

Но все равно, все выше перечесленное имеет смысл только при ОДИНАКОВЫХ (полностью, за исключением ессно только дисковой подсистемы) исходных конфах, в других случаях - танцы с бубном :)

Изменено: Kraftwerk, 14 Май 2011 - 18:28

  • 0

Oil-mini.gif On OuR aGe OiL wiLL sUfFiCe


#55 sd55

sd55

    Местный

  • Свои люди
  • 981 Сообщений:

Опубликовано 14 Май 2011 - 19:20

именно поентому я и сказал, что по большому счету тестировалась способность работы кеша при разных вариантах обращения к диску :) а не чистая скорость работы дисковой подсистемы :)
то есть результаты тестов конечно что то там показали, но не чистую и корректную оценку работы и быстродействия разных РАЙД-массивов :) мало того тестирование проводилось при таом различие составляющей сильно влияющей на это тестирование, кеш (читай скорость работы системы в связке кеш-диск) просто напрямую зависит от объема оперативки, а она (оперативка, ее объем) была в разы различной, и после этого пытаются вывести какую то закономерность? оригинально :)

На всякий случай еще раз повторю: если взять систему с одинаковой конфигурацией (чипсет, проц, одинкаковый объем памяти) с одним винтом и потом двумя в РАЙД1, скорость ЗАПИСИ на диски в обеих случаях (при отключенном кешировании) будет практически одинаковой, если контроллер тупит - "зеркалка" будет отставать от одиночного винта, потому как контроллеру нуна будет дублировать данные. Процесс считывания может быть быстрее у зеркалки за счет умности контроллера, который будет вычислять считывание разных частей инфы с разных винчестеров, а потом их сложение средствами контроллера для отдачи шине данных. Но это при условии нормального контроллера.

Если же включен системный кеш записи-считывания - все эскперименты будут относиться не к проверке именно скорости РАЙДов, а к тамцам с бубном вокруг, того как система кеширует оперативкой данные в различных вариантах дисковой подсистемы.

Но все равно, все выше перечесленное имеет смысл только при ОДИНАКОВЫХ (полностью, за исключением ессно только дисковой подсистемы) исходных конфах, в других случаях - танцы с бубном :)


Простите вы удивительны! Видимо когда вы почему то решите решите что белое есть черным, никто и ни не сможет вас убедить.

Зачем делать точные замеры на одинаковых абсолютно конфах?
Показано же перенос ТЕМП в РАМ для одиночного винта более чем на порядок эффективна по сравнению с переносом из РАИД, на чипсете. РАИД на ОС WIN еще более тормозной, замеры не проводил, но машина явно тупила. Я это повторяю уже наверно в третий раз.

Повторять же в который раз, про какое то кеширование, которое как бы есть, но весьма таинственно и почему то работает весьма выборочно. Или же призывать провести точные замеры и убедиться что эффетивность будет не 24 раза а к примеру 18. Зачем?

Все это как уж говорилось, забавно. Понимаю, это несколько отличается от прочитанного в популярной компутерной литературе. Я ее тоже читал, но еще и провел много опытов. Пытаться притянуть за уши сюда статейки из компутерных журнальчинов, незачем. Лучше попробуйте, а о результатах расскажете.
  • 0

#56 Kraftwerk

Kraftwerk

    Minimum - Maximum

  • Свои люди
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 24 418 Сообщений:

Опубликовано 15 Май 2011 - 18:35

глупо разговаривать про какие то РАМы, дополнительные диски для фотошопа, свопы и т.п. темпы для разных приложений в оперативке в системах имеющих на борту всего 2-4Гига этой оперативки.
Мы ж тут не про серверные платформы с 200Гигами от материнки и серверные операционки болтаем, ближе к реальностям жизни :)

Напомню, эта тема про голимое домашнее не совсем навороченное с операционкой, которая никакие РАЕ не поддерживает :)

Если говорить о себе, то скажу, что по скромным подсчетам лично на моей машинке с имеющимися приложениями потребуется своп-файл около 1Гига (минимум), темп как минимум на половину этого, ну еще по мелочи на всякие кэши той же оперы (там тоже метров на 200 набежит), и чего? Поделить имеющиеся даже 4Гига пополам, это к тому что сама операционка еще потом поделит пополам оставшееся, то бишь останется операционке под среду 1Гиг и приложениям под среду 1Гиг... не густо.
Никакого прироста на глаз сильно заметного при работе именно с фотошопами-кадами у меня видно не было, а с 1С я как то не работаю :)
Переходить на рабочей станции на серверную операционку или 64-битное пока как то не входило в планы, да и материнка не поддерживает десятки Гиго оперативки, думаю у топиктартера дела не намного лучше в плане железа для всяких фантастических решений :)

Мне как то показалось, что человек спросил, как помочь ему в конкретной ситуации, и я не помню, чтобы он что то сказал про какие то серверные U-стойки :)

Изменено: Kraftwerk, 15 Май 2011 - 19:00

  • 0

Oil-mini.gif On OuR aGe OiL wiLL sUfFiCe


#57 sd55

sd55

    Местный

  • Свои люди
  • 981 Сообщений:

Опубликовано 15 Май 2011 - 22:00

глупо разговаривать про какие то РАМы, дополнительные диски для фотошопа, свопы и т.п. темпы для разных приложений в оперативке в системах имеющих на борту всего 2-4Гига этой оперативки.
Мы ж тут не про серверные платформы с 200Гигами от материнки и серверные операционки болтаем, ближе к реальностям жизни :)

Напомню, эта тема про голимое домашнее не совсем навороченное с операционкой, которая никакие РАЕ не поддерживает :)

Если говорить о себе, то скажу, что по скромным подсчетам лично на моей машинке с имеющимися приложениями потребуется своп-файл около 1Гига (минимум), темп как минимум на половину этого, ну еще по мелочи на всякие кэши той же оперы (там тоже метров на 200 набежит), и чего? Поделить имеющиеся даже 4Гига пополам, это к тому что сама операционка еще потом поделит пополам оставшееся, то бишь останется операционке под среду 1Гиг и приложениям под среду 1Гиг... не густо.
Никакого прироста на глаз сильно заметного при работе именно с фотошопами-кадами у меня видно не было, а с 1С я как то не работаю :)
Переходить на рабочей станции на серверную операционку или 64-битное пока как то не входило в планы, да и материнка не поддерживает десятки Гиго оперативки, думаю у топиктартера дела не намного лучше в плане железа для всяких фантастических решений :)

Мне как то показалось, что человек спросил, как помочь ему в конкретной ситуации, и я не помню, чтобы он что то сказал про какие то серверные U-стойки :)


Не все так печально.
Выше приводил пример где на 0,5Г конкретная задача сильно убыстряла работу.
Боюсь ошибиться, большинство ресурсов компов весьма многих пользователей заняты антивирусным софтом или вирусами :)
Поэтому практически не пользую антивирь, по крайней мере в контролируемых сетях. Гораздо надежней роутер с НАТ.

Память сейчас не так дорога. И в обычную мамку войдет 8 а то 16Гиг. И 64 бита совсем не зачем, ну пока. Достаточно не пользовать ХР. Заранее прошу прощения у поборников лицензии, для себя, не комерческого, с целью обучения, Билл думаю не будет против :). Так вот в сети есть сборки WIN2003 Энетерпрайз, так называемая ДЕсктоп эдишен. Этот релиз Била поддерживает до 32 гектар, на 32 разрядах, и ставится практически так же как сборки ХР - без мудреных изысков.

Тоже люблю всякие Шопы и Паинты ну RAW. Так вот после того как вывел ТЕМП в РАМ диск, весьма тормозной SILKYPIX просто преобразился. Правда пришлось выделить 1Г, иначе он тупо падал, но и файлик то RAW не мал - 25 мег.
  • 0

#58 Touchdown

Touchdown

    Старожил

  • Members
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 3 258 Сообщений:

Опубликовано 16 Май 2011 - 16:27

Этот релиз Била поддерживает до 32 гектар, на 32 разрядах

??? А можно ссылку на какой-нибудь ресурс где как-то объясняется такая возможность ? Я как то совсем не понимаю как такое может быть.

P.S. О райдах. Сколько смотрел обзоров - райд1 везде работал со скоростью одиночного винта или медленнее. Райд0 - ощутимая прибавка, в зависимости от контроллера.
  • 0
Hinter der Trommel her
Trotten die Kälber
Das Fell für die Trommel
Liefern sie selber.

#59 BloodLust

BloodLust

    Местный

  • Свои люди
  • 1 270 Сообщений:

Опубликовано 16 Май 2011 - 17:10

??? А можно ссылку на какой-нибудь ресурс где как-то объясняется такая возможность ? Я как то совсем не понимаю как такое может быть.

P.S. О райдах. Сколько смотрел обзоров - райд1 везде работал со скоростью одиночного винта или медленнее. Райд0 - ощутимая прибавка, в зависимости от контроллера.


PAE поддерживает возможность адресации до 64х гигабайт памяти в 32хразрядном режимер работы процессора. Основная идея в том, что используется многоуровневая страничная организация памяти. Основным недостатком такого режима является невозможность адресации более, чем 4х гигабайт памяти на процесс. https://secure.wikim...dia/ru/wiki/PAE

Основная проблема RAID0 - невозможность восстановления данных в случае сбоя. Поэтому использование такого режима зело неправильно, лучше всего использовать какие-то варианты вроде RAID5 или RAID5e при наличии хорошего годного контроллера или шустрой системы, а при наличии достаточного количества хардов - RAID10.
  • 0

Украл -- Выпил -- Сменил фамилию, РОМАНТИКА!

 

Никто и не говорил, что будет легко! Потому что они борются за свое право — за право беззастенчиво грабить страну и бесконечно обогащаться. И это право путинская воровская бригада нам так просто не отдаст! (С) Г. Каспаров

Мы должны вновь продемонстрировать, что граждане России готовы к тяжелой рутинной политической борьбе. Вот с этими людьми, которые ни в коем случае не отдадут нам свое право бесконтрольно обогащаться и узурпировать власть в стране. (С) А. Навальный


#60 sd55

sd55

    Местный

  • Свои люди
  • 981 Сообщений:

Опубликовано 16 Май 2011 - 17:35

P.S. О райдах. Сколько смотрел обзоров - райд1 везде работал со скоростью одиночного винта или медленнее. Райд0 - ощутимая прибавка, в зависимости от контроллера.


Не все так просто, с винтами. За время пока их придумали прошло достаточно много критических точек, обусловленных ограничениями с структуре данных. Никто тогда и думать не мог что в настольном компе будет столько памяти. Очередной рубеж 2 тера уже дает о себе знать.

Все это к чему. ОС может весьма по разному работать с винтом использовать новейшие разработки или нет, например тотже AHCI Соответственно и скорости будут разные.
  • 0

#61 Touchdown

Touchdown

    Старожил

  • Members
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 3 258 Сообщений:

Опубликовано 16 Май 2011 - 18:46

Не все так просто, с винтами. За время пока их придумали прошло достаточно много критических точек, обусловленных ограничениями с структуре данных. Никто тогда и думать не мог что в настольном компе будет столько памяти. Очередной рубеж 2 тера уже дает о себе знать.

Все это к чему. ОС может весьма по разному работать с винтом использовать новейшие разработки или нет, например тотже AHCI Соответственно и скорости будут разные.


Ну так понятно что вариантов - не сосчитаешь. Но применительно всё-таки к домашнему бюджетному сегменту (не забываем о топикстартере )) имеем райд на основе мат.платы, со всеми сопутствующими ограничениями. И в таких условиях по скорости - райд0 вне конкуренции (как мне представляется, совсем не спецу).
BloodLust спасибо за ссылку о PAE.
  • 0
Hinter der Trommel her
Trotten die Kälber
Das Fell für die Trommel
Liefern sie selber.

#62 BloodLust

BloodLust

    Местный

  • Свои люди
  • 1 270 Сообщений:

Опубликовано 16 Май 2011 - 19:41

Ну так понятно что вариантов - не сосчитаешь. Но применительно всё-таки к домашнему бюджетному сегменту (не забываем о топикстартере )) имеем райд на основе мат.платы, со всеми сопутствующими ограничениями. И в таких условиях по скорости - райд0 вне конкуренции (как мне представляется, совсем не спецу).
BloodLust спасибо за ссылку о PAE.


Я бы всё ж таки собирал raid10 софтовый, но это не под винду. Учитывая стоимость хардов, это было бы оптимальное решение по производительности/сохранности
  • 0

Украл -- Выпил -- Сменил фамилию, РОМАНТИКА!

 

Никто и не говорил, что будет легко! Потому что они борются за свое право — за право беззастенчиво грабить страну и бесконечно обогащаться. И это право путинская воровская бригада нам так просто не отдаст! (С) Г. Каспаров

Мы должны вновь продемонстрировать, что граждане России готовы к тяжелой рутинной политической борьбе. Вот с этими людьми, которые ни в коем случае не отдадут нам свое право бесконтрольно обогащаться и узурпировать власть в стране. (С) А. Навальный


#63 sd55

sd55

    Местный

  • Свои люди
  • 981 Сообщений:

Опубликовано 16 Май 2011 - 19:54

Ну так понятно что вариантов - не сосчитаешь. Но применительно всё-таки к домашнему бюджетному сегменту (не забываем о топикстартере )) имеем райд на основе мат.платы, со всеми сопутствующими ограничениями. И в таких условиях по скорости - райд0 вне конкуренции (как мне представляется, совсем не спецу).
BloodLust спасибо за ссылку о PAE.


В применении к домашним целям, хорошо б понять насколько важна инфа на компе. Если невосстановимой инфы нет, то почему б не собрать РАИД 0. Емкость двух винтов суммируется и вы получаете быстрый и емкий массив. Но следует понимать что вероятность краха высока. Хотя если комп только игровой это не печалит.

От себя, собирал такое, но особого впечатления не получил. Гораздо больше понравилось, когда много оперативки и в ней можно создать РАМ диск например для ТЕМП.

То есть если тратить денежки то лучше б в доп. память, а не в доп. диск, ИМХО.
  • 0

#64 Kraftwerk

Kraftwerk

    Minimum - Maximum

  • Свои люди
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 24 418 Сообщений:

Опубликовано 16 Май 2011 - 21:09

В применении к домашним целям, хорошо б понять насколько важна инфа на компе. Если невосстановимой инфы нет, то почему б не собрать РАИД 0. Емкость двух винтов суммируется и вы получаете быстрый и емкий массив. Но следует понимать что вероятность краха высока. Хотя если комп только игровой это не печалит.

От себя, собирал такое, но особого впечатления не получил. Гораздо больше понравилось, когда много оперативки и в ней можно создать РАМ диск например для ТЕМП.

То есть если тратить денежки то лучше б в доп. память, а не в доп. диск, ИМХО.


так про игровой комп и говорим :)
  • 0

Oil-mini.gif On OuR aGe OiL wiLL sUfFiCe


#65 sd55

sd55

    Местный

  • Свои люди
  • 981 Сообщений:

Опубликовано 16 Май 2011 - 22:58

так про игровой комп и говорим :)


Ну не все только играют. Думаю многие расстроятся потеряв фоты веселой тусы. Все ж вероятность увеличивается более чем в два раза. А винты бываю двух типов - мертвые и те что пока не умерли :)
  • 0

#66 Kraftwerk

Kraftwerk

    Minimum - Maximum

  • Свои люди
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 24 418 Сообщений:

Опубликовано 16 Май 2011 - 23:08

Ну не все только играют. Думаю многие расстроятся потеряв фоты веселой тусы. Все ж вероятность увеличивается более чем в два раза. А винты бываю двух типов - мертвые и те что пока не умерли :)

блин, я что как то не по-русски сразу сказал, что этот райд отдатся под некритичные данные :) темпы-свопы и т.п. хрень
два таких девайса
http://www.oldi.ru/c...lement/0126270/ или таких http://www.oldi.ru/c...lement/0125223/
недорого и все разместится все, что должно быть быстрым, и не надо париться с РАЕ и т.п. размышлениями над тем, чего лучше? отнять у системы 1Гиг по своп-темп, и на сколько сразу увеличится этот своп на жестких при отнятии этой оперативки у системы :)
а все, что жалко - храни на другом винте, они сейчас недорогие

Изменено: Kraftwerk, 16 Май 2011 - 23:11

  • 0

Oil-mini.gif On OuR aGe OiL wiLL sUfFiCe


#67 sd55

sd55

    Местный

  • Свои люди
  • 981 Сообщений:

Опубликовано 17 Май 2011 - 10:11

блин, я что как то не по-русски сразу сказал, что этот райд отдатся под некритичные данные :) темпы-свопы и т.п. хрень
два таких девайса
http://www.oldi.ru/c...lement/0126270/ или таких http://www.oldi.ru/c...lement/0125223/
недорого и все разместится все, что должно быть быстрым, и не надо париться с РАЕ и т.п. размышлениями над тем, чего лучше? отнять у системы 1Гиг по своп-темп, и на сколько сразу увеличится этот своп на жестких при отнятии этой оперативки у системы :)
а все, что жалко - храни на другом винте, они сейчас недорогие


Вы не правильно поняли. Немного раньше отмечал, что именно так и делал, но такая система не впечатлила. Скорость в РАИД 0 растет при обращении к винту не так быстро всего в два раза максимум. Если же выбрать дешевые винты с малой удельной плотностью смысл вообще потеряется. Скорость в РАИДЕ поднимете, но сами то винты медленные да и надежностью младшие модели не отличаются. Тоесть все это бестолку.

Есть другой вариант за теже денежки купить памяти. 4Г модуль стоит даже дешевле самого уборого винта. Тоесть на круг выйдет дешевле. Да и установить три винта с обдувом можно не во всякий корпус получится.

Если же мать поддерживает 4 модуля и все их заполнить да еще это дополнить одним но хорошим винтом (Хотя лучше двумя в РАИД 1 :) ) Получится настоящий самолет :) Говорю не голословно, собирал такое, до сих пор работает и радует правда уже на вторых ролях.
  • 0

#68 sansan

sansan

    Прохожий

  • Members
  • ФишкаФишка
  • 17 Сообщений:

Опубликовано 13 Июль 2011 - 13:42

Подскажите пожалуйста, есть ли в городе конторы, куда можно сдать старое, рабочее железо?
  • 0

#69 Satir

Satir

    Местный

  • Свои люди
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 2 824 Сообщений:
  • LocationЛесная

Опубликовано 13 Июль 2011 - 16:15

Сдать в смысле за деньги или на утилизацию?
  • 0

#70 Художник

Художник

    Новосёл

  • Members
  • 629 Сообщений:

Опубликовано 13 Июль 2011 - 17:15

Можно взять сьёмный жёсткий или накопить на флешку 100 гиговую скоростную.
Как я понял,вы говорите о памяти,жёстких дисках и сохранении файлов.
  • 0
:appl:




0 пользователей читают эту тему

0 пользователей, 0 гостей, 0 невидимых