Объемы данных и требования к скорости их обработки за последние десятилетия многократно выросли. Системы управления базами данных (СУБД) пытаются соответствовать новым реалиям и претерпевают значительные эволюционные и революционные изменения. Одним из таких эволюционных факторов является движение в сторону т.н. вертикальных (column-based) систем хранения.
Архив от Сентябрь, 2010
Mike Haertel, автор GNU grep, написал в рассылку FreeBSD отличное письмо по поводу производительности grep-а.
Суть в том, что grep использует модифицированный алгоритм Boyer-Moore для поиска подстроки и ему не приходится проверять каждый байт.
Там же предлагалась идея использовать mmap для увеличения производительности, чтобы ядру не читать read-ом каждый байт, а передать контроль за этим в юзерспейс — самому grep-у.
Если вдуматься, смысл этой оптимизации не очень большой. Все равно с диска считывается минимум 4 килобайта (размер физического сектора HDD), и вряд-ли Boyer-Moore сделает прыжок больше, чем на 4K.
Вторая причина в том, что каждая считанная страница памяти будет генерировать page fault. Это может быть даже дороже, чем системный вызов read().
Собственно, именно так и посчитали разработчики grep-а.
Еще одна отличная оптимизация — grep не разбивает входящий файл на строки заранее. Он сначала находит вхождение, а потом ищет начало и конец строки. Если grep-у указать ключ -n (включить счетчик строк), то ему будет необходимо из распознавать заранее, что сильно уменьшит его производительность.
$ time grep groovy tmpfs/words > /dev/null
real 0m0.927s
user 0m0.600s
sys 0m0.311s
$ time grep -n groovy tmpfs/words > /dev/nullreal 0m1.924s
user 0m1.606s
sys 0m0.307s
$
Когда мы все работали в Японской компании, то каждый год отмечали ее день рождения летом в июле. Компания уже как 3 года уехала на Филиппины, а мы все еще верны традиции, устраивать летом выезд на природу, отмечать день рождения Вэльюкоммерс. На самом деле, был бы повод!
И в это лето мы решили не изменять традиций!
Изначально отдых планировался культурный, с бассейнами, футбольными площадками, сауной… Но в результате поехали мы на берег Москвы реки под Звенигород!
Что мы там делали? Да все делали! Купались, кормили комаров, ели шашлыки(ударение на втором слоге), варили плов(ну мы его потребляли в основном), играли в бадминтон. Вечером снимали стресс, глядя на огонь.. это сейчас так называется. Играли мы в Контакт. В нашей компании из этого получается очень высокоинтеллектуальная игра! Я в очередной раз почувствовала себя блондинкой и порадовалась, с какими умными людьми я работаю.
Ну а на следующий день – пошли по Святым местам! Савву Сторожевского посетили. Кстати, говорят, что он в бизнесе помогает. Говорят, у кого какие проблемы – сразу к нему! Чтобы мы выгледели прилично, нам выдали юбки…даже мальчикам выдали. Не могу сказать, что выглядеть мы стали приличнее….но решили не лезть со своим уставом в чужой монастырь. Наверное Богу тоже иногда хочется посмеяться.
В общем, отдохнули хорошо, потом от отдыха еще долго отдыхали!
