Blog de Horacio de Oro

Hoy descubrí: vipw y vigr

2012-02-09T18:15:00.001-03:00

La idea es muy sencilla: permite editar /etc/passwd y /etc/group (o sus correspondientes 'shadows') luego de obtener un LOCK, y así evitar que varias personas los editen a la vez (aunque yo siempre prefiero usar comandos para alterar dichos archivos (usermod, chsh, etc) y no editarlos directamente).

Implementé encabezados de Fabric en colores

2012-02-08T11:55:00.002-03:00

He realizado unos cambios en Fabric para que utilice colores en los mensajes que escribe. Esto facilita mucho la visualización al ejecutar tareas que generan mucha salida por consola.

Así es la salida original de Fabric:

Al colorear los mensajes de Fabric, el resultado es mucho más fácil de leer:

Esto se encuentra en mi fork de Fabric, en https://github.com/hgdeoro/fabric/tree/1.3-hgdeoro (para versión estable) o https://github.com/hgdeoro/fabric/tree/colorized_headers.

Mejora a Logging por default en Django

2012-02-07T22:46:00.002-03:00

La configuración por default de LOGGING de Django hace que no se muestren por consola los mensajes de logging generados, sólo muestra los requests, y hacer que se vean nuestros mensajes es bastante fácil, sólo hay que agregar a LOGGING (en settings.py) las líneas en negritas:

LOGGING = {
'version': 1,
'disable_existing_loggers': False,
'handlers': {
'mail_admins': {
'level': 'ERROR',
'class': 'django.utils.log.AdminEmailHandler'
},
'console': {
'level': 'INFO',
'class': 'logging.StreamHandler'
},
},
'loggers': {
'': {
'handlers': ['console'],
'level': 'INFO',
'propagate': True,
},
'django.request': {
'handlers': ['mail_admins'],
'level': 'ERROR',
'propagate': True,
},
}
}

(esto funcionará en Django >= 1.3)

Mejorando listado de task en Fabric

2012-02-05T17:38:00.000-03:00

Cuando al usar Fabric listamos los comandos disponibles con --list, este listado está restringido a un ancho de 75 caracteres. Pero al usar una terminal de 160 caracteres de ancho, es mucho el espacio desperdiciado, y la documentación "ocultada".

Hice unos cambios en Fabric para que, al listar los comandos, utilice todo el ancho disponible. Antes, con una columna de 160 caracteres, el listado se mostraba:

Available commands:

FabricTest Nose-oriented test runner which wipes state.env and provid...
TestParallel
eq_ Shadow of the Nose builtin which presents easier to read m...
server Returns a decorator that runs an SSH server during functio...

Ahora:

Available commands:

FabricTest Nose-oriented test runner which wipes state.env and provides file helpers.

TestParallel

eq_ Shadow of the Nose builtin which presents easier to read multiline output.

server Returns a decorator that runs an SSH server during function execution.

Estos cambios están disponibles en mi fork de Fabric y puede ser instalado ejecutando "pip install -e git+https://github.com/hgdeoro/fabric@1.3-hgdeoro#egg=fabric"

Fabric: unsupported operand type(s) for &: 'str' and 'int'

2012-02-05T00:46:00.002-03:00

Me ocurrió que upload_template() de Fabric fallaba con el siguiente mensaje de error:

Fatal error: put() encountered an exception while uploading '<StringIO.StringIO instance at 0x7fb4b6e0e368>'

Underlying exception message:
unsupported operand type(s) for &: 'str' and 'int'

Aborting.

Lo que estaba haciendo era bastante simple:

upload_template(
os.path.join('deploy-files', 'nginx', 'nginx-template.conf'),
nginx_config_file_to,
context=context,
use_sudo=True, backup=False, mode='0644')

Pero claro, resulta que el modo debe ser un valor en OCTAL, y no un STRING! Cambiando el modo de string a octal solucionó el problema:

upload_template(
os.path.join('deploy-files', 'nginx', 'nginx-template.conf'),
nginx_config_file_to,
context=context,
use_sudo=True, backup=False, mode=0644)

Es algo simple, pero lo comparto porque no encontré mucha información al buscar dicho mensaje de error en internet.

Nuevo "list format" para Fabric

2012-02-04T22:10:00.002-03:00

He implementado un nuevo "list format" para Fabric. Este nuevo formateador hace que se muestren las distintas "tasks" declaradas, junto a la documentacion completa de las mismas.

Está disponibles en un branch de master (https://github.com/hgdeoro/fabric/tree/new_list_format_fulldoc) en un un branch de 1.3 (https://github.com/hgdeoro/fabric/tree/1.3-hgdeoro).

Por ejemplo, al ejecutar Fabric sobre "tests/test_parallel.py" con los argumentos "--list --list-format=fulldoc", se genera el siguiente listado:

Available commands:

    FabricTest
    ----------
        Nose-oriented test runner which wipes state.env and provides file helpers.

    TestParallel
    ------------

    eq_
    ---
        Shadow of the Nose builtin which presents easier to read multiline output.

    server
    ------
        Returns a decorator that runs an SSH server during function execution.
        Direct passthrough to ``serve_responses``.

Para instalarlo via pip:
$ pip install -e git+https://github.com/hgdeoro/fabric@1.3-hgdeoro#egg=fabric

Contribuyendo a proyectos OpenSource via GitHub

2012-02-04T20:50:00.000-03:00

Hace tiempo uso GitHub para mis proyectos open source, pero hoy pude usarlo para compartir un pequeño FIX que hice a Fabric, y la verdad es que hace muy sencillo el trabajo.

El fix es algo insignificante (en una clase hay 2 métodos con el mismo nombre). Lo que hice fue renombrarlo el método, y después investigar qué tan fácil sería compartirlo con los autores de Fabric... y resultó muy fácil. Teniendo en cuenta que yo ya había clonado el proyecto (en modo solo-lectura), los pasos que seguí fueron:

busqué en la doc. de GitHub cómo hacerlo, y lo encontré inmediatamente: http://help.github.com/send-pull-requests/
creé un fork del proyecto original

esto se hace con 1 clic en la interfaz web de GitHub

cambié el "remote" a mi fork

git remote set-url origin git@github.com:hgdeoro/fabric.git

creé un branch

git branch fix_duplicated_test_method

realicé el commit con las modificaciones
hice el push

git push origin fix_duplicated_test_method:fix_duplicated_test_method

en la interfaz web de GitHub me cambié al branch fix_duplicated_test_method
en la interfaz web de GitHub hice clic en "Pull Request" y cargué el mensaje

El pull request puede verse aqui: https://github.com/fabric/fabric/pull/549/files

Samba4 en CentOS 6.2

2012-02-04T15:27:00.001-03:00

Siguiendo los pasos de https://wiki.samba.org/index.php/Samba4/HOWTO, con un CentOS 6.2 recién instalado, estos son los pasos que seguí para instalar Samba 4:

Preparacion del entorno

crear usuario para NO trabajar con root, configurar keys de ssh y sudo
instalar paquetes básicos

# curl -o epel-release-6-5.noarch.rpm \

http://download.fedora.redhat.com/pub/epel/6/i386/epel-release-6-5.noarch.rpm
# sudo rpm -i epel-release-6-5.noarch.rpm
# sudo yum install -y man

# sudo yum install -y gcc patch

# sudo yum install -y autoconf

Compilado de Samba 4

instalamos git

# sudo yum install -y git

instalamos paquetes recomendados

$ yum install libacl-devel libblkid-devel gnutls-devel readline-devel python-devel gdb pkgconfig
$ yum install gtkhtml setroubleshoot-server setroubleshoot-plugins policycoreutils-python libsemange-python setools-libs-python setools-libs popt-devel libpcap-devel sqlite-devel libidn-devel libxml2-devel libacl-devel libsepol-devel libattr-devel keyutils-libs-devel zlib-devel cyrus-sasl-devel

Al instalarlos con el comando anterior, me apareció:

(...)
No package gtkhtml available.
No package libsemange-python available.
(...)

pero me imagino que no son paquetes esenciales...

bajamos repositorio Git y compilamos

# git clone git://git.samba.org/samba.git samba-master
# cd samba-master

Ahora deberemos "parchear" unos scripts Python que tienen un bug (esto no hará falta cuando los arreglos a estos scripts estén en git). Para parchearlos hay que ejecutar (en una misma línea):

# curl -s https://raw.github.com/gist/1739239/a8a38ef99dae9c5a12bc6939d59161dcc1f2fa5a/use-named-argument-dir-instead-of-prefix.diff | patch -p1

Este comando fallará si los scripts fueron arreglados en el repositorio de Git (al menos los parches ya fueron aceptados :-D https://lists.samba.org/archive/samba-technical/2012-February/081527.html).

Ahora continuamos con el proceso:

# ./configure.developer --prefix=/opt/samba4-3bea5a147b

Nota: '3bea5a147b' es el commit (abreviado) de Git, sirve para identificar exactamente que versión estamos instalado. Se obtiene ejecutando: `git log --oneline | head -n 1 | cut -d " " -f 1`

# make -j2

# sudo mkdir /opt/samba4-3bea5a147b

# sudo chown USUARIO /opt/samba4-3bea5a147b

# make install

El próximo paso sería generar los archivos básicos que necesita Samba para funcionar. Esto se hace con el script "provision", pero al parecer al algún problema con el último comando que ejecutamos ("make install"): éste modifica algunos archivos y hace que se produzca un error al intentar ejecutar "provision". Por lo tanto, antes de ejecutar "provision", debemos volve a ejecutar "make" (https://lists.samba.org/archive/samba-technical/2012-February/081526.html)

# make -j2

# sudo ./source4/setup/provision \

--realm=samdom.example.com \

--domain=SAMDOM \

--adminpass=SOMEPASSWORD \

--server-role='domain controller'

Listo! Ya tenemos Samba4 instalado en /opt. Ahora queda lanzar el proceso:

# sudo /opt/samba4-3bea5a147b/sbin/samba -i -M single

Aunque Samba ya está andando, queda pendiente su configurar, configuración de DNS, etc.

EDITADO: siguiendo el consejo del HOWTO, hace falta agregar el dominio en /etc/resolv.conf (una linea al estilo de "domain samdom.example.com")

EDITADO: el password seteado con "--adminpass" no debe ser simple, sino el proceso fallará con el error "check_password_restrictions: the password does not meet the complexity criteria!".

Corriendo tests con instancia de PostgreSql en ram

2012-02-04T13:25:00.000-03:00

Otra manera de optimizar la ejecución de tests de Django, pero SIN modificar la instalación de PostgreSql del sistema operativo es crear una nueva instancia, corriendo totalmente en ram.

Para crear una nueva instancia usamos initdb:

$ /usr/lib/postgresql/9.1/bin/initdb \
--pgdata=/dev/shm/pgtesting \
-U horacio

Y para lanzar la instancia en segundo plano:

$ /usr/lib/postgresql/9.1/bin/postgres \
-F -i -p 5444 -S $((1024*64)) \
-D /dev/shm/pgtesting \
--unix_socket_directory=/dev/shm/pgtesting \
-r /dev/shm/pgtesting/postgresql.log &

Luego creamos el usuario y BD para la aplicación Django:

psql -h 127.0.0.1 \
-c "create user vindler with password 'x' superuser" postgres
psql -h 127.0.0.1 \
-c "create database vindler owner vindler" postgres

Mejora en tiempos de ejecución de test: 28%

La ejecución de los tests con PostgreSql en disco, con las optimizaciones de mi artículo anterior tardan alrededor de 7 segundos:

Ran 18 tests in 7.071s
5.44user 0.58system 0:10.40elapsed 57%CPU (0avgtext+0avgdata 122880maxresident)k
0inputs+1184outputs (0major+16964minor)pagefaults 0swaps

Ran 18 tests in 6.843s
5.28user 0.65system 0:10.27elapsed 57%CPU (0avgtext+0avgdata 122976maxresident)k
0inputs+1176outputs (0major+16956minor)pagefaults 0swaps

Ran 18 tests in 7.032s
5.42user 0.64system 0:10.42elapsed 58%CPU (0avgtext+0avgdata 124304maxresident)k
0inputs+1168outputs (0major+17122minor)pagefaults 0swaps

Los mismos tests ejecutandose en la nueva instancia de PostgreSql totalmente en ram, tardan alrededor de 5 segundos:

Ran 18 tests in 5.220s
4.41user 0.65system 0:08.38elapsed 60%CPU (0avgtext+0avgdata 117904maxresident)k
8inputs+1176outputs (0major+16524minor)pagefaults 0swaps

Ran 18 tests in 5.047s
4.32user 0.53system 0:08.04elapsed 60%CPU (0avgtext+0avgdata 117888maxresident)k
0inputs+1168outputs (0major+16504minor)pagefaults 0swaps

Ran 18 tests in 4.665s
3.95user 0.64system 0:07.79elapsed 58%CPU (0avgtext+0avgdata 117856maxresident)k
0inputs+1176outputs (0major+16502minor)pagefaults 0swaps

Al ejecutar los tests de stress: 33%

Con PostgreSql en disco:

Ran 1 test in 24.601s
15.21user 2.72system 0:27.98elapsed 64%CPU (0avgtext+0avgdata 130944maxresident)k
0inputs+9616outputs (0major+18298minor)pagefaults 0swaps

Ran 1 test in 24.458s
15.16user 2.51system 0:27.57elapsed 64%CPU (0avgtext+0avgdata 131488maxresident)k
472inputs+9608outputs (0major+18457minor)pagefaults 0swaps

Ran 1 test in 24.552s
15.23user 2.63system 0:27.95elapsed 63%CPU (0avgtext+0avgdata 131088maxresident)k
232inputs+9616outputs (0major+18310minor)pagefaults 0swaps

Con PostgreSql en ram:

Ran 1 test in 16.082s

11.30user 2.46system 0:19.22elapsed 71%CPU (0avgtext+0avgdata 126080maxresident)k

0inputs+9616outputs (0major+17675minor)pagefaults 0swaps

Ran 1 test in 15.736s

11.25user 2.20system 0:18.82elapsed 71%CPU (0avgtext+0avgdata 126192maxresident)k

0inputs+9608outputs (0major+17684minor)pagefaults 0swaps

Ran 1 test in 15.408s

10.78user 2.27system 0:18.44elapsed 70%CPU (0avgtext+0avgdata 126384maxresident)k

0inputs+9608outputs (0major+17693minor)pagefaults 0swaps

Acelerando tests de Django con PostgreSql

2012-02-04T11:49:00.001-03:00

La ejecucion inicial de los tests toma aproximadamente 15 segundos:

4.54user 0.64system 0:15.25elapsed 34%CPU (0avgtext+0avgdata 123600maxresident)k
4.70user 0.54system 0:14.70elapsed 35%CPU (0avgtext+0avgdata 122992maxresident)k
4.46user 0.65system 0:14.85elapsed 34%CPU (0avgtext+0avgdata 122912maxresident)k

Luego de ajustar los siguientes parametros:
- fsync = off
- synchronous_commit = off
- wal_sync_method = fsync

la ejecución toma aproximadamente 8.5 segundos:

4.22user 0.56system 0:08.62elapsed 55%CPU (0avgtext+0avgdata 123024maxresident)k
4.32user 0.58system 0:08.97elapsed 54%CPU (0avgtext+0avgdata 123008maxresident)k
4.29user 0.50system 0:08.74elapsed 54%CPU (0avgtext+0avgdata 123040maxresident)k

El tiempo se redujo casi a la mitad! Aunque esta configuración no es para nada recomendable para un equipo de producción, creo que vale la pena para ejecutar tests.

Bajar paquetes y no instalarlos con yum

2012-02-02T16:25:00.000-03:00

Suelo usar en Debian/Ubuntu el comando:

# aptitude -yd algun-paquete

que permite bajar el paquete pero NO instalarlo. Pero yum no tiene ninguna opción parecida, aunque encontré que a través de un plugin se puede conseguir la misma de aptitude.

Para instalar dicho plugin:

# yum install yum-downloadonly

# yum --help
(...)

Plugin Options:

--downloadonly don't update, just download

--downloaddir=DLDIR

specifies an alternate directory to store packages

Y se puede usar, por ejemplo:

# yum install --downloadonly python-devel

Las instrucciones las encontré en http://www.cyberciti.biz/faq/yum-downloadonly-plugin/

Instalando django_openid_auth usando PIP

2012-01-25T20:22:00.000-03:00

Hay algunos problemas con la version 0.4 de django_openid_auth (ej: no se puede instalar via pip). El proyecto es open source, por lo tanto es muy facil subirlo a GitHub y compartir estos arreglos :-)

Básicamente bajé el proyecto original (revisión 88) y lo subi a GitHub. Para instalarlo usando PIP hay que ejecutar:

./pip install -e git+http://github.com/hgdeoro/hgdeoro_fork_of_django_openid_auth#egg=django_openid_auth

Actualización

Mucho mejor, instalamos usando PIP, pero un commit en particular (ec68dfc046d1a75b50080ea98c56eda71956ed7a):

pip install -e git+http://github.com/hgdeoro/hgdeoro_fork_of_django_openid_auth@ec68dfc046d1a75b50080ea98c56eda71956ed7a#egg=django_openid_auth

O también un tag en particular (bzr_revno_88):

pip install -e git+http://github.com/hgdeoro/hgdeoro_fork_of_django_openid_auth@bzr_revno_88#egg=django_openid_auth

Cargando modulo 'tun' al iniciar Android

2011-12-21T17:07:00.000-03:00

Al intentar usar el cliente de OpenVpn me encontré con que mi Android no carga automáticamente el modulo "tun", y por lo tanto la VPN nunca levanta.

Para solucionarlo, agregué el siguiente archivo en "/system/etc/init.d/10modprobetun":

Luego de crear el archivo, hace falta agregarle permisos de ejecución, usando:

chmod +x /system/etc/init.d/10modprobetun

Para poder modificar los contenidos de /system, hay que remontarlo en modo escritura, usando:

mount -o remount,rw /system

Ahora, luego de reiniciar el celular, el modulo aparece cargado:

localhost ~ # lsmod
Module Size Used by Not tainted
wireless 189315 0
tun 11765 0

Aprendiendo a usar uci en OpenWrt

2011-12-08T13:06:00.001-03:00

Entre la extensa documentación de OpenWrt encontré que "uci show" puede ser de muchísima ayuda, ya que hace un "dump" de la configuración en un formato que después se puede usar con "uci get" y "uci set". Por ejemplo:

root@TL_MR3420:/etc/config# uci show system
system.@system[0]=system
system.@system[0].timezone=UTC
system.@system[0].hostname=TL_MR3420
system.ntp=timeserver
system.ntp.server=0.openwrt.pool.ntp.org 1.openwrt.pool.ntp.org 2.openwrt.pool.ntp.org 3.openwrt.pool.ntp.org
system.led_usb=led
system.led_usb.name=USB
system.led_usb.sysfs=tp-link:green:3g
system.led_usb.trigger=usbdev
system.led_usb.dev=1-1
system.led_usb.interval=50

Luego, por ejemplo, para cambiar la zona horaria:

root@TL_MR3420:/etc/config# uci set system.@system[0].timezone=ART3

root@TL_MR3420:/etc/config# uci commit system

Apache en primer plano (o sea, foreground)

2011-11-05T11:56:00.000-03:00

Necesitaba iniciar apache y que quede funcionando en "primer plano". Inicialmente intenté arrancarlo con la opción "-X" para activar el modo debug, pero esto hacía que las páginas sean servidas muy lentamente. Buscando un poco más encontré http://httpd.apache.org/docs/2.2/programs/httpd.html y ví que se puede usar "-D" para lograrlo.

Finalmente, el comando que estoy usando es:

apache2 -DNO_DETACH -DFOREGROUND -f apache-dev.conf

CyanogenMod 7.1 en mi LG Optimus One (P500)

2011-10-31T11:00:00.001-03:00

Pude instalar exitosamente CyanogenMod 7.1 (Android 2.3 Gingerbread) en mi LG Optimus One (P500), usando un ROM no oficial (o sea un ROM que no es armado por el proyecto CyanogenMod). Mi celular tenía originalmente Android 2.2 (Froyo). El link con todas las instrucciones, advertencias, consejos, etc. es:

http://forum.xda-developers.com/showthread.php?t=946354

Mi intención con este post es compartir mi experiencia, nada más. Si vas a hacerlo, te recomiendo que sigas las instrucciones del link que puse más arriba.

Yo use la version "beta6.5.8", que era la versión estable del ROM.

Procedimiento que seguí:

Primero: investigar en internet los peligros de hacer esto! Lo peor que puede pasar es que el celular deje de funcionar (o sea, ni siquiera se pueda prender)! Además, los programas que vienen de fábrica puestos por LG no van a estar mas (NDrive, juegos, y la posibilidad de sincronizar los datos con la PC usando el soft de LG, etc, etc, etc). A mí esto no me afectaba porque no uso esos programas, y la sincronización la hago con Google.
Leer http://forum.xda-developers.com/showthread.php?t=946354 (allí están todas las instrucciones necesarias).
Backupear todos los datos importantes, sacar todas las fotos, downloads, etc.
Antes de la instación tuve que rootearlo (no entiendo por qué Google no obliga a que todos los celulares salgan rooteados "de fábrica", o con algún procedimiento documentado para hacerlo). Lo rooteé exitosamente con GingerBreak-v1.20.
Luego instalé ClockworkMod ROM Manager (http://www.clockworkmod.com/rommanager): esto permite hacer un backup de la instalación original e instalar ROMs. Este programa de la opción de formatear la tarjeta SD para crear una partición ext2/ext3, swap, etc. Si se hace esto, se perderán los datos almacenados en la tarjeta SD.
Luego hice un backup del ROM original (Froyo), por las dudas... Y por las dudas lo bajé a la PC.
Luego bajé el ROM para hacer la actualización, en mi caso, la versión estable más reciente era la beta6.5.8. El link actualizado a la última versión estable está en http://forum.xda-developers.com/showthread.php?t=946354
Luego de bajar el archivo, hay que pasarlo a la tarjeta SD.
En el Android, abrir "Rom Manager", elejir "Intall ROM from SD Card", y elegir el archivo bajado en el punto anterior. Lo que recomiendan es "... Do not forget to wipe data/cache ...", así que yo elegí borrar todo (total no tenía datos importantes en el celular).
A esta altura, el celular se reiniciará, instalará la nueva versión y arrancará nuevamente.
Luego hace falta instalar un ROM que trae las aplicaciones de Google mínimas necesarias (por ejemplo, Market!). El link para bajar las apicaciones también está en http://forum.xda-developers.com/showthread.php?t=946354
Ahora ya podemos abrir Market y bajar las aplicaciones que necesites :-)

Aptitude no funciona con multiarch

2011-10-23T13:19:00.001-03:00

Ubuntu Oneiric activa el soporte para multiarch.

Multiarchi: Integrate support for cross-architecture installation of binary packages (particularly i386 / amd64, but also other combinations) in dpkg and apt

Esto produce que aptitude sea bastante inusable debido a varios bugs (831768, 828807, 845183) que, al dia de hoy parecen estar sin resolver. Probé desactivar multiarch y al menos aptitude ya me funciona como antes. Para desactivar multiarch, edité el archivo /etc/dpkg/dpkg.cfg.d/multiarch y comenté la única linea que tiene:

Antes:
foreign-architecture i386

Ahora:

#foreign-architecture i386

Al menos ya no me causa problemas al instalar nuevos paquetes, y ya no tengo conflictos imposibles de resolver (831768).

----------

Luego de desactivar multiarch, no me funciona Wine, asi que simplemente no usaré aptitude, y estaré obligado a usar apt-get, o synaptic :-(

Estilos de app. Gtk al usar KDE

2011-10-23T12:58:00.000-03:00

Por alguna cuestion la integración del estilo de las aplicaciones GTK (por lo tanto las app. Gnome) no está funcionando al usar KDE en Ubuntu Oneiric.

Encontré una alternativa en https://bbs.archlinux.org/viewtopic.php?id=121803. Tampoco funcionó. Pero luego de revisar los estilos con soporte para GTK3, encontré que el estilo "oxygen-gtk" no existe en /usr/share/themes... Asi que probé con "Radiance" (que existe y es para GTK3) y funcionó! :-)

Luego de hacer unas modificaciones, este es el contenido que dejé en /etc/gtk-3.0/settings.ini.

[Settings]

gtk-theme-name = Radiance

gtk-fallback-icon-theme = gnome

gtk-application-prefer-dark-theme = false

gtk-font-name = Sans 9

Y ahora queda pendiente arreglar las aplicaciones GTK2. Al parecer, las aplicaciones GTK2 buscan un archivo ".gtkrc-2.0" en el home del usuario, pero KDE genera un archivo llamado ".gtkrc-2.0-kde4". Esto puede solucionarse creando un symlink en el home del usuario con el siguiente comando:

ln -s .gtkrc-2.0-kde4 .gtkrc-2.0

Ubuntu Oneiric + Arduino 0.22 = problemas

2011-10-22T21:25:00.003-03:00

Luego de actualizar Ubuntu ya no me compiló un proyecto de Arduino. Luego de chequear en internet encontré que hay unos bugs relacionados a este problema:

https://bugs.launchpad.net/ubuntu/+source/binutils-avr/+bug/818188
https://bugs.launchpad.net/ubuntu/+source/avr-libc/+bug/791335
http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=634341
http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=633659

Y la forma rápida de solucionarlo fue seguir el consejo del último de los links, editando el archivo hardware/arduino/cores/arduino/wiring.h (dentro del directorio donde tengo instalado Arduino 0.22) y comentando la linea 79:

Inicialmente está así:

#define round(x) ((x)>=0?(long)((x)+0.5):(long)((x)-0.5))

y ahora:

// #define round(x) ((x)>=0?(long)((x)+0.5):(long)((x)-0.5))

No sé cuáles serán los "efectos colaterales" pero funcionó!

Cómo resetear South

2011-10-19T15:38:00.001-03:00

Podemos resetear South desinstalándolo y volviéndolo a instalar. Atención: esto hará que se pierdan todas las migraciones existentes, y los datos de las BD de las aplicaciones que se quieran resetear. Los pasos a seguir son:

1) eliminar de la BD las tablas de South: south_migrationhistory.
2) eliminar de la BD las tablas de las aplicaciones administradas por south.
3) eliminar el paquete migrations de las aplicaciones que usen South.
4) ejecutar syncdb.
5) volver a marcar las aplicaciones que deben ser administradas usando South, ejecutando: "manage.py convert_to_south APP"

PHP ejecutados al ser accedidos con WebDav

2011-09-26T12:51:00.000-03:00

Seguí las instrucciones para configurar WebDav en Apache2 (Ubuntu Server 10.04.3 LTS), pero las páginas de PHP eran "ejecutadas" al ser bajadas desde el editor HTML. La configuración (obviando la restricción por IP y usuario/password) era:

    Alias /edit /var/www/www.example.com
    <Location /webdav>
        DAV On
        ForceType text/plain
    </Location>

Revisando la configuración de Apache ví que PHP era habilitado usando "SetHandler", así que lo solucioné usando "SetHandler None":

    Alias /edit /var/www/www.example.com
    <Location /webdav>
        DAV On
        ForceType text/plain
        SetHandler None
    </Location>

Desabilitando GDM al inicio

2011-09-01T11:18:00.000-03:00

En Ubuntu 11.04 los servicios los arranca Upstart, así que para deshabilitar GDM no se puede borrar el link de /etc/rc2.d/gdm. La forma de hacerlo es editar /etc/init/gdm.conf y agregar "and runlevel RUNLEVEL=5" a la opción "start on". El diff es:

--- a/init/gdm.conf
+++ b/init/gdm.conf
@@ -7,6 +7,7 @@ description "GNOME Display Manager"
author "William Jon McCann "

start on (filesystem
+ and runlevel RUNLEVEL=5
and started dbus
and (drm-device-added card0 PRIMARY_DEVICE_FOR_DISPLAY=1
or stopped udev-fallback-graphics))

Benchmarks de port forwarding con Python+Eventlet

2011-08-20T13:12:00.000-03:00

Les comparto algunos benchmarks que hice para verificar la velocidad del "tcp port forwarder" implementado usando Python+Eventlet: http://blog.eventlet.net/2010/02/28/beautiful-er-eventlet/

No pude hacer los tests usando 'ab', ya que parece haber algun problema por el cual la aplicación no funciona correctamente.

Copia de ISO usando scp, puerto 22: OK

ubuntu.iso 100% 698MB 63.4MB/s 00:11
ubuntu.iso 100% 698MB 69.8MB/s 00:10
ubuntu.iso 100% 698MB 69.8MB/s 00:10

Copia de ISO usando scp, puerto 7000 (eventlet): OK

ubuntu.iso 100% 698MB 41.0MB/s 00:17
ubuntu.iso 100% 698MB 41.0MB/s 00:17
ubuntu.iso 100% 698MB 43.6MB/s 00:16

Copia de ISO, usando wget, bajada directamente de Apache, puerto 80: OK

731,453,440 524M/s in 1.3s
731,453,440 539M/s in 1.3s
731,453,440 523M/s in 1.3s

Copia de ISO, usando wget, bajada directamente de Apache, puerto 7080 (eventlet): OK

731,453,440 319M/s in 2.2s
731,453,440 318M/s in 2.2s
731,453,440 323M/s in 2.2s

Usando ApacheBench, al puerto 80: OK

ab -n 400 -c 5 http://localhost:80/index.html

Finished 400 requests
Concurrency Level: 5
Time taken for tests: 0.083 seconds
Complete requests: 400
Failed requests: 0

Usando ApacheBench, al puerto 7080 (eventlet): ERROR!!!

ab -n 400 -c 5 http://localhost:7080/index.html

apr_poll: The timeout specified has expired (70007)

ab -n 40 -c 5 http://localhost:7080/index.html

apr_poll: The timeout specified has expired (70007)

ab -n 5 -c 1 http://localhost:7080/index.html

apr_poll: The timeout specified has expired (70007)

ssh en CentOS 6

2011-08-20T02:32:00.000-03:00

Estoy aprendiendo a trabajar con CentOS, luego de instalar un servidor de aplicaciones python en CentOS 5.6, estoy arrancando desde cero con un CentOS 6. El tema es que se me complicó la configuracion de ssh.

Por alguna cuestión, no podia ingresar como root a mi máquina virtual con CentOS 6, y resultó ser un problema relacionado con SELinux.

En definitiva, la configuración del servidor SSH, los permisos, todo estaba OK, y lo solucioné ejecutando:

/sbin/restorecon -r /root/.ssh

Para los servidores "reales" nunca permito el login de root, pero para aprender, en una máquina virtual en mi PC, es muy cómodo poder acceder directamente como root :-D

Listar BD y tablas con sus respectivos tamaños

2011-08-19T13:40:00.000-03:00

Para listar las bases de datos con el tamaño ocupado en disco de cada una:

SELECT pg_database.datname, pg_size_pretty(pg_database_size(pg_database.datname)) AS size FROM pg_database ORDER BY pg_database_size(pg_database.datname);

Para listar las tablas con el tamaño ocupado en disco de cada una, pero solo del schema 'public' (probado en PostgreSql 8.1):

SELECT tablename, pg_size_pretty(pg_total_relation_size(tablename)) FROM pg_tables WHERE schemaname = 'public' ORDER BY pg_total_relation_size(tablename);

Para que la última consulta funcione en Postgre 8:4, hay que utilizar casting:

SELECT tablename, pg_size_pretty(pg_total_relation_size(tablename::TEXT)) FROM pg_tables WHERE schemaname = 'public' ORDER BY pg_total_relation_size(tablename::TEXT);

Esto lo probé en 8.1 y 8.4 (únicas versiones que tengo a mano).

psycopg2 (2.4.2) + Django (1.3) = problemas!

2011-08-10T10:37:00.000-03:00

Si usas psycopg2 versión 2.4.2 con Django 1.3 surge el siguiente problema:

$ ./virtualenv27/bin/python src/dynamicware/manage.py test myprojects

Creating test database for alias 'default'...

(...)

psycopg2.ProgrammingError: autocommit cannot be used inside a transaction

Una solución temporal es instalar la versión anterior de psycopg2:

$ ./virtualenv27/bin/pip install psycopg2==2.4.1

La solución definitiva ya existe: https://code.djangoproject.com/ticket/16250

PIL / pillow + virtualenv

2011-08-10T10:01:00.000-03:00

Instalé PIL usando virtualenv, y así termina la instalción:

--------------------------------------------------------------------
PIL 1.1.7 SETUP SUMMARY
--------------------------------------------------------------------
version 1.1.7
platform linux2 2.7.1+ (r271:86832, Apr 11 2011, 18:13:53)
[GCC 4.5.2]
--------------------------------------------------------------------
*** TKINTER support not available (Tcl/Tk 8.5 libraries needed)
*** JPEG support not available
*** ZLIB (PNG/ZIP) support not available
*** FREETYPE2 support not available
--- LITTLECMS support available
--------------------------------------------------------------------

PIL se instaló correctamente, pero sin soporte para JPEG y PNG. Este es el funcionamiento "esperado" al instalar PIL con virtualenv.

La solución: usar pillow (fork PIL, amigable con virtualenv)

Luego de ejecutar "./virtualenv27/bin/pip install pillow":

--------------------------------------------------------------------
Pillow 1.7.4 ( PIL fork based on PIL 1.1.7 ) SETUP SUMMARY
--------------------------------------------------------------------
platform linux2 2.7.1+ (r271:86832, Apr 11 2011, 18:13:53)
[GCC 4.5.2]
--------------------------------------------------------------------
*** TKINTER support not available (Tcl/Tk 8.5 libraries needed)
--- JPEG support available
--- ZLIB (PNG/ZIP) support available
--- FREETYPE2 support available
--- LITTLECMS support available
--------------------------------------------------------------------

Storage distribuido con SheepDog

2011-07-17T20:57:00.001-03:00

Instalé SheepDog siguiendo las instrucciones del sitio sobre un Debian Sid, todo funcionó excelente!

Todo el esquema de pruebas lo armé en mi notebook:

Host: acer (Ubuntu Desktop 11.04)

Guest: debian-virt-server-01 (Debian Sid / libvirt+KVM)

ejecutando SheepDog

Guest: debian-virt-server-02 (Debian Sid / libvirt+KVM)

ejecutando SheepDog

Guest: debian-virt-server-03 (Debian Sid / libvirt+KVM)

ejecutando SheepDog

Guest: linux-over-sheepdog (Ubuntu 10.04 Server / QEMU)

usando "linux-over-sheepdog" como disco (esta imagen es creada usando qemu-img).

Luego configuré coresync y arranqué sheepdog en debian-virt-server-01, debian-virt-server-02 y debian-virt-server-03.

Ahora, a crear la imagen de disco!

root@debian-virt-server-01:~# collie cluster format --copies=2

Este comando sólo se debe ejecutar en 1 nodo.

root@debian-virt-server-01:~# collie node list
Idx - Host:Port Number of vnodes
------------------------------------------------
* 0 - 192.168.122.101:7000 64
1 - 192.168.122.102:7000 64
2 - 192.168.122.103:7000 64

El cluster fue "formateado" para que mantenga 2 copias de la información. Los 3 nodos se están viendo, ya que aparecen al ejecutar "collie node list".

Creamos imagen para ser usado como disco

acer| ~$ qemu-img create sheepdog:192.168.122.101:7000:linux-over-sheepdog 4G
Formatting 'sheepdog:192.168.122.101:7000:linux-over-sheepdog', fmt=raw size=4294967296

Booteamos QEMU

acer| ~$ qemu-system-x86_64 -enable-kvm -m 512 -cdrom ubuntu-10.04-server-amd64-LTS.iso sheepdog:192.168.122.101:7000:linux-over-sheepdog

Y listo! La instalación de Ubuntu Server se inició correctamente sobre un "disco virtual" hosteado usando SheepDog.

Procesamiento de anotaciones en Java

2011-07-13T09:19:00.000-03:00

Hay un bug en la JVM de ~~Sun~~ Oracle que hace fallar el procesamiento de anotaciones. Me pasó que compilando el proyecto funcionaba OK, pero al agregar "-processor ....", aparecía el siguiente problema:

[javac] /...../ValidationCheck.java:25: incompatible types
[javac] found : ......annotations.Type
[javac] required: ......Type
[javac] Type type() default Type.WORKER;

El problema es el Enum "Type". Este Enum existe y está en el classpath, pero javac "no la ve". Está definido de la siguiente manera:

Type type() default Type.WORKER;

La solución para zafar de este bug es introducir el paquete en el nombre del Enum, de manera que quede:

Type type() default my.package.annotations.Type.WORKER;

Y con eso compila!

BUG: http://bugs.sun.com/view_bug.do?bug_id=6512707

Cómo usar dispositivos USB desde KVM

2011-07-01T13:18:00.018-03:00

Quiero usar mi pendrive desde un guest KVM (gestionado por libvirt). El dispositivo USB es el marcado con negrita:

acer| ~$ lsusb
Bus 006 Device 001: ID 1d6b:0001 Linux Foundation 1.1 root hub
Bus 005 Device 001: ID 1d6b:0001 Linux Foundation 1.1 root hub
Bus 002 Device 004: ID 0930:6545 Toshiba Corp. Kingston DataTraveler 102 flash drive

Primera opción: usando vendor id + product id

Editamos el XML usando "virsh edit", y agregamos lo siguiente en el elemento devices:

Esta opción asocia un "tipo de dispositivo" (en este caso, el pendrive Kingston) al guest KVM, sin importar en qué puerto se conecte.

Segunda opcióni: usando bus + device

Editamos el XML usando "virsh edit", y agregamos lo siguiente en el elemento devices:

Esta opción asocia un puerto USB al guest, sin importar qué tipo de dispositivo se conecte.

AppEngine: cómo evitar subir contenidos de un directorio

2011-06-18T03:35:00.000-03:00

Al trabajar con Google App Engine, podemos crear un directorio en la base del proyecto, y luego configurar app.yaml para que ignore estos archivos. Por ejemlpo, si el directorio se llama local, hay que agregar a las siguientes líneas al archivo app.yaml:

skip_files:
- ^(.*/)?app\.yaml
- ^(.*/)?app\.yml
- ^(.*/)?index\.yaml
- ^(.*/)?index\.yml
- ^(.*/)?#.*#
- ^(.*/)?.*~
- ^(.*/)?.*\.py[co]
- ^(.*/)?.*/RCS/.*
- ^(.*/)?\..*
- ^local/.*

Todas las líneas excepto la última, corresponden a la configuración por default de skip_files. La última línea hace que el directorio local en la raiz del proyecto sea ignorado al ejecutar appcfg.py.

Compactar particiones con zerofree

2011-06-15T15:35:00.000-03:00

Para realizar backups de imágenes de discos usadas en QEmu/KVM se puede optimizar usar zerofree. Este programa escribe 0 (ceros) en los lugares de la imagen que NO está siendo usada por archivos, y que han sido usadas pero actualmente están libres (por ejemplo, en el lugar donde se haya creado un archivo que luego haya sido borrado).

Zerofree funciona para ext2/ext3/ext4, en particiones que no están montadas, o montadas solo-lectura. Esta utilidad es "inteligente" en el sentido que no hace "crecer" a los archivos sparse.

Los pasos a seguir son:

cargar nbd

~$ sudo modprobe nbd max_part=16

asociar imagen de disco disk01.qcow2 a nbd1 y crear dispositivos asociados a particiones

~$ sudo qemu-nbd -c /dev/nbd1 -v disk01.qcow2
~$ sudo partprobe /dev/nbd1

ejecutar zerofree

~$ sudo zerofree -v /dev/nbd1p5

Listo! El archivo "disk01.qcow2" ocupa teóricamente 11G, pero como es un archivo sparse, en realidad está ocupado en disco sólo 1.9G:

~$ ls -lh disk01.qcow2
-rw-r--r-- 1 root root 11G 2011-06-15 14:51 disk01.qcow2

~$ du -h disk01.qcow2

1.9G disk01.qcow2

El .tar ocupa sólo 918M:

~$ tar --sparse -cf disk01.qcow2.tar disk01.qcow2
~$ ls -lh disk01.qcow2.tar
-rw-r--r-- 1 horacio horacio 918M 2011-06-15 15:10 disk01.qcow2.tar

Y al comprimirlo solo nos queda 305M:

$ gzip -1 disk01.qcow2.tar
$ ls -lh disk01.qcow2.tar.gz
-rw-r--r-- 1 horacio horacio 305M 2011-06-15 15:10 disk01.qcow2.tar.gz

~$ du -h *
1.9G disk01.qcow2
305M disk01.qcow2.tar.gz

En este caso, un archivo que ocupa inicialmente 1.9G lo llevamos a ocupar 918M (305M comprimido).

Cómo compilar cliente spice

2011-06-09T15:31:00.001-03:00

Seguiendo los pasos para instalar Spice (un nuevo protocolo para comunicarse con guests KVM/QEMU/etc.) me surgieron unos errores, no muy complicados de resolver.

En general, segui las instrucciones de http://spice-space.org/page/Building_Instructions.
La instalación la hice en /usr/local/slice, asi que reemplace "INST_ROOT" por "/usr/local/slice".

Para compilar e instalar el cliente, en un momento hay que ejecutar:

~$ cd $SRC_ROOT/spice

~$ ./autogen.sh --prefix=$INST_ROOT

Pero este ultimo comando me generó un error:

----------------------------------------
(...)
checking for PROTOCOL... no
configure: error: Package requirements (spice-protocol >= 0.6.0) were not met:
No package 'spice-protocol' found
Consider adjusting the PKG_CONFIG_PATH environment variable if you
installed software in a non-standard prefix.
Alternatively, you may set the environment variables PROTOCOL_CFLAGS
and PROTOCOL_LIBS to avoid the need to call pkg-config.
See the pkg-config man page for more details.
----------------------------------------

Esto se solucione usando:

~$ export PKG_CONFIG_PATH="/usr/local/spice/share/pkgconfig:/usr/local/spice/lib/pkgconfig"

~$ ./autogen.sh --prefix=/usr/local/spice

~$ cd client

~$ make install

Y... no funcionó...

----------------------------------------

make[1]: *** No rule to make target `../common/libspice-common.la', needed by `spicec'. Stop.
make[1]: Leaving directory `/mnt/sin_encriptar/src/spice-client-src/spice/client'
make: *** [install] Error 2

----------------------------------------

Pero, compilando manualmente lo del directorio "common", luego lo de "cliente" funciona:

~$ cd ..

~$ cd common

~$ make install

~$ cd ..

~$ cd client

~$ make install

Y ahora sí!

Eliminando *.pyc del repositorio Git

2011-06-03T13:09:00.000-03:00

Por un error subí archivos pyc al repositorio Git. Ya que no me hace falta mantener esos archivos en el repositorio, decidí intentar eliminarlos del historial, usando "git filter-branch". Resultó ser bastante fácil!

$ git filter-branch --tag-name-filter cat \
--index-filter 'git rm -r --cached --ignore-unmatch *.pyc' HEAD

Esto no es peligroso para repositorios "personales", pero SI para repositorios compartidos, ya que este comando reescribe todo el historial. También hay que tener cuidado si se están utilizando varios branches, ya que este comando solo trabaja en 1 branch a la vez.

La documentación del comando puede verse aqui.

Probando LM335 con PyArduinoProxy

2011-06-03T02:46:00.000-03:00

Subi unos screenshots, mostrando cómo usé la interfaz web de PyArduinoProxy para testear unos LM335.

https://github.com/hgdeoro/py-arduino-proxy/wiki/Example%3A-Testing-LM335

Chau Skype!

2011-05-25T15:32:00.000-03:00

La compañía Skype fue comprada, asi que ya es hora de buscar alternativas!

Jitsi - http://www.jitsi.org (audio/video)
Blink - http://icanblink.com (Linux/Max/Win, audio, envío de archivos, compartir escritorios, conferencia múltiple)
Ekiga - http://www.ekiga.org (Linux/Win, audio/video)
GoogleTalk - http://www.google.com/talk/ (Linux/Mac/Win/Web) permite hacer llamadas a numero fijos!
Empathy - http://live.gnome.org/Empathy (audio/video)
LinPhone - http://www.linphone.org/ (Linux/Win/Mobile)
QuteCom - http://trac.qutecom.org/ (Linux/Win)
Twinkle - http://www.twinklephone.com/ (Linux)

Flyback diode

2011-05-14T17:49:00.000-03:00

Son diodos utilizados para eliminar repentinos picos de voltaje. Estos picos se producen en circuitos altamente inductivos, cuando el voltaje en dicho circuito baja o es eliminado.

La teoría de circuitos demuestra que cuando la corriente que pasa por un inductor se detiene, aparece una tensión a tavés de dicho inductor, en sentido contrario de la corriente que se detuvo. Esta corriente es llamada "flayback". Esa corriente no "aparece de la nada": es originada en la energía almacenada en el campo magnético del inductor, o sea, el campo magnético creado por la corriente inicial, libera su energía como electricidad (pero en sentido opuesto a la corriente inicial).

Tomada de WikiPedia: http://en.wikipedia.org/wiki/File:Flyback_Diode.svg

Esto lo traducí (con ayuda de Google) de http://digital.ni.com/public.nsf/allkb/336D3653F6B6387386256F36005BE09F

Hay más información (en inglés) en: http://en.wikipedia.org/wiki/Flyback_diode

Capacitores para suprimir ruido eléctrico

2011-05-14T16:13:00.000-03:00

Encontré que es aconsejable utilizar capacitores en los circuitos, para suprimir cualquier "ruido" que pueda generarse, sobre todo si se usan motores (me imagino que también debe ser importante si se usan reles, por ejemplo).

http://www.seattlerobotics.org/encoder/jun97/basics.html

En inglés: Bypass capacitors help filter the electrical noise out of your circuits. They do this by removing the alternating currents caused by ripple voltage. Most digital circuits have at least a couple of bypass capacitors. A good rule of thumb is to add one bypass capacitor for every integrated circuit on your board. A good default value for a bypass cap is 0.1uF. Higher frequencies require lower valued capacitors.

Traducido por Google: Los condensadores de desacoplo ayudan a filtrar el ruido eléctrico de los circuitos. Lo hacen mediante la eliminación de las corrientes alternas causada por variaciones de la tensión. La mayoría de los circuitos digitales tienen por lo menos un par de condensadores de desacoplo. Una buena regla es agregar un condensador de desacoplo por cada circuito integrado en la placa. Un buen valor por defecto es 0.1uF. Las frecuencias más altas requieren capacitores de menor valor .

Otras páginas interesantes que encontré sobre el tema:

Py-Arduino-Proxy + LCD

2011-05-06T13:25:00.001-03:00

Ya estoy buscando la forma de utilizar LCDs desde Py-Arduino-Proxy :-D En este caso, muestro la temperatura (con un LM35)

Como tomar screenshots automáticamente y convertirlos en video

2011-04-30T02:31:00.006-03:00

Primer paso: crear la secuencia de screenshots, usando la utilidad "scrot":

s=1; while /bin/true ; do scrot -q 80 "${s}.png" -e "convert -crop 800x600+0+24 ${s}.png ${s}.jpg" ; let s=s+1 ; sleep 1 ; done

Atención! Este comando sobrescribirá cualquier archivo preexistente! Para continuar una secuencia pre-existente, se puede cambiar el valor inicial de "s". Por ejemplo, si ya tenemos desde el archivo 1.png hasta el 71.png, podemos usar s=72:

s=72; while /bin/true ; do scrot -q 80 "${s}.png" -e "convert -crop 800x600+0+24 ${s}.png ${s}.jpg" ; let s=s+1 ; sleep 1 ; done

Segundo paso: generar un video con dicha secuencia de archivos, usando "ffmpeg":

ffmpeg -r 4 -b 512k -i %d.jpg OUTPUT.avi

Actualización: para que ffmpeg funcione, los nombres de los archivos deben ser secuenciales, y sin ningún archivo faltante. Por lo tanto, si antes de generar el video queremos borrar algunos archivos, vamos a tener problemas. Pero hay una forma muy fácil de crear una secuencia de archivos, arreglando los 'faltantes':

max=1000 ; ren=1 ; for f in `seq 1 $max` ; do [ -e $f.jpg ] && { [ $f -ne $ren ] && { echo mv -i $f.jpg $ren.jpg ; } ; let ren=ren+1 ; } ; done

Ese pequeño script generará por pantalla todos los 'mv' que hace falta ejecutar para arreglar la secuencia. Si quitamos el 'echo', el script ejecutará directamente el comando 'mv'. Ajustar 'max' al número más grande dentro de la secuencia.

os.path.normpath() de Python y las //

2011-04-26T14:55:00.000-03:00

No es la primera vez que me sucede! Otra vez caí en el extraño funcionamiento de os.path.normpath()!

os.path.normpath('/esto') = '/esto'
os.path.normpath('/esto/') = '/esto'
os.path.normpath('//esto') = '//esto'
os.path.normpath('//esto/') = '//esto'
os.path.normpath('///esto') = '/esto'
os.path.normpath('///esto/') = '/esto'

Quizá las 2 barras se mantienen al suponer que es un path referenciando algún recurso como se hace en las redes Windows, al estilo //equipo/recurso_compartido.

Solución: usar strip('/') y concatenar un '/' al inicio (suponiendo que siempre trabajamos con path absolutos).

'/' + os.path.normpath('/esto').strip('/') = '/esto'
'/' + os.path.normpath('/esto/').strip('/') = '/esto'
'/' + os.path.normpath('//esto').strip('/') = '/esto'
'/' + os.path.normpath('//esto/').strip('/') = '/esto'
'/' + os.path.normpath('///esto').strip('/') = '/esto'
'/' + os.path.normpath('///esto/').strip('/') = '/esto'

Para acceder Arduino desde Python y scripts shell

2011-04-25T00:24:00.002-03:00

He creado una aplicación para acceder a Arduino desde Python. También incluyo unos ejempos para poder accederlos desde el shell. El proyecto está en https://github.com/hgdeoro/py-arduino-proxy

Utilizando un LM35 para medir la temperatura. Necesita 3 cables, 5V, masa, y la "señal".

En el Arduino, conecto los respectivos cables, y el de señal al puerto analógico 0.

El sensor lo dejo afuera, a pleno rayo de sol, y por ahora bajo la protección de un simple fondo de botella.

Agregar plugin de Munin

Sólo hacer un link del script al directorio de plugins:

root@eeepc:~# cd /etc/munin/plugins/
root@eeepc:/etc/munin/plugins# ln -s \
/usr/local/py-arduino-proxy/src/arduino_proxy/tests/analog_read_lm35_munin.py \
analog_read_lm35_munin_
root@eeepc:/etc/munin/plugins# mcedit ../plugin-conf.d/munin-node
## AGREGAR ESTO AL FINAL DEL ARCHIVO
[analog_read_lm35_munin]
user root
env.TTY_DEVICE /dev/ttyACM0
env.ANALOG_PORT 0

Y ahora sólo resta reiniciar munin-node.

root@eeepc:/etc/munin/plugins# service munin-node restart
munin-node start/running, process 22555
root@eeepc:/etc/munin/plugins#

Y testear que todo haya quedado funcionando correctamente:

root@eeepc:/etc/munin/plugins# munin-run analog_read_lm35_munin
temp.value 10.11

Luego de dos días:

El circuito al que se conecta el LM35 sería así:

Para zafar del problema con Arduino + Ubuntu

2011-04-15T18:59:00.022-03:00

He armado un sketch para "zafar" de los problemas que hay con los Arduinos cuando queremos accederlos desde Ubuntu. Sucede que por un bug, tendremos problemas al intententar subir sketchs desde Ubuntu, si en ese momento el Arduino envía información por puerto serial (por ejemlpo usando usando Serial.println()).

La solución definitiva es actualizar el firmware. Otra (la que implementé) es "pausar" la ejecución del programa, hasta que se detecta un "LOW" en el pin 12.

El programa es:

Y la forma de generar le "LOW" en el pin 12 sería:

Lo que hago es dejar la resistencia conectada, así el Arduino funciona con normalidad. Cuando necesito subir un programa nuevo, le saco la resistencia y lo reinicio, y puedo comunicarme sin problemas.

(Injusta) comparación de OpenStack Object Storage y MongoDB

2011-03-19T17:25:00.002-03:00

Aclaración: antes que nada, quiero aclarar que no es justo para MongoDB compararlo con Object Storage. Mi intención es sólo comentar mi experiencia.

Ante la necesidad de guardar una gran cantidad de archivos en una aplicación web (más de 80GB), realicé pruebas con MongoDB (versiones 1.6.5 y 1.7.3), ya que entre las bases de datos NoSql, es la única que encontré que provee el API necesario para guardar y obtener archivos almacenados (GridFS) (además permite ser configurado muy fácilmente para que los datos almacenados se repliquen entre distintas instancias de MongoDB). Pero me encontré con 2 problemas:

Poca eficiencia en la utilización del espacio en disco: en las pruebas realizadas, al insertar archivos por un total de 12GB, en disco se utilizó 21GB.
Dificultad para recuperar el espacio ocupado de archivos borrados: el borrado de los archivos es un "borrado lógico", y para recuperar el espacio que utilizan, hace falta ejecutar "repairdb()", que básicamente, hace una copia de la BD, de todos los datos no-borrados... esto es un problema si la base de datos es más grande que el espacio libre de la partición.

Este tipo de problemas los pude superar usando OpenStack Object Storage (versión 1.2.0):

Utilización de espacio en disco: al insertar archivos por 4202MB, en disco se utilizó 4281MB.
Recuperación de espacio en disco: el espacio es liberado al borrar los archivos.

En cuanto a las pruebas de stress:

MongoDB en ningún caso dió error
al realizar pruebas con Object Storage, he obtenido algunos "Read timed out" al momento de subir los archivos.

Cabe aclarar que MongoDB lo corria directamente en mi computadora, en cambio, Object Storage estaba instalado en una guest KVM.

En cuanto a la instalación:

la instalación de MongoDB me llevó muy poco tiempo y es muy fácil
la de Object Storage me costó más, sobre todo la utilización desde Java, ya que el cliente de Java necesita validar correctamente los certificados SSL con los que se configuró el servidor (algo que no pasa con el cliente Python).

Funciones privadas para unittest.assertRaises()

2011-03-17T11:42:00.000-03:00

Para facilitar el uso de unittest.assertRaises() podemos usar funciones privadas. Esto al menos con python < 2.7 (ya que en python 2.7 assertRaises() permite ser usado como "context manager").

OpenStack Object Storage - Ejemplo con Python

2011-03-12T21:22:00.001-03:00

Adjunto un pequeño ejemplo en Python.

----- Inicio del ejemplo -----

----- Fin del ejemplo -----

Probando OpenStack Object Storage

2011-03-11T01:47:00.001-03:00

Luego de unas horas, pude tener andando mi instancia de OpenStack Object Storage. El servidor lo instalé en un Ubuntu 10.04.2 LTS (Lucid), siguiendo las instrucciones de Installing OpenStack Object Storage on Ubuntu.

Algunas cuestiones a tener en cuenta:

En la página de "Configuring OpenStack Object Storage", al crear los "self-signed certs" utilizando el comando "openssl req -new -x509 -nodes -out cert.crt -keyout cert.key", en un momento solicita "Common Name (eg, YOUR name) []:"; aquí hay que ingresar el nombre del host que se utilizará para conectarse, o el IP con el que se accederá al Object Storage desde la red. Por ejemplo, en mi caso, utilicé "192.168.122.233". Al conectarnos desde Python, no parece influir el "Comon Name" elegido, pero sí influye al conectarnos desde Java.
En vez de usar "swift-ring-builder account.builder create 18 3 1", utilicé "swift-ring-builder account.builder create 18 1 1", ya que sólo hay 1 servidor. Quizá se pueda usar 3, y de esa manera, al agregar servidores, los datos se distribuyan automáticamente...
Al ejecutar los comandos "swift-ring-builder account.builder add ...." hay que especificar "DEVICE"... Bueno, aunque el parámetro se llama "device", esto NO se refiere a la partición! Sino al nombre del directorio donde está montada la partición donde se guardarán los datos. El servicio supone que las particiones donde se guardarán los datos están montadas en "/srv/node/DEVICE". Por ejemplo, si los datos los vamos a guardar en la partición /dev/sdb1, y montamos esa partición en "/srv/node/sdb1", entonces DEVICE = sdb1. NO hay que tomar a DEVICE como /dev/sdb1, esto es un error. Por ejemplo, en mi caso, utilice "sdb1" como DEVICE (para seguir la nomenclatura de la documentación), pero en realidad utilizo la partición "/dev/vdb1", ya que es un instancia de KVM y utilizo virtio para mapear los discos. Por lo tanto, en el fstab tengo: "/dev/vdb1 /srv/node/sdb1 xfs noatime,nodiratime,nobarrier,logbufs=8 0 0".

Los fuentes del servidor (Swift) pueden bajarse de http://www.openstack.org/projects/storage/. El cliente para Python, puede bajarse de https://github.com/rackspace/python-cloudfiles. El de Java, desde https://github.com/rackspace/java-cloudfiles. Desarrollar un pequeño test en Python fue sencillo. En Java fue bastante más complicado, porque al utilizar certificados firmados por mí mismo (al instalar el servidor genere los certificados con openssl, y por lo tanto no fueron firmados por una entidad de confianza), y por lo tanto Java generaba errores al intentar crear la conexión https a un servidor con certificados no confiables... Más información de esto en un próximo post :-)

Monitoreo de servicios "filtrados" con Icinga e iptables

2010-10-01T11:51:00.000-03:00

Con iptables se pueden permitir conexiones a un puerto TCP (como para ser monitoreado con Icinga o Nagios) y a la vez evitar que se utilice el puerto para acceder al servicio.

# Icinga
iptables -A INPUT -s $IP_ICINGA -p tcp --dport 139 --syn -j ACCEPT
iptables -A INPUT -s $IP_ICINGA -p tcp --dport 139 -j DROP

# Mantenerlo al utlimo, para q' funque filtrado de conexiones de Icinga
iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT

Con el ejemplo anterior, monitoreo el servicio de Samba, pero no permito que se reciba nada más que los paquetes TCP que crean la conexion. Los paquetes siguientes son eliminados.

Es importante que "ESTABLISHED,RELATED", si se utiliza, se haga al último.

Ejecutar programa en tty

2010-07-28T22:41:00.001-03:00

Luego de investigar bastante, encontré la forma! Necesitaba ejecutar en la consola de texto un programa que monitorea el estado del servidor, pero necesitaba que esto esté funcionando desde que arranca el servidor, y sin necesidad que nadie se loguee. Esto lo logré con la ayuda de rungetty.

Por ejemplo, para que se ejecute en tty6, modifiqué "/etc/init/tty6.conf" en un Ubuntu 10.04, reemplazando la última línea:
exec /sbin/getty -8 38400 tty6
por:
exec rungetty tty6 -u root -- /usr/bin/env python /path/a/script/python.py

Para realizar pruebas, la ejecución directa de rungetty me ha dado problemas (básicamente al ejecutar rungetty no pasaba nada, ni mostraba ningún mensaje de error, aunque el exit status era 1). Esto se soluciona ejecutando rungetty con setsid:

setsid rungetty tty8 -u root -- /path/a/programa

Luego de esto, con Ctrl+Alt+F8 podremos cambiarnos a tty8 y utilizar el programa...

Deshabilitación de pad en Acer Aspire 5542

2010-07-04T14:04:00.001-03:00

Para que funcione este botón, hace falta bootear linux con un parámetro adicional. Esto se logra modificando la configuración de grub.

1) abrir "/etc/default/grub" para editar:

acer| ~$ sudo mcedit /etc/default/grub

2) agregar "i8042.nomux" en la linea que dice "GRUB_CMDLINE_LINUX_DEFAULT", por ejemplo, en mi caso queda así:

GRUB_CMDLINE_LINUX_DEFAULT="i8042.nomux"

3) luego hay que ejecutar la herramienta de actualización de grub:

acer| ~$ sudo update-grub2

Luego de reiniciar, el botón debería funcionar...

Microfono en Acer Aspire 5542-5241

2010-07-03T03:56:00.001-03:00

Luego de renegar bastante, parece que encontré la solución para hacer funcionar el microfono de la Acer Aspire 5542-5241 en Ubuntu Lucid.

Para esto, hay que agregar la siguiente línea en el archivo "/etc/modprobe.d/alsa-base.conf":

options snd-hda-intel position_fix=1

Lo encontré en https://bugs.launchpad.net/ubuntu/+source/alsa-driver/+bug/523953

OpenOffice: como embeber imagenes linkeadas

2009-08-26T20:16:00.004-03:00

Me sucedió varias veces que luego de copiar y pegar contenidos en un documento OpenOffice recuerdo que las imágenes quedan "linkeadas" y no embebidas.

Para embeber estas imágenes linkeadas no encontré ningún macro ni forma automatizada, pero es posible hacerlo con un procedimiento bastante sencillo, seleccionando la opción "Links" en el menú "Edit". Aparecerá una ventana con todas las imágenes linkeadas, y para embeber las imágenes listadas hay que seleccionarlas y presionar el boton "Break Link" (una por una).

Encontré esta información en www.taming-openoffice-org.com

Diff de docs. OpenOffice en GIT

2009-08-26T13:28:00.003-03:00

1) Instalar odt2txt (convierte docs. OpenOffice a texto plano)

aptitude install odt2txt

2) Configurar GIT
2.a) Agregar a .gitconfig:

[diff "odf"]
   textconv=odt2txt

2.b) Agregar a .gitattributes

*.ods diff=odf
*.odt diff=odf
*.odp diff=odf

Con estos 2 pasos realizados, git ya puede mostrar diferencias entre documentos OpenOffice (por ejemplo, al realizar modificaciones locales).

Artículo completo en http://www-verimag.imag.fr/~moy/opendocument/

Pro GIT

2009-08-25T15:05:00.002-03:00

Hace tiempo está disponible el libro Pro GIT para ser bajado (clonando el repositorio git) o navegado.
Ya se está trabajando en la traducción al español: accedan a:

http://github.com/progit/progit/tree/master

y vean el directorio "es-ni" (por ahora es la única traducción al español, en el futuro puede haber otras).

"ip addr" en vez de alias

2009-07-22T08:56:00.004-03:00

Luego de renegar un poco con Ubuntu 9.04 al configurar un alias de la eth0 (me usaba el IP del alias para realizar las conexiones salientes!), encontré que hay otras maneras de armar los alias, usando el comando ip.

ip addr add 192.168.5.101/24 brd + dev eth0 label "eth0:2"

Y para que se configure automáticamente, se puede agregar en /etc/network/interfaces:

post-up /sbin/ip addr add 192.168.5.101/24 brd + dev eth0 label "eth0:2" || true

Más información aquí.

Alternativa a lomount

2009-06-24T22:25:00.008-03:00

Parece que lomount no está en Ubuntu (al menos Ubuntu 9.04 p/AMD64), pero existe un truco para montar particiones "internas" de una imagen de un disco.

Yo necesité montar la 1er partición de la imagen de un disco de un dominio virtualizado. Aunque el disco (para el dominio virtualizado) en realidad estaba provisto por un volumen lógico (LVM) todo funcionó perfectamente.

Pasos a seguir (en ingles): http://community.livejournal.com/debian/340887.html

Migrar repositorio "privado" de git a repositorio público

2009-06-24T13:55:00.005-03:00

Necesité crear repositorios "públicos" (donde se puedan hacer pull/push desde distintas PCs) tomando los datos de repositorios locales/privados (donde realizo el desarrollo diario) y resultó ser bastante fácil:

1. Crear repositorio "publico"
a) crear un directorio - mkdir /var/git/proyecto.git
b) posicionarse en ese directorio - cd /var/git/proyecto.git
c) inicializar el directorio - git init --bare

2. Hacer push de repositorio local/privado a público
a) nos posicionamos en directorio - cd /path/a/repo/privado
b) creamos "remote" - git remote add origin ssh://pc/var/git/proyecto.git
c) configuramos repositorio - git config --bool remote.origin.mirror true
d) hacemos push - git push origin

El paso 2.c es opcional, pero a mí me resultó muy útil. Al ajustar la variable "remote.origin.mirror" a true, git subirá todos los branches y tags automáticamente cuando ejecutemos el push. Si no se realiza esta configuración, el en paso 2.d hará falta especificar los branches a subir.

Tig: text-mode interface for git

2009-06-20T17:42:00.003-03:00

Estaba disponible al menos desde Ubuntu 8.10 pero recién lo descubro! Es una interface en modo texto para git, con varias funciones. Home. Screenshots.

#~ sudo aptitude install tig

Ubuntu 9.04 como dominio virtual usando virt-install + kvm

2009-06-13T11:06:00.010-03:00

Se puede instalar Ubuntu 9.04 usando virt-install con un comando como el siguiente:

virt-install -d --connect qemu:///system \
-n ubuntu904virtual -r 1024 --vcpus=4  \
-f /dev/vg_virt/root \
-f /dev/vg_virt/tmp \
-f /dev/vg_virt/pv0 \
-c /tmp/ubuntu-9.04-server-amd64.iso \
--accelerate --vnc -v \
--os-type=linux --os-variant=generic26

-d para que muestre por consola información adicional mientras se crea la maquina virtual
-n es el nombre del dominio virtual
-f es para especificar discos, en este caso el dominio virtual vera 3 discos, el 1ro lo usaré para /, el segudo para /tmp y el 3ro como un "volumen fisico" para configurar LVM.
-c para especificar el path al iso

En el caso de usar LVM hay que tener cuidado porque en el servidor host se verán todos los "volume groups" y los "logical volumes" del dominio virtual. Para evitar esto se puede configurar LVM para que IGNORE totalmente ciertos "physical volumes" editando el archivo /etc/lvm/lvm.conf, y agregando:

filter = [ "r|^/dev/vg_virt/pv.*|" ]

Esto le dice a LVM que ignore cualquier "physical volume" que esté referenciado por algún dispositivo cuyo nombre comience con "/dev/vg_virt/pv". Para chequear que esto haya funcionado correctamente, ejecutamos:

pvscan -v

Los siguientes pasos a seguir podrían ser:
- instalar git y crear repo en /etc para tener historial de modificaciones
- configurar approx
- configurar serial console
- configurar virtio para discos/red
- configurar red usando bridge
- configurar autostart de dominios

Configurando approx para cachear paquetes

2009-06-11T12:07:00.004-03:00

En /etc/approx/approx.conf definir 2 servidores:

ubuntu-jaunty            http://ar.archive.ubuntu.com/ubuntu/
ubuntu-jaunty-security   http://security.ubuntu.com/ubuntu

Y luego, hay que cambiar /etc/apt/sources.list de manera que quede:

deb http://localhost:9999/ubuntu-jaunty jaunty main restricted
deb http://localhost:9999/ubuntu-jaunty jaunty-updates main restricted
deb http://localhost:9999/ubuntu-jaunty jaunty universe
deb http://localhost:9999/ubuntu-jaunty jaunty-updates universe
deb http://localhost:9999/ubuntu-jaunty jaunty multiverse
deb http://localhost:9999/ubuntu-jaunty jaunty-updates multiverse
deb http://localhost:9999/ubuntu-jaunty-security jaunty-security main restricted
deb http://localhost:9999/ubuntu-jaunty-security jaunty-security universe
deb http://localhost:9999/ubuntu-jaunty-security jaunty-security multiverse

Esta configuración es la que usé para un servidor Ubuntu 9.04

Virtualización con KVM

2009-06-03T16:11:00.007-03:00

Investigando para implementar KVM encontré varios artículos interesantes:

Guías
- Virtualization With KVM On Ubuntu 9.04
- Virtualization With KVM On Ubuntu 8.10
- Installing KVM Guests With virt-install On Ubuntu 8.10 Server (agregado el 5 de jun)

En sitio de KVM
- Setting guest network
- Setting up NAT with KVM in Ubuntu

En sitio de Ubuntu (administrada a través de libvirt)
- Installation
- Networking
- CreateGuests
- Managing

Y para gestionar el tráfico de red, además del clásico iptables, es interesante tener en cuenta ebtables.

equivs

2009-06-03T15:58:00.003-03:00

Con equivs se pueden crear muy facilmente paquetes "vacíos" para Debian/Ubuntu/etc. Estos paquetes aunque no contengan ningún programa pueden ser de gran utilidad, al menos en 2 casos:

para crear un paquete que dependa en otros paquetes: esto me es de gran ayuda para crear un paquete que dependa de todos los paquetes que generalmente instalo en los servidores Linux que administro (por ejemlpo, tcpdump, hdparm, smartctl, etc.)
para crear un paquete que "provea" software que hemos instalado manualmente. Por ejemplo, si instalamos manualmente Java, pero queremos instalar Tomcat usando los paquetes que de nuestra distribución en uso, como Tomcat depende de Java, se intentará instalar un JRE o JDK de Java. Con equiv podemos crear un paquete que diga que provee Java, y así podremos instalar Tomcat sin instalar nuevamente otro JDK/JRE.

Links:
- How to install locally compiled packages: equivs
- Howto: create "configuration packages" with equivs

Cosas a hacer despues de instalar Ubuntu 9.04 Jaunty Jackalope

2009-05-03T12:54:00.002-03:00

Excelente artículo! Tiene muchos consejos y referencias sobre cómo instalar algunas cosas que no vienen con Ubuntu.

http://ubuntulife.wordpress.com/2009/05/02/cosas-a-hacer-despues-de-instalar-ubuntu-904-jaunty-jackalope/

Parches para mejorar Django

2009-03-08T14:12:00.009-02:00

Encontré algunos parches que estoy usando a diario para desarrollo y tests en Django, y me pareció interesante compartirlos. Además la idea es que sirvan de ejemplo de las cosas que se pueden encontrar en el sistema de "tickets" de Django, donde hay muchos parches para agregar funcionalidad, por ejemplo:

- Make Django's server optionally multithreaded
(específicamente: devserver_multithread_trunk_r9532.patch)

Esto permite que el servidor de desarrollo funcione con multiple threads. Sirve, por ejemplo, si queremos realizar un request al mismo servidor (por ejemplo, usando urllib2) desde una vista.

- Add live test server support to test framework
(específicamente: django_live_server_r8458.diff)

Permite iniciar un servidor http desde un testcase.

Problemas de teclado con Ubuntu 8.10 + VMPlayer

2009-02-28T13:11:00.002-02:00

Por alguna cuestión VMPlayer no reconoce algunas teclas en Ubuntu (o sea, las teclas en Ubuntu funcionan bien, pero no "llegan" al sistema operativo ejecutando en VMPlayer). La solución es sencilla: hay que agregar la siguiente línea al archivo de configuración ubicado en ~/.vmware/config

nokeycodeMap = true

pg_dump y "canceling statement due to statement timeout"

2009-02-19T12:58:00.007-02:00

Al realizar backups de tablas grandes, pueden producirse "statement timeout":

pg_dump: SQL command failed
pg_dump: Error message from server: ERROR:  canceling statement due to statement timeout

Si esto sucede porque tenemos configurado "statement_timeout" a nivel general, esta configuración también está afectando las sentencias ejecutadas por pg_dump (esto sucede al menos con PostgreSql 8.1). Este se soluciona seteando la siguiente variable de entorno:

~# export PGOPTIONS="-c statement_timeout=0"
~# pg_dump test_db

También podemos hacerlo en 1 línea

~# PGOPTIONS="-c statement_timeout=0" pg_dump test_db

o también:

~# env PGOPTIONS="-c statement_timeout=0" pg_dump test_db

Tomado de: http://www.mail-archive.com/pgsql-general@postgresql.org/msg79518.html

Formateo de excepciones en Python

2009-02-17T19:07:00.002-02:00

Muy simple:

formatted_lines = traceback.format_exc().splitlines() # hacerlo en el exception handler
exc = "\n".join(formatted_lines)
print exc

Imports de Python como en Java

2009-02-05T18:27:00.005-02:00

En Java, si tenemos 2 directorios con fuentes, y en cada directorio una misma estructura de paquetes, la JVM se encarga automáticamente de buscar cada clase/paquete en los distintos directorios. Por ejemplo, podemos tener src1 y src2 en el classpath, cada directorio con los mismos paquetes:

src1/ar/com/ejemplo/Uno.java
src2/ar/com/ejemplo/Dos.java

Desde una clase podemos hacer referencias a Uno y Dos sin mayores problemas, por ejemplo:

import ar.com.ejemplo.Uno;
import ar.com.ejemplo.Dos;

Pero con Python esto se complica y no funciona automáticamente. Si tenemos src1 y src2 en el PYTHONPATH, cada directorio con estructura similar:

src1/__init__.py
src1/ejemplo/__init__.py
src1/ejemplo/uno.py

src2/__init__.py
src2/ejemplo/__init__.py
src2/ejemplo/dos.py

Con PYTHONPATH=src1:src2

from ejemplo import uno -> importa OK
from ejemplo import dos -> ImportError

Con PYTHONPATH=src2:src1

from ejemplo import uno -> ImportError
from ejemplo import dos -> importa OK

Esto se puede solucionar utilizando pkgutil, modificando src1/ejemplo/__init__.py y src2/ejemplo/__init__.py de forma que incluya:

from pkgutil import extend_path
__path__ = extend_path(__path__, __name__)

De esta manera, usando "extend_path" logramos lo que buscábamos, independientemente del orden en que están src1 y src2 en el PYTHONPATH.

from ejemplo import uno -> importa OK
from ejemplo import dos -> importa OK

Referencia rápida MySql 5.0

2009-02-02T12:25:00.010-02:00

Diariamente trabajo y administro bases de datos PostgreSql, pero cada tanto uso MySql y siempre olvido los comandos para crear BD y usuarios, así que ahí va una referencia rápida sobre cómo hacerlo sobre MySql 5.0 (versión incluida en Debian Etch):

Para crear BD

$~ mysqladmin create nombre_base_de_datos

Para crear un usuario y asignar permisos

$~ mysql nombre_base_de_datos
[mysql] create user nombre_usuario identified by '**********';
[mysql] grant all on nombre_base_de_datos.* TO 'nombre_usuario'@'localhost';
[mysql] set password for 'nombre_usuario'@'localhost' = PASSWORD('********');
[mysql] flush privileges;

Links:
http://dev.mysql.com/doc/refman/5.0/en/server-administration.html
http://dev.mysql.com/doc/refman/5.0/en/adding-users.html
http://dev.mysql.com/doc/refman/5.0/en/passwords.html

SocketProcessId.getpid could not get unique port

2009-02-01T02:48:00.007-02:00

Intentando ejecutar JBoss 5 (la versión para Java 6) en Ubuntu me apareció el siguiente error:

2009-02-01 02:49:32,115 INFO  [com.arjuna.ats.jbossatx.jta.TransactionManagerService] (main) Setting up property manager MBean and JMX layer
2009-02-01 02:49:32,788 DEBUG [com.arjuna.ats.arjuna.logging.arjLoggerI18N] (main) [com.arjuna.ats.arjuna.recovery.TransactionStatusManager_1] - Starting service com.arjuna.ats.arjuna.recovery.ActionStatusService on port 4713
2009-02-01 02:49:32,812 ERROR [org.jboss.kernel.plugins.dependency.AbstractKernelController] (main) Error installing to Create: name=TransactionManager state=Configured com.arjuna.ats.arjuna.exceptions.FatalError: [com.arjuna.ats.internal.arjuna.utils.SocketProcessId_2] - SocketProcessId.getpid could not get unique port.
 at com.arjuna.ats.internal.arjuna.utils.SocketProcessId.getpid(SocketProcessId.java:105)
 at com.arjuna.ats.arjuna.utils.Utility.getpid(Utility.java:277)
 at com.arjuna.ats.arjuna.common.Uid.(Uid.java:105)
 at com.arjuna.ats.arjuna.utils.Utility.getProcessUid(Utility.java:289)
 at com.arjuna.ats.internal.arjuna.recovery.TransactionStatusManagerItem.(TransactionStatusManagerItem.java:366)
 at com.arjuna.ats.internal.arjuna.recovery.TransactionStatusManagerItem.createAndSave(TransactionStatusManagerItem.java:84)
 at com.arjuna.ats.arjuna.recovery.TransactionStatusManager.start(TransactionStatusManager.java:145)
 at com.arjuna.ats.arjuna.recovery.TransactionStatusManager.(TransactionStatusManager.java:72)
 at com.arjuna.ats.arjuna.coordinator.TxControl.(TxControl.java:355)
 at com.arjuna.ats.jbossatx.jta.TransactionManagerService.create(TransactionManagerService.java:178)

(y continúa...)

No sé exactamente cuál era el problema, pero lo pude solucionar mapeando al IP correcto el nombre de host que devuelven los comandos "hostname" y "hostname -f".

Ejemplo:

#~ hostname -f
unhost.example.com

Antes de solucionar el problema, "unhost.example.com" tenía asociado un IP incorrecto (o sea, un IP que no correspondía a ningun IP del sistema). Para solucionar el problema asocié a "unhost.example.com" el IP de la placa de red.

Esta cuestión también impide que Glassfish 2.1 arranque correctamente.

Django + tsearch2

2009-01-29T14:49:00.002-02:00

Encontré 2 artículos explicando cómo usar tsearch2 de PostgreSql desde Django, para realizar búsquedas de texto de forma eficaz.
- http://www.rossp.org/blog/2009/jan/28/django-postgresql-fulltext/
- http://barryp.org/blog/entries/postgresql-full-text-search-django/

Fuentes (fonts)

2009-01-29T13:14:00.003-02:00

Encontré en lwn.net un artículo sobre fuentes con licencias libres:

Open Font Library: A sister-site to the Creative Commons' Open Clip Art Library, the Open Font Library is the largest single repository of free fonts, with over 100 selections — a small number compared to proprietary fonts, but a much larger number than even a few years ago. The site includes users' reviews, tags, and ratings, as well as remixes of various fonts.
SIL Font Downloads: This is the main site for free fonts for language support, especially for minority languages, but also for the full range of western and eastern European languages, Cyrillic, Greek, and Hebrew. Some of these typefaces are so obscure that only specialists will use them regularly, but they include a number of general purpose fonts for English and other western European Languages, such as Gentium, Charis SIL and Doulos SIL.
Raph Levien's fonts:A maintainer for GhostScript, Raph Levien also designs some of the best free fonts for everyday use. Be warned, though, that these are works in progress, and some are not be completely ready for use.
Linux Libertine: Linux Libertine is designed as a free replacement for the ubiquitous Times Roman. Its letters are designed to have the same proportions as those of Time Roman, so that, when a recipient's machine replaces Linux Libertine in a document with Times Roman, your document's design does not suffer.
Liberation fonts: A set of three fonts designed as free replacements for Times Roman, Arial/Helvetica, and Courier — respectively the most commonly used serif, sans serif, and monospace fonts used on Windows.
DejaVu: DejaVu is a version of the Bitstream Vera family, one of the first free fonts. The main difference is that it includes support for a greater number of international characters.

Una página que he usado alguna vez es http://www.dafont.com, tiene muchas fuentes, aunque no todas con licencias libres.

Instalación fácil de librerias en Wine

2009-01-23T15:27:00.002-02:00

Encontré un script para instalar de manera fácil las librerias más comunes necesarias para ejecutar con Wine los programas para Windows: "winetricks is a quick and dirty script to download and install various redistributable runtime libraries sometimes needed to run programs in Wine"

http://wiki.winehq.org/winetricks

Generando formularios de modelos en Django

2008-11-29T00:27:00.006-02:00

Es muy fácil generar formularios basándonos en los datos definidos en un modelo (esto está ampliamente documentado en el sitio de Django, excepto:
1) cómo setear los ítems que debe contener el SELECT correspondiente a un campo ForeignKey
2) cómo cambiar el nombre del campo que debe aparecer en el formulario autogenerado

(marqué en rojo la manera que encontré para resolver estas 2 cuestiones).

Modelo:

from django.db import models
from django.contrib.auth.models import User

class Proyecto(models.Model):
  name = models.CharField(max_length=256, verbose_name="Nombre")
  customer = models.ForeignKey(to=User, verbose_name="Cliente")

Formulario:

from django import forms

class ProyectoForm(forms.ModelForm):

  class Meta:
      model = Proyecto
      fields = ('name', 'customer')

Vista:

    if request.POST:
      form = ProyectoForm(request.POST)
  else:
      form = ProyectoForm()
   
  form.fields['customer'].queryset = User.objects.all().reverse()

Autocompletar con Ajax para ForeignKey de Django

2008-11-21T21:27:00.002-02:00

Encontré un componente que hace eso:

An autocomplete form widget for ForeignKey model fields

Cómo embeber Flash

2008-11-20T12:58:00.000-02:00

Una buena alternativa parece ser swfobject

Como backupear usuarios y grupos de PostgreSql

2008-11-18T02:00:00.002-02:00

Respuesta:


pg_dumpall --globals-only

(también backupea tablespaces)

Artículo original y respuestas más largas: Backing up Login Roles aka Users and Group Roles

Ejemplo de mod_deflate

2008-11-15T11:41:00.004-02:00

Comprimir contenidos con mod_deflate es mucho más fácil que con mod_gzip:

<ifmodule mod_deflate.c>
 SetOutputFilter DEFLATE
 AddOutputFilterByType DEFLATE text/html text/plain text/xml text/javascript application/x-javascript text/css
 DeflateFilterNote Input instream
 DeflateFilterNote Output outstream
 DeflateFilterNote Ratio ratio
 LogFormat '"%r" %{outstream}n/%{instream}n (%{ratio}n%%)' common_deflate_log
 CustomLog logs/xyz.dynamicware.com.ar-mod_deflate.log common_deflate_log
</ifmodule>

Con las 2 primeras líneas ya alcanza. Las demás líneas son para loguear en un archivo información estadística sobre la compresión. Por ejemplo:

"GET /resources/virtualdisk-default.css HTTP/1.1" 1077/4041 (26%)
"GET /resources/static/back-body.gif HTTP/1.1" 44/52 (84%)
"GET /resources/static/back01.jpg HTTP/1.1" 138938/139402 (99%)

Optimización de sitios

2008-11-15T01:53:00.003-02:00

Puede optimizarse considerablemente un sistema web que estoy utilizando a través de la configuración del tiempo de expiración de los archivos servidos. Esto lo hice organizando todos los archivos que no cambian nunca (javascripts de prototype y jquery, algunos logos, etc). Los ubique en el directorio /resources/static, y luego configure en Apache:

<directory /xxxxxxx/templates/resources/>
   ExpiresActive On
   ExpiresDefault "now plus 2 month"
</directory>

Esto hace que el servidor Apache le envíe al navegador información para que guarde en su caché estos archivos por más de 2 meses. Los demás recursos que pueden cambiar (como los estilos desarrollados por mi y algunos javascripts) los ubiqué en /resources, así evito que sean cacheados por tanto tiempo.

Antes:

Después:

Para estas tareas de optimización, Firefox e YSlow son grandes aliados. Por ejemplo, en el último gráfico, a la izquierda, vemos que del total de bytes bajados, la mitad corresponden a "CSS images", lo que nos da información valiosa para saber por dónde empezar para optimizar más aún nuestro sitio (en este caso se debe a una imagen muy grande usada como background).

Ejemplo de mod_gzip de Apache + JBoss

2008-11-14T22:01:00.005-02:00

Un ejemplo de configuración de mod_gzip. Dos problemas con los que me topé mientras lo configuraba:

- Hacerlo funcionar con contenido tomado de un servidor JBoss vía AJP: para esto debemos utilizar:

mod_gzip_item_include handler ^jakarta-servlet

- Algunos contenidos no se comprimian, aunque parecía estar todo bien configurado: esto es debido a que la expresión regular configurada era:

^text/html$

y debía ser:

^text/html

porque los encabezados suelen incluir información de encoding, por ejemplo:

text/plain; charset=us-ascii

Ejemplo completo

<ifmodule mod_gzip.c>
    mod_gzip_on                     Yes
    mod_gzip_can_negotiate          No
    mod_gzip_dechunk                Yes
    mod_gzip_handle_methods         GET POST

    # 512k
    mod_gzip_maximum_file_size      524288

    # 200k
    mod_gzip_maximum_inmem_size     204800

    mod_gzip_item_include   handler ^jakarta-servlet
    mod_gzip_item_include   file    \.html$

    # Si usamos ^text/html$ (con $ al final) entonces estaremos excluyendo
    # los mime que incluyen el encoding (utf8, etc) junto a text/html
    mod_gzip_item_include   mime    ^text/html
    mod_gzip_item_include   mime    ^text/plain
    mod_gzip_item_include   mime    ^text/javascript
    mod_gzip_item_include   mime    ^text/css
    mod_gzip_item_include   uri     ^/intranet/app
    mod_gzip_item_exclude   mime    ^image/
</ifmodule>

Minimización de JS

2008-11-14T20:09:00.002-02:00

Buscando algún servicio online para minimizar JS, encontré una librería, creada por el proyecto Dojo que se puede bajar. Está hecho en Java y son sólo 2 jars.

http://dojotoolkit.org/docs/shrinksafe

Hay que bjajar js.jar y shrinksafe.jar y ejecutar:

java -cp js.jar -jar shrinksafe.jar archivo.js > archivo-minimizado.js

Generando PDFs con Django

2008-11-13T22:59:00.001-02:00

Encontré un artículo explicando cómo hacerlo. Internamente usan pisa.

http://uswaretech.com/blog/2008/10/generating-pdfs-with-django/

Arranque de proyecto Django

2008-11-07T20:05:00.015-02:00

Un par de cositas que me han ayudado como "buenas prácticas" en proyectos Django:

Estructura de directorio
Crear una estructura de directorios que contenga Django, los fuentes y templates:

/src
/templates
/Django-1.0

Path a instalación de Django

Configurar manage.py para que se agregue al path la instalación de Django:

import sys, os

sys.path.append(os.path.abspath(
os.path.join(
    os.path.dirname(__file__), '..', '..', 'Django-1.0')))

sys.path.append(os.path.abspath(
os.path.join(
    os.path.dirname(__file__), '..')))

Logging
Setear logging por consola en nivel debug, cuando DEBUG está activado, agregando las siguientes líneas en settings.py:

if DEBUG:
import logging
logging.basicConfig(
    level = logging.DEBUG,
    format = '%(asctime)s %(levelname)s %(message)s',
)

También sería prudente configurarlo en nivel warning cuando DEBUG no está seteado:

else:
  import logging
  logging.basicConfig(
      level = logging.WARN,
      format = '%(asctime)s %(levelname)s %(message)s',
  )

Path a templates

Se puede agregar automaticamente a 'TEMPLATE_DIRS' nuestro directorio de templtates modificando settings.py de manera que quede:

tmp_template_dir = [
# Put strings here, like "/home/html/django_templates" or "C:/www/django/templates".
# Always use forward slashes, even on Windows.
# Don't forget to use absolute paths, not relative paths.
]

try:
 import os
 auto_dir = os.environ['AUTO_TEMPLATE_DIR']
 tmp_template_dir.append(auto_dir)
except KeyError:
pass

TEMPLATE_DIRS = tuple(tmp_template_dir)

Y en manage.py:

os.environ['AUTO_TEMPLATE_DIR']=
os.path.abspath(os.path.join(
   os.path.dirname(__file__), '../../templates'))

OJO que los pedazos de código Python que copié y pegué quedaron mal indentados... aún cuando le agregué los <pre> necesarios en el HTML...

Eric Holscher: testing Django apps (2 y 3er artículo)

2008-11-05T22:16:00.001-02:00

Y la serie sigue...

http://ericholscher.com/blog/2008/nov/4/introduction-pythondjango-testing-basic-unit-tests/

http://ericholscher.com/blog/2008/nov/5/introduction-pythondjango-testing-fixtures/

2 CMS basados en Django

2008-11-03T13:44:00.002-02:00

Navegando encontré 2 CMS basados en Django:

Java theory and practice: Are all stateful Web applications broken?

2008-11-02T22:44:00.001-02:00

Java theory and practice: Are all stateful Web applications broken?
HttpSession and friends are trickier than they look

The session state management mechanism provided by the Servlets framework, HttpSession, makes it easy to create stateful applications, but it is also quite easy to misuse. Many Web applications that use HttpSession for mutable data (such as JavaBeans classes) do so with insufficient coordination, exposing themselves to a host of potential concurrency hazards.

Link

Templates de Django desde la BD

2008-11-02T22:25:00.002-02:00

Encontré un proyecto que parece implementar la funcionalidad necesaria para que Django pueda tomar los templates desde una base de datos. Aunque no lo probé parece estable...

http://code.google.com/p/django-dbtemplates/

Introduction to Python/Django testing: Doctests

2008-11-02T22:19:00.003-02:00

Nota: copié todo el artículo porque el link al post original no me funcionó... (este es el link original)

Eric Holscher: Introduction to Python/Django testing: Doctests

This is the first in a series of blog posts and screencasts that will walk you through how to test your Django application. These posts will focus more on how to get things done in Django, but note that a lot of the content is applicable to pure python as well. A lot of best practices are codified into Django's testing framework, so that we don't have to worry about them! I will try to point them out as we are using them through, because they are good things to know.

The currently planned structure for this series is below. Please comment if there is something that you think is missing, or something that I shouldn't do. This is subject to change, a lot, as well, so your feedback will help direct it. Also note that most or all of this content is available in the Django and Python documentation, and I will try and point there and not re-invent the wheel. I hope that these posts will take a more practical look, and try to point out some pit falls and other things that are useful.

Outline

Basic Doc tests
Basic Unit tests
Comparison of Unit tests vs. Doc test
Fixtures
Using Mock objects
Third party testing tools
Writing your own test runner
Getting code coverage for your tests

Where to start

I'm assuming that you already have a project that you're working on that you would like to test. There are two different ways of putting tests inside of your django project. You can add a tests.py file and put your tests inside of there. You can also define a tests/ directory and put your tests in files inside of that. For these tutorials it is assumed that the second is the way things are done. It makes it a lot easier when you can break your tests out into logical files.

Doctests

These can go in two places inside your django project. You can put them in your models.py file, in the Docstring for your modules. This is a good way to show usage of your models, and to provide basic testing. The official docs have some great examples of this.

The other place your Doctests can go is inside your tests directory. A doctests file is usually pretty simple. A doctest is just a large string, so there isn't much else to put besides a string. Usually you want to use the triple quote, multi-line string delimiter to define them. That way your " and 's inside of your doctests don't break anything.

"""
This is my worthless test.
>>> print "wee"
wee
>>> print False
False
"""

You can go ahead and put that in a file in your tests/ directory, I named it doctst. My application that I'm writing tests for is mine, because it's the code for my website. Make sure that directory has an __init__.py as well, to signify that it is a python module.

Now here is the tricky part; go ahead and try and run your test suite. In your project directory run ./manage.py test APPNAME. It will show you that you have passed 0 tests. 0 tests? We just defined one.

You need to go into your init.py file and put some stuff in there.

import doctst
__test__ = {
   'Doctest': doctst
   }

You are importing the doc test module and then adding it to the __test__ dictionary. You have to do this because of the way that python handles looking for doc tests. It looks for a __test__ dictionary inside of your module, and if that exists it looks through it, executing all docstrings as doctests. For more information look at the Python docs.

Now you should be able to go ahead and run the tests and see the magical Ran 1 test in 0.003s OK that all testers live for. This is little bit of overhead really threw me off when I was trying to break my tests.py out into the tests/ directory.

So now we have a test suite that is worthless, but you know how to use doc tests. If you didn't notice, the doctest format is simply the output of your default python shell, so when you are testing your code on the command line and it works, you can simple copy and paste it into your tests. This makes writing doc tests almost trivial. Note however, that they are somewhat fragile, and shouldn't be used for everything. In the next segment, we will talk about unit tests. Then we will compare the two and see when you should use each.

Como cambiar lista de opciones en un ModelForm

2008-10-16T12:24:00.003-03:00

# Model
class Branch(models.Model):
 nombre = models.CharField(max_length=32)
 archivado = models.BooleanField()

# Model
class SolicitudPP(models.Model):
 branch = models.ForeignKey(Branch)

# ModelForm
class SolicitudPPForm(ModelForm):
 class Meta:
     model = SolicitudPP

# Como cambiar lista de "branches" a mostrar:
f = SolicitudPPForm()
f.fields['branch'].queryset = Branch.objects.filter(archivado=False)

Artículo original: http://oebfare.com/blog/2008/feb/23/changing-modelchoicefield-queryset/

FindBugs, Hudson, Groovy y errores de alta prioridad

2008-08-30T12:23:00.007-03:00

Usando Groovy encontré una manera fácil de forzar el fallo de un "build" cuando FindBugs haya encontrado problemas con prioridad alta. Este script Groovy puede agregarse en un scritp Ant o como un ultimo paso dentro de un proyecto Hudson. Esto es necesario porque el plugin de Findbugs para Hudson (en la versión estable) no se puede configurar para que marque el build como inestable dependiendo de la cantidad de warnings de ALTA prioridad (aunque esto ya está en desarrollo, e implementado en HEAD).

Usando Groovy + XPath:


import javax.xml.parsers.DocumentBuilderFactory
import javax.xml.xpath.*

content = new File("ant_build/findbugs/findbugs-report.xml").getText("UTF-8")

builder = DocumentBuilderFactory.newInstance().newDocumentBuilder()
doc     = builder.parse(new ByteArrayInputStream(content.bytes))
xpath = '/BugCollection/BugInstance[@priority="1"]'
expr    = XPathFactory.newInstance().newXPath().compile(xpath)
nodes   = expr.evaluate(doc, XPathConstants.NODESET)
if(nodes.length>0) {
    throw new RuntimeException("FindBugs reporto ${nodes.length} warning(s) de prioridad ALTA")
}

Usando GPath es mucho más fácil:


def bugCollection = new XmlParser().parseText(content)
highPriorityBugs = bugCollection.BugInstance.findAll { it['@priority'] == '1' }
if(highPriorityBugs.size()>0) {
    throw new RuntimeException("FindBugs reporto ${highPriorityBugs.size()} warning(s) de prioridad ALTA")
}

El 'target' de Ant puede definirse así:


<target name="groovy">
 <taskdef name="groovy" classname="org.codehaus.groovy.ant.Groovy">
  <classpath>
   <fileset dir="lib/groovy">
    <include name="*.jar"></include>
   </fileset>
  </classpath>
  <groovy>
   <!--[CDATA[    // SCRIPT GROOVY AQUI    ]]-->
  </groovy>
 </taskdef>
</target>

Tuning Your PostgreSQL Server

2008-08-18T00:55:00.002-03:00

Encontré un artículo con buenas referencias, con información para afinar la configuración de PostgreSql.

http://wiki.postgresql.org/wiki/Tuning_Your_PostgreSQL_Server

Relaciones (1:1, 1:n: m:n) con AppEngine

2008-05-03T23:13:00.003-03:00

Encontré un link donde se explican las distintas formas de relacionar entidades. Está muy simple y describe los pro y contras de cada opción.
http://daily.profeth.de/2008/04/er-modeling-with-google-app-engine.html

Salto de páginas con OpenOffice

2008-03-06T21:58:00.002-02:00

En la página de OpenOffice están las instrucciones para incorporar una carátula a un documento, pero de forma tal que NO afecte a la numeración de nuestras páginas.

http://wiki.services.openoffice.org/wiki/Documentation/OOoAuthors_User_Manual/Writer_Guide/Numbering_pages

Limpieza de paquetes de Ubuntu / Debian

2008-02-11T11:53:00.000-02:00

Buscando algunos consejos para limpiar mi instalación de Ubuntu 7.10 (luego de hacer el upgrade desde 7.04) encontré http://www.tuxapuntes.com/tux/content/view/416/122/.

En resumen, el comando más útil para esta tarea es deborphan. Por ejemplo, para limpiar los archivos de configuración de paquetes eliminados podemos usar:

deborphan --find-config | xargs -r aptitude -y purge

Para ver la información de los paquetes que purgaríamos con el comando anterior, podemos usar:

deborphan --find-config | xargs -r dpkg -l

El comando deborphan posee varias opciones más de "busqueda" de paquetes ('deborphan --help' las lista)

Herramientas de testing para Python

2008-02-07T01:30:00.001-02:00

Encontré un link muy bueno con una listado bastante extenso de las herramientas existentes para realizar el testing de programas desarrollados con Python.

http://pycheesecake.org/wiki/PythonTestingToolsTaxonomy

Cheat sheet de PostgreSql

2008-01-07T21:18:00.000-02:00

Encontré 2 páginas con "cheat sheets" de PostgreSql (no sé cuál sería la traducción de "cheat sheets", quizá "machetes", pero para lo que no saben: son resúmenes sobre lenguajes, programas, etc. con información normalmente usada de referencia cuando no nos acordamos cómo especificar ciertas cosas).
Estas "cheat sheets" las bajé de aqui y aqui.

StaticGenerator para aplicaciones Django

2008-01-07T20:40:00.000-02:00

Esta herramienta convierte un sitio dinámico desarrollando de Django en un conjunto de HTMLs listos para servir. Es una forma muy común de mejorar significativamente la performance de un sitio. Es distribuido bajo la licencia MIT. http://superjared.com/projects/static-generator/

En el sitio declaran que se puede mejorar la performance de 500 request por segundo a 7000 req/s:

mod_python, no caching: 100 req/s
mod_python, memcached: 500 req/s
StaticGenerator file: 7,000 req/s

Tamaño de tablas/BD en PostgreSql

2007-12-29T23:37:00.000-03:00

PostgreSql posee algunas funciones muy útiles para determinar el tamaño en disco que ocupa una tabla o una base de datos. Estas son:

pg_relation_size
pg_total_relation_size
pg_database_size

Para visualizar mas facilmente el resultado de las funciones anteriores, de puede utilizar pg_size_pretty. Por ejemplo:

intranet=# select pg_size_pretty(pg_total_relation_size('requerimiento'));
pg_size_pretty
----------------
23 MB
(1 row)

Estas y otras funciones están documentadas en el sitio de PostgreSql.

Threads en JavaScript usando XPCOM

2007-12-12T09:02:00.000-03:00

Encontré una pagina con algunos ejemplos de como utilizar threads con XPCOM, muy útil para desarrollar extensiones de Firefox (y supongo también Thunderbird y el resto de los "primos" de Mozilla).

Las instrucciones están en http://skrul.com/blog/projects/threaddemo y el código accesible via SVN en http://skrul.com/svn/threaddemo/trunk/

Download Statusbar + Checksum para bajar

2007-12-10T11:13:00.000-03:00

He "empaquetado" en un XPI los cambios en Download Statusbar... Es realmente facil! Simplemente descomprimi el XPI original, le aplique los parches, cambie el nro. de versión y lo volví a comprimir!

Pueden bajar Download Statusbar + Checksum desde aqui.